AI在线 AI在线

优化

审稿人直呼简洁，单点PageRank终极版！人大STOC论文让复杂度优化至「理论最优」

审稿人直呼简洁，单点PageRank终极版！人大STOC论文让复杂度优化至「理论最优」
在信息爆炸的互联网时代，应如何根据重要性对搜索得到的网页进行排名并呈现给用户？ 这个问题困扰了无数早期的搜索引擎。 破局者来自Google，创始人Sergey Brin和Lawrence Page提出的网页排名算法PageRank为这个难题提供了一个开创性的解决方案：为每个网页都计算了一个重要性得分，即PageRank得分，得分越高表示该网页质量越好，在信息检索时的重要性越高。
11/29/2024 2:00:07 PM
新智元
克服奖励欺骗：Meta 发布全新后训练方式 CGPO 编程水平直升 5%，打破 RLHF 瓶颈

克服奖励欺骗：Meta 发布全新后训练方式 CGPO 编程水平直升 5%，打破 RLHF 瓶颈
CGPO 框架通过混合评审机制和约束优化器，有效解决了 RLHF 在多任务学习中的奖励欺骗和多目标优化问题，显著提升了语言模型在多任务环境中的表现。 CGPO 的设计为未来多任务学习提供了新的优化路径，有望进一步提升大型语言模型的效能和稳定性。 近年来，随着大规模语言模型（LLMs）的发展，特别是通用大模型的应用场景愈发广泛，RLHF 逐渐成为调整和优化语言模型输出的主流方法。
11/1/2024 10:31:28 PM
问舟
PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率

PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率
据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，AI在线附 GitHub 页面地址（点此访问）。据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和 RAM 用量。官方举例，在 LLaMA 3 70B 模型的预训练中，torchao
10/2/2024 1:03:26 PM
漾仔
易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？

易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？
一、行业背景2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿个 Token，这对显卡等算力提出了极高的要求，也带来了能源消耗的激增。据斯坦福人工智能研究所发布的《2023 年 AI
9/18/2024 10:37:00 AM
新闻助手
击败25个分子设计算法，佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO

击败25个分子设计算法，佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO
作者 | 佐治亚理工学院王浩瑞编辑 | ScienceAI分子发现作为优化问题，因其优化目标可能不可微分而带来显著的计算挑战。进化算法（EAs）常用于优化分子发现中的黑箱目标，通过随机突变和交叉来遍历化学空间，但这会导致大量昂贵的目标评估。在这项工作中，佐治亚理工学院、多伦多大学和康奈尔大学研究者合作提出了分子语言增强进化优化（MOLLEO），通过将拥有化学知识的预训练大语言模型（LLMs）整合到进化算法中，显著改善了进化算法的分子优化能力。该研究以《Efficient Evolutionary Search Ov
7/1/2024 4:14:00 PM
ScienceAI
AI小分子药物发现的「百科全书」，康奈尔、剑桥、EPFL等研究者综述登Nature子刊

AI小分子药物发现的「百科全书」，康奈尔、剑桥、EPFL等研究者综述登Nature子刊
作者 | 康奈尔大学杜沅岂编辑 | ScienceAI随着 AI for Science 受到越来越多的关注，人们更加关心 AI 如何解决一系列科学问题并且可以被成功借鉴到其他相近的领域。AI 与小分子药物发现是其中一个非常有代表性和很早被探索的领域。分子发现是一个非常困难的组合优化问题（由于分子结构的离散性）并且搜索空间非常庞大与崎岖，同时验证搜索到的分子属性又十分困难，通常需要昂贵的实验，至少是至少是模拟计算、量子化学的方法来提供反馈。随着机器学习的高速发展和得益于早期的探索（包括构建了简单可用的优化目标与效果
6/24/2024 2:44:00 PM
ScienceAI
量子计算新进展，腾讯量子实验室设计新算法进行量子近似优化

量子计算新进展，腾讯量子实验室设计新算法进行量子近似优化
编辑 | 白菜叶组合优化问题普遍存在，并且通常在计算上很难解决。量子近似优化算法（QAOA）是最具代表性的量子经典混合算法之一，旨在通过将离散优化问题转化为连续电路参数上的经典优化问题来解决组合优化问题。QAOA 目标景观因普遍存在局部最小值而臭名昭著，其可行性很大程度上依赖于经典优化器的功效。在最新的研究中，腾讯量子实验室（Tencent Quantum Laboratory）的研究人员为 QAOA 设计了 double adaptive-region Bayesian optimization（DARBO）。测
3/11/2024 6:21:00 PM
ScienceAI
基于Transformer和注意力的可解释核苷酸语言模型，用于pegRNA优化设计

基于Transformer和注意力的可解释核苷酸语言模型，用于pegRNA优化设计
编辑 | 紫罗基因编辑是一种新兴的、比较精确的能对生物体基因组特定目标基因进行修饰的一种基因工程技术。先导编辑（Prime editor, PE）是美籍华裔科学家刘如谦（David R.Liu）团队开发的精准基因编辑系统，PE 是一种很有前途的基因编辑工具，但由于缺乏准确和广泛适用的方法，有效优化先导编辑 RNA（prime editing guide RNA, pegRNA）设计仍然是一个挑战。近日，来自重庆医科大学、西北农林科技大学、云南民族大学、浙江大学医学院和中国科学院数学与系统科学研究院生物信息学中心（B
10/30/2023 6:54:00 PM
ScienceAI
了解「规范博弈」

了解「规范博弈」
规范博弈（specification gaming）是一种满足了目标的字面规范，但没有实现预期结果的现象。
4/28/2023 7:10:00 PM
安远AI
谷歌下场优化扩散模型，三星手机运行Stable Diffusion，12秒内出图

谷歌下场优化扩散模型，三星手机运行Stable Diffusion，12秒内出图
Speed Is All You Need：谷歌提出针对 Stable Diffusion 一些优化建议，生成图片速度快速提升。Stable Diffusion 在图像生成领域的知名度不亚于对话大模型中的 ChatGPT。其能够在几十秒内为任何给定的输入文本创建逼真图像。由于 Stable Diffusion 的参数量超过 10 亿，并且由于设备上的计算和内存资源有限，因而这种模型主要运行在云端。在没有精心设计和实施的情况下，在设备上运行这些模型可能会导致延迟增加，这是由于迭代降噪过程和内存消耗过多造成的。如何在设
4/27/2023 2:25:00 PM
机器之心
AI自动化系统可以快速找到新的电池化学成分，比人工测试要快得多

AI自动化系统可以快速找到新的电池化学成分，比人工测试要快得多
编辑 | 萝卜皮开发高能高效电池技术是推进交通和航空电气化的关键方面。然而，电池创新可能需要数年时间才能实现。在非水电池电解质溶液的情况下，选择多种溶剂、盐及其相对比例的许多设计变量使得电解质优化既费时又费力。为了克服这些问题，卡内基梅隆大学（Carnegie Mellon University）的研究团队提出了一种实验设计，将机器人技术（一个名为「Clio」的定制自动化实验）与机器学习（一个名为「Dragonfly」的基于贝叶斯优化的实验计划器）结合起来。在单盐和三元溶剂设计空间内对电解质电导率进行自主优化，在两
10/13/2022 6:57:00 PM
ScienceAI
墨芯首席科学家严恩勖：为什么说稀疏化是AI计算的未来

墨芯首席科学家严恩勖：为什么说稀疏化是AI计算的未来
主讲人：严恩勖墨芯人工智能联合创始人 & 首席科学家卡内基梅隆大学 机器学习博士神经网络动态稀疏算法发明者视频简介：10年前，AI计算优化大多着重在优化算法的计算复杂度上，近年来随着AI产业化，AI计算优化更多注重在硬件的算力提升上。当前，硬件所能带来的算力提升已逼近极限，AI优化计算的未来将是算法与硬件架构的协同优化，以及构建相应的软件生态。稀疏化计算，带来数量级的算力提升，将成为未来AI计算优化的领航者。视频内容：
7/18/2022 5:04:00 PM
墨芯人工智能
CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL

CVPR 2022 | 联邦学习审计隐私新手段，田纳西大学等提出生成式梯度泄露方法GGL
本文提出一种利用生成模型作为图片先验的梯度攻击方法GGL，由来自美国田纳西大学，美国橡树岭国家实验室，和谷歌共同完成，论文已被 CVPR 2022 接收。
4/10/2022 12:45:00 PM
机器之心
可微分骨架树：基于梯度的分子优化算法

可微分骨架树：基于梯度的分子优化算法
这周我们简单介绍一个高效分子优化的方法。该工作由UIUC的Jimeng Sun组合MIT的Connor Coley组合作完成，对应的文章题目是Differentiable Scaffolding Tree for Molecule Optimization[1]，被2022年ICLR接受，主要的代码和数据发布在。内容：思路：基于梯度的分子优化分子的可微分骨架树类梯度上升的优化算法优化效果测试由可微性得到的可解释性思路：基于梯度的分子优化在药物发现中，分子优化，即找到具有理想性质的分子结构，是核心的一步。由于化学结构
2/21/2022 11:58:00 AM
新闻助手
使用深度学习，通过一个片段修饰进行分子优化

使用深度学习，通过一个片段修饰进行分子优化
编辑 | 萝卜皮分子优化是药物开发中的关键步骤，可通过化学修饰改善候选药物的预期特性。来自俄亥俄州立大学（The Ohio State University）的研究人员，在分子图上开发了一种新颖的深度生成模型 Modof，用于分子优化。Modof 通过预测分子处的单个断开位点以及在该位点去除和/或添加片段来修饰给定的分子。在 Modof-pipe 中实现了多个相同 Modof 模型的管道，以修改多个断开位置的输入分子。研究人员表明 Modof-pipe 能够保留主要的分子支架，允许控制中间优化步骤并更好地约束分子相
1/17/2022 2:46:00 PM
ScienceAI
时隔五年，普林斯顿大学经典书《在线凸优化导论》第二版发表

时隔五年，普林斯顿大学经典书《在线凸优化导论》第二版发表
2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍。
12/29/2021 2:50:00 PM
机器之心