AI在线 AI在线

优化

大模型重复生成内容：根因剖析与优化策略

大模型重复生成内容：根因剖析与优化策略
前言最近在调试大模型应用过程中，遇到了如下问题：复制大模型首次生成内容与「重新生成」两次返回的内容近乎完全相同，几乎没有体现出任何差异性。 面对这种情况，造成大模型输出高度相似的原因是什么呢？ 我们又该采取怎样的调整策略，才能使重新生成的内容与前次存在明显差异，提升输出的多样性呢？
4/28/2025 2:22:00 AM
张张
RAG分块优化之语义分块方法CrossFormer模型技术思路

RAG分块优化之语义分块方法CrossFormer模型技术思路
笔者在前期文章中总结了RAG的分块《RAG常见13种分块策略大总结（一览表）》，本文介绍一个语义分段的工作，该工作解决的问题是文本语义分割，即将文档分割成多个具有连续语义的段落。 传统方法通常依赖于预处理文档以分段来解决输入长度限制问题，但这会导致段间关键语义信息的丢失。 RAG系统中的文本分块方法主要分为基于规则和基于LLM的方法。
4/2/2025 4:00:00 AM
余俊晖
从自我进化视角出发，全面解析LLM的推理能力技术演进路径

从自我进化视角出发，全面解析LLM的推理能力技术演进路径
论文标题：A Survey on LLM Complex Reasoning through the Lens of Self-Evolution论文链接：：. 引言在人工智能领域，大型语言模型的复杂推理研究正成为学术界和工业界关注的焦点。 随着 OpenAI 的 O1 以及后续 DeepSeek R1 等突破性成果的发布，这一领域的研究热度持续升温，引发了广泛的学术讨论和实践探索。
3/6/2025 9:08:00 PM
机器之心
REVOLVE：响应演化驱动的智能优化框架，破解传统AI优化瓶颈

REVOLVE：响应演化驱动的智能优化框架，破解传统AI优化瓶颈
iDreamer 致力于打造一个激发科研热情的全球中心。 我们帮助教授将愿景变为现实，为学生照亮塑造未来的道路。 在这里，没有资源的壁垒，没有思想的界限，只有团结一心追求卓越。
3/4/2025 11:00:00 AM
新闻助手
一个半月内加速药物设计，浙大侯廷军团队提出深度先导化合物优化AI新方法

一个半月内加速药物设计，浙大侯廷军团队提出深度先导化合物优化AI新方法
编辑 | 萝卜皮通过系统性改造来优化有前途的候选药物的化学结构，以提高药效和物理化学性质，这是药物发现过程中至关重要的一步。 与成熟的从头生成方案相比，专门针对先导化合物优化的计算方法仍未得到充分探索。 先前的模型通常仅限于解决特定的子任务，例如生成二维分子结构，而忽略了三维空间中至关重要的蛋白质-配体相互作用。
2/28/2025 4:56:00 PM
ScienceAI
月之暗面开源改进版Muon优化器，算力需求比AdamW锐减48%，DeepSeek也适用

月之暗面开源改进版Muon优化器，算力需求比AdamW锐减48%，DeepSeek也适用
算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！ 团队发现了Muon方法的Scaling Law，做出改进并证明了Muon对更大的模型同样适用。 在参数量最高1.5B的不同Llama架构模型上，改进后的Muon算力需求仅为AdamW的52%。
2/24/2025 9:15:00 AM
量子位
新手必看：用DeepSeek轻松产出爆款，三分钟掌握自媒体全流程

新手必看：用DeepSeek轻松产出爆款，三分钟掌握自媒体全流程
今天来分享如何利用 DeepSeek 高效创作自媒体文章，自媒体账号的打造和内容创作是一个系统性工程。 本文将详细拆解如何利用 DeepSeek 完成从账号定位到爆款内容创作的全流程，帮助你快速脱颖而出。 一、账号定位与赛道分析：知己知彼，精准切入1.
2/19/2025 12:07:56 AM
宇宙之一粟
PNAS顶刊 | 抗体中和活性提升1000倍，百奥几何生成式AI高效反击病毒新变种

PNAS顶刊 | 抗体中和活性提升1000倍，百奥几何生成式AI高效反击病毒新变种
编辑丨Science AI近日，百奥几何（BioGeometry）携手上海交通大学药学院朱建伟团队，基于生成式 AI 驱动的抗体优化策略，在短时间内精准优化 8G3 抗体，实现其对最新病毒变异株 JN.1 的中和活性 1000-1500 倍的跃升。 相关研究成果已正式发表在国际顶级期刊《美国国家科学院院刊》（PNAS）上【1】，继 CR3022 抗体、肿瘤抗原 5T4 纳米抗体【2】等多个优化案例后，再次证明了生成式 AI 驱动抗体工程的广泛适用性和变革潜力。 论文地址： AI 抗体工程：精准优化 8G3 抗体，中和活性提升 1000-1500 倍由于病毒基因组的快速进化和新变种的不断产生增加了治疗的复杂性，大多数早期开发的抗体已无法精准识别并有效结合目标，导致中和能力大幅下降。
2/10/2025 2:53:00 PM
ScienceAI
Yandex 开发并开源 Perforator，这款开源工具每年可为企业节省数十亿美元的服务器基础设施成本

Yandex 开发并开源 Perforator，这款开源工具每年可为企业节省数十亿美元的服务器基础设施成本
全球领先的科技公司 Yandex 开发并开源了 Perforator，这是一款用于对服务器和应用程序进行持续实时监控和分析的创新工具。 Perforator 帮助开发人员识别最占资源的代码部分，并提供详细的统计数据，以便进行后续优化。 通过识别代码中的低效部分并支持基于配置文件的优化，Perforator 提供了准确的数据，使企业能够手动优化其应用程序，根据公司规模，降低基础设施成本最多可达 20%。
2/10/2025 2:30:00 PM
新闻助手
AI加速优化求解，达摩院连续两年获求解器全国赛事冠军

AI加速优化求解，达摩院连续两年获求解器全国赛事冠军
以“AI 优化求解器”助力能源绿色转型，达摩院自研“敏迭”求解器连续获得权威赛事冠军。 1月17日消息，达摩院自主研发的“敏迭”求解器在工信部产业发展促进中心组织的第二届能源电子产业创新大赛上，再次斩获“国产求解器技术专题赛”冠军。 这是继近期入选工信部“人工智能赋能新型工业化”典型应用案例后的又一殊荣。
1/21/2025 10:12:00 AM
新闻助手
中科大&vivo最新深度估计DepthMaster：泛化能力、细节保留超越其他基于扩散方法

中科大&vivo最新深度估计DepthMaster：泛化能力、细节保留超越其他基于扩散方法
本文经3D视觉之心公众号授权转载，转载请联系出处。 单目深度估计的瓶颈单目深度估计（Monocular Depth Estimation, MDE）因其简单、低成本和易于部署的特点，受到了广泛关注。 与传统的深度传感技术（如LiDAR或立体视觉）不同，MDE仅需要一张RGB图像作为输入，因此在自动驾驶、虚拟现实和图像合成等多个应用领域中具有很高的吸引力。
1/9/2025 9:29:57 AM
3D视觉之心
推动智能决策，AutoML技术在腾讯广告推荐场景的探索与应用

推动智能决策，AutoML技术在腾讯广告推荐场景的探索与应用
广告推荐系统的表现直接影响用户体验和商业收益，如何在海量数据中精准捕捉用户需求并提供个性化推荐，成为广告推荐场景面临的重要挑战。 为了解决该场景中的数据稀疏、冷启动等问题，腾讯机器学习平台部对 AutoML 相关技术进行了深入的研究，发表了一系列具有创新性的学术论文。 一、AutoML 技术背景AutoML 自动化机器学习，是一个旨在简化和自动化机器学习模型开发过程的领域。
12/24/2024 11:21:00 AM
新闻助手
审稿人直呼简洁，单点PageRank终极版！人大STOC论文让复杂度优化至「理论最优」

审稿人直呼简洁，单点PageRank终极版！人大STOC论文让复杂度优化至「理论最优」
在信息爆炸的互联网时代，应如何根据重要性对搜索得到的网页进行排名并呈现给用户？ 这个问题困扰了无数早期的搜索引擎。 破局者来自Google，创始人Sergey Brin和Lawrence Page提出的网页排名算法PageRank为这个难题提供了一个开创性的解决方案：为每个网页都计算了一个重要性得分，即PageRank得分，得分越高表示该网页质量越好，在信息检索时的重要性越高。
11/29/2024 2:00:07 PM
新智元
克服奖励欺骗：Meta 发布全新后训练方式 CGPO 编程水平直升 5%，打破 RLHF 瓶颈

克服奖励欺骗：Meta 发布全新后训练方式 CGPO 编程水平直升 5%，打破 RLHF 瓶颈
CGPO 框架通过混合评审机制和约束优化器，有效解决了 RLHF 在多任务学习中的奖励欺骗和多目标优化问题，显著提升了语言模型在多任务环境中的表现。 CGPO 的设计为未来多任务学习提供了新的优化路径，有望进一步提升大型语言模型的效能和稳定性。 近年来，随着大规模语言模型（LLMs）的发展，特别是通用大模型的应用场景愈发广泛，RLHF 逐渐成为调整和优化语言模型输出的主流方法。
11/1/2024 10:31:28 PM
问舟
PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率

PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率
据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，AI在线附 GitHub 页面地址（点此访问）。据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3 等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和 RAM 用量。官方举例，在 LLaMA 3 70B 模型的预训练中，torchao
10/2/2024 1:03:26 PM
漾仔
易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？

易用性对齐 vLLM，推理效率提升超200%，这款国产加速框架什么来头？
一、行业背景2022 年 10 月，ChatGPT 的问世引爆了以大语言模型为代表的的 AI 浪潮，全球科技企业纷纷加入大语言模型的军备竞赛，大语言模型的数量、参数规模及计算需求呈指数级提升。大语言模型（Large Language Model，简称 LLM 大模型）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大模型通常包含百亿至万亿个参数，训练时需要处理数万亿个 Token，这对显卡等算力提出了极高的要求，也带来了能源消耗的激增。据斯坦福人工智能研究所发布的《2023 年 AI
9/18/2024 10:37:00 AM
新闻助手
击败25个分子设计算法，佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO

击败25个分子设计算法，佐治亚理工、多伦多大学、康奈尔提出大语言模型MOLLEO
作者 | 佐治亚理工学院王浩瑞编辑 | ScienceAI分子发现作为优化问题，因其优化目标可能不可微分而带来显著的计算挑战。进化算法（EAs）常用于优化分子发现中的黑箱目标，通过随机突变和交叉来遍历化学空间，但这会导致大量昂贵的目标评估。在这项工作中，佐治亚理工学院、多伦多大学和康奈尔大学研究者合作提出了分子语言增强进化优化（MOLLEO），通过将拥有化学知识的预训练大语言模型（LLMs）整合到进化算法中，显著改善了进化算法的分子优化能力。该研究以《Efficient Evolutionary Search Ov
7/1/2024 4:14:00 PM
ScienceAI
AI小分子药物发现的「百科全书」，康奈尔、剑桥、EPFL等研究者综述登Nature子刊

AI小分子药物发现的「百科全书」，康奈尔、剑桥、EPFL等研究者综述登Nature子刊
作者 | 康奈尔大学杜沅岂编辑 | ScienceAI随着 AI for Science 受到越来越多的关注，人们更加关心 AI 如何解决一系列科学问题并且可以被成功借鉴到其他相近的领域。AI 与小分子药物发现是其中一个非常有代表性和很早被探索的领域。分子发现是一个非常困难的组合优化问题（由于分子结构的离散性）并且搜索空间非常庞大与崎岖，同时验证搜索到的分子属性又十分困难，通常需要昂贵的实验，至少是至少是模拟计算、量子化学的方法来提供反馈。随着机器学习的高速发展和得益于早期的探索（包括构建了简单可用的优化目标与效果
6/24/2024 2:44:00 PM
ScienceAI