AI在线 AI在线

算法

大模型压缩KV缓存新突破，中科大提出自适应预算分配，工业界已落地vLLM框架

大模型压缩KV缓存新突破，中科大提出自适应预算分配，工业界已落地vLLM框架
改进KV缓存压缩，大模型推理显存瓶颈迎来新突破——中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。 打破KV Cache压缩将所有注意力头分配相同压缩预算的常规做法，针对不同的注意力头进行适配性压缩预算分配展开来说，由于大模型在自回归生成过程中，每生成一个新token都需要将对应的KV矩阵存储下来，这导致缓存随着生成序列长度的增加而急剧膨胀，引发内存和I/O延迟问题，尤其在长序列推理中尤为突出。 因此，KV缓存压缩成为了一项必要的优化。
11/4/2024 8:30:00 AM
量子位
提升 1.5~20 倍吞吐量，字节豆包大模型团队与香港大学发布并开源全新 RLHF 框架

提升 1.5~20 倍吞吐量，字节豆包大模型团队与香港大学发布并开源全新 RLHF 框架
字节跳动豆包大模型团队与香港大学公开联合研究成果 —— HybridFlow。 官方宣称，HybridFlow（开源项目名：veRL）是一个灵活且高效的大模型 RL 训练框架，兼容多种训练和推理框架，支持灵活的模型部署和多种 RL 算法实现。 该框架采用混合编程模型，融合单控制器（Single-Controller）的灵活性和多控制器（Multi-Controller）的高效性，可更好实现和执行多种 RL 算法，显著提升训练吞吐量，降低开发和维护复杂度。
11/3/2024 3:24:59 PM
沛霖（实习）
豆包大模型团队开源RLHF框架，训练吞吐量最高提升20倍

豆包大模型团队开源RLHF框架，训练吞吐量最高提升20倍
强化学习（RL）对大模型复杂推理能力提升有关键作用，但其复杂的计算流程对训练和部署也带来了巨大挑战。 近日，字节跳动豆包大模型团队与香港大学联合提出 HybridFlow。 这是一个灵活高效的 RL/RLHF 框架，可显著提升训练吞吐量，降低开发和维护复杂度。
11/1/2024 2:44:00 PM
新闻助手
养猪业新神器，AI 工具可解读猪叫声背后的情绪

养猪业新神器，AI 工具可解读猪叫声背后的情绪
路透社于 10 月 24 日发布博文，报道称欧洲科学家开发了一种能够解读猪叫声的人工智能（AI）算法，从而帮助猪农了解猪的情绪和压力状态。 根据共同领导该研究的哥本哈根大学行为生物学家埃洛迪・曼德尔-布里费尔的说法，该算法有可能提醒农民注意猪的负面情绪，从而改善它们的福祉。 该研究由来自丹麦、德国、瑞士、法国、挪威和捷克共和国的科学家共同进行，核心是通过分析数千个不同情境下的猪叫声，理解它们所表达的情感。
10/30/2024 1:41:24 PM
故渊
逐际动力发布多形态双足机器人 TRON 1：可选双点足 / 双足 / 双轮足，6.98 万元起

逐际动力发布多形态双足机器人 TRON 1：可选双点足 / 双足 / 双轮足，6.98 万元起
逐际动力今天宣布发售首款多形态双足机器人 TRON 1，中国和海外同步上架，标准版早鸟价 6.98 万起。据介绍，TRON 1 采用“三合一”模块化设计，一机支持多形态算法研发，配合三种足端可兼顾人形机器人双腿结构的简易构型和多种足端的灵活切换（AI在线注：分别为双点足 / 双足 / 双轮足，可根据不同模式实现站立行走、全地形移动等能力）。根据足端拆装后的形态变化，TRON 1 可实现足端自适应识别，进行运控模式自动切换，为科研用户提供多形态、多用途的研究平台。
10/16/2024 11:03:50 AM
清源
中国科学院利用人工智能，发现迄今为止距其主星最近的最小行星

中国科学院利用人工智能，发现迄今为止距其主星最近的最小行星
感谢由中国科学院上海天文台葛健教授带领的国际团队，研发了一种结合 GPU 相位折叠和卷积神经网络的深度学习算法，并在开普勒（Kepler）2017 年释放的恒星测光数据中发现了五颗直径小于地球、轨道周期短于 1 天的超短周期行星。▲ 已知行星半径和行星轨道半长轴分布以及五个新发现的超短周期行星（红点）其中四颗是迄今为止发现的距其主星最近的最小行星，类似火星大小。这是天文学家首次利用人工智能一次性完成搜寻疑似信号和识别真信号的任务。
10/14/2024 12:51:34 PM
沛霖（实习）
AI 赋能游戏开发：Valve 工程师借助 ChatGPT 改进《Deadlock》匹配算法

AI 赋能游戏开发：Valve 工程师借助 ChatGPT 改进《Deadlock》匹配算法
感谢Valve 工程师 Fletcher Dunn 昨日在社交媒体上分享了他使用 ChatGPT 改进《Deadlock》匹配算法的经历。他表示，ChatGPT 就像一个高级搜索引擎，能够帮助他找到所需的解决方案。Dunn 在《Deadlock》的测试阶段向 ChatGPT 提出了改进匹配算法的需求，ChatGPT 建议他使用匈牙利算法。Dunn 采纳了这个建议，并表示他对 ChatGPT 的强大功能感到惊讶。Dunn 认为，ChatGPT 的强大之处在于能够理解自然语言并提供相关信息。即使在专业领域如游戏开发，C
10/4/2024 6:40:36 PM
远洋
提速1400倍，准确标注酶活性位点，浙大、澳门理工多模态深度学习方法，登Nature子刊

提速1400倍，准确标注酶活性位点，浙大、澳门理工多模态深度学习方法，登Nature子刊
编辑 | 萝卜皮注释酶中的活性位点对于药物发现、疾病研究、酶工程和合成生物学等多个领域的发展至关重要。尽管已经开发出许多自动注释算法，但速度和准确性之间的重大权衡限制了它们的大规模实际应用。浙江大学、澳门理工大学等机构的联合研究团队引入了 EasIFA，一种酶活性位点注释算法，它融合了来自蛋白质语言模型和 3D 结构编码器的潜在酶表示，然后使用多模态交叉注意框架将蛋白质水平信息与酶促反应知识对齐。EasIFA 比 BLASTp 速度提升 10 倍，召回率、准确率、f1 分数和 MCC 分别提升 7.57%、13.0
8/30/2024 5:00:00 PM
ScienceAI
研究：AI 测谎能力比人类更强，但会对社会交往造成影响

研究：AI 测谎能力比人类更强，但会对社会交往造成影响
德国维尔茨堡大学当地时间 12 日公布的最新研究显示，在假新闻、政治家的可疑言论和被操纵的视频日益泛滥的时代，人工智能在测谎方面的表现比人类更佳。图源 Pixabay来自维尔茨堡、杜伊斯堡、柏林和图卢兹的研究人员探讨了 AI 在检测谎言方面的有效性及其对人类行为的影响。这项研究的主要发现可以总结如下：在基于文本的谎言检测中，AI 的准确性优于人类。没有 AI 的支持，人们不愿指责他人撒谎。在 AI 的支持下，人们更有可能表达对遇到谎言的怀疑。只有大约三分之一的研究参与者会利用向 AI 询问评估的机会。然而，大多数人
7/15/2024 4:51:59 PM
清源
分子100%有效，从头设计配体，湖南大学提出基于片段的分子表征框架

分子100%有效，从头设计配体，湖南大学提出基于片段的分子表征框架
编辑 | KX分子描述符广泛应用于分子建模，但在 AI 辅助分子发现领域，缺乏自然适用、完整且「原始」的分子表征是一个挑战，影响 AI 模型的性能和可解释性。在使用先进的自然语言处理（NLP）方法解决化学问题时，会出现两个基本问题：（1）什么是「化学词」？（2）如何将它们编码为「化学句子」？近日，湖南大学研究团队提出了一种灵活的、基于片段的多尺度分子表征框架 t-SMILES 的框架来解决第二个问题。该框架使用 SMILES 类型的字符串描述分子，并且可以将基于序列的模型作为主要生成模型。t-SMILES 具有三种
7/5/2024 2:44:00 PM
ScienceAI
300多篇相关研究，复旦、南洋理工最新多模态图像编辑综述论文

300多篇相关研究，复旦、南洋理工最新多模态图像编辑综述论文
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]该文章的第一作者帅欣成，目前在复旦大学FVL实验室攻读博士学位，本科毕业于上海交通大学。他的主要研究方向包括图像和视频编辑以及多模态学习。前言本文提出了解决一般性编辑任务的统一框架！近期，
6/28/2024 6:26:00 PM
机器之心
BPAA 第四届全球应用算法模型典范大赛启动

BPAA 第四届全球应用算法模型典范大赛启动
5月15日，世界人工智能大会品牌赛事BPAA第四届全球应用算法模型典范大赛(简称“BPAA大赛”)在第四届上海数字创新大会上正式启动。第四届上海数字创新大会是上海市经济和信息化委员会、上海市科学技术委员会、上海市数据局、上海市普陀区人民政府联合主办的市级产业大会，以“沪领数字新动能，共融新质生产力”为主题，汇聚各方力量共同擘画数字中国建设蓝图，探索新质生产力的数实交融之道。上海市相关委办领导、普陀区主要领导等在大会现场见证了第四届BPAA大赛的启动。第四届全球应用算法模型典范大赛启动仪式现场BPAA大赛作为世界人工
6/6/2024 10:56:00 AM
新闻助手
70B 模型秒出 1000token，代码重写超越 GPT-4o，来自 OpenAI 投资的代码神器 Cursor 团队

70B 模型秒出 1000token，代码重写超越 GPT-4o，来自 OpenAI 投资的代码神器 Cursor 团队
70B 模型，秒出 1000token，换算成字符接近 4000！研究人员将 Llama3 进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了 13 倍！不仅是快，在代码重写任务上的表现甚至超越了 GPT-4o。这项成果，来自爆火的 AI 编程神器 Cursor 背后团队 anysphere，OpenAI 也参与过投资。要知道在以快著称的推理加速框架 Groq 上，70B Llama3 的推理速度也不过每秒 300 多 token。Cursor 这样的速度，可以说是实现了近乎即时的完整代码文件编辑。有人直
5/17/2024 7:32:30 PM
清源
消息称小红书内测自研大模型“小地瓜”，有望落地社交和搜索

消息称小红书内测自研大模型“小地瓜”，有望落地社交和搜索
感谢据 36 氪报道，多个独立信源透露，由小红书 AI 创新负责人张德兵（薯名：宇尘）牵头的大模型团队，在部分内部产品灰度测试自研通用大模型基座“小地瓜”。小红书 AI 产品的探索，则主要由小红书产品和设计负责人邓超（薯名：樱木）负责。报道称，知情者透露小红书对上线新 AI 产品的态度非常谨慎，原因是害怕破坏现有的内容生态。一名知情者说：“小红书的内容生态是活人种草，AI 在里面怎么样才不违和，这是困扰小红书的一个问题。”据悉，社交和搜索则是小红书希望走出图文种草的舒适区，用 AI 触达更多用户的新场景。IT之家注
4/29/2024 7:39:57 PM
浩渺
国家网信办发布第五批深度合成服务算法备案信息，理想汽车 MindGPT 等 394 个算法在列

国家网信办发布第五批深度合成服务算法备案信息，理想汽车 MindGPT 等 394 个算法在列
感谢国家网信办今日发布公告，根据《互联网信息服务深度合成管理规定》，现公开发布第五批境内深度合成服务算法备案信息。《互联网信息服务深度合成管理规定》第十九条明确规定，具有舆论属性或者社会动员能力的深度合成服务提供者，应当按照《互联网信息服务算法推荐管理规定》履行备案和变更、注销备案手续。深度合成服务技术支持者应当参照履行备案和变更、注销备案手续。请尚未履行备案手续的深度合成服务提供者和技术支持者尽快申请备案。IT之家从《境内深度合成服务算法备案清单（2024 年 4 月）》文件获悉，本次共有 394 个算法通过备案
4/11/2024 6:32:27 PM
清源
云天励飞推出“深目”AI模盒，实现算法在线学习、自我迭代

云天励飞推出“深目”AI模盒，实现算法在线学习、自我迭代
把大模型“装”进小盒子，云天励飞创新“AI+”路径
3/28/2024 4:01:00 PM
机器之心
达摩院2025届春招启动，开放20余类实习岗位

达摩院2025届春招启动，开放20余类实习岗位
3月21日消息，阿里达摩院已开启春季2025届实习生招聘，面向海内外2025届应届毕业生开放20余类实习岗位。记者注意到，达摩院招聘官网放出的岗位信息，既有视频多模态理解、多语言大模型、医疗AI、运筹优化等热门的人工智能方向，更有芯片软件、芯片设计/验证/DFT、计算体系结构、编辑器与计算体系结构开发等集成电路方向。部分岗位信息显示，达摩院的研究方向注重不同领域的融合探索，如“设计探索针对新型芯片架构的编译工具链，探索流行深度学习算法在新一代计算架构芯片上的优化算法”，要求候选人有集成电路设计或深度学习算法等研究经
3/21/2024 5:53:00 PM
新闻助手
量子计算新进展，腾讯量子实验室设计新算法进行量子近似优化

量子计算新进展，腾讯量子实验室设计新算法进行量子近似优化
编辑 | 白菜叶组合优化问题普遍存在，并且通常在计算上很难解决。量子近似优化算法（QAOA）是最具代表性的量子经典混合算法之一，旨在通过将离散优化问题转化为连续电路参数上的经典优化问题来解决组合优化问题。QAOA 目标景观因普遍存在局部最小值而臭名昭著，其可行性很大程度上依赖于经典优化器的功效。在最新的研究中，腾讯量子实验室（Tencent Quantum Laboratory）的研究人员为 QAOA 设计了 double adaptive-region Bayesian optimization（DARBO）。测
3/11/2024 6:21:00 PM
ScienceAI