AI在线 AI在线

大语言模型

别再将LLM当成数据库了

别再将LLM当成数据库了
译者 | 布加迪审校 | 重楼想象一下，你戴着耳机驾驶一辆汽车，每五分钟才更新一次路况信息，而不是持续不断地提供当前位置情况的视频流。 过不了多久，你就会撞车。 虽然这种类型的批处理在现实世界中并不适用，却是当今许多系统运行的方式。
1/3/2025 8:13:08 AM
布加迪
上交大揭露大模型审稿风险：一句话就能让论文评分飞升

上交大揭露大模型审稿风险：一句话就能让论文评分飞升
大语言模型（LLMs）正以前所未有的方式，深刻影响着学术同行评审的格局。 同行评审作为科学研究的基石，其重要性毋庸置疑。 然而，随着大语言模型逐渐渗透到这一核心过程，我们是否已经准备好面对它可能带来的深远影响？
1/2/2025 7:00:00 AM
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架

SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。 当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：1、对需要完整上下文的场景，预填充阶段的过度压缩会显著降低模型的推理理解能力2、在长输出推理任务中存在重要特征的显著偏移现象这篇论文提出SCOPE框架，通过分离预填充与解码阶段的KV缓存优化策略，实现高效的缓存管理。 该框架保留预填充阶段的关键KV缓存信息，同时引入基于滑动窗口的新型策略，用于解码阶段重要特征的高效选取。
12/30/2024 1:13:35 PM
SACHIN KUMAR
26 年前的古董 Win98 电脑成功运行大语言模型：搭载奔腾 II 处理器、128MB 内存

26 年前的古董 Win98 电脑成功运行大语言模型：搭载奔腾 II 处理器、128MB 内存
一个名为 EXO Labs 的组织今日在社交媒体上发布了一段视频，展示了一台运行 Windows 98 系统的 26 年高龄的奔腾 II 电脑（128MB 内存）成功运行大型语言模型（LLM）的情形。随后，EXO Labs 在其博客上发表了一篇详细文章，进一步阐述了这个项目的细节，以及其“普及人工智能”的愿景。
12/30/2024 7:53:23 AM
远洋
SPAR：融合自对弈与树搜索的高性能指令优化框架

SPAR：融合自对弈与树搜索的高性能指令优化框架
大语言模型的指令遵循能力需要模型能够准确识别指令中的细微要求，并在输出中精确体现这些要求。 现有方法通常采用偏好学习进行优化，在创建偏好对时直接从模型中采样多个独立响应。 但是这种方法可能会引入与指令精确遵循无关的内容变化（例如，同一语义的不同表达方式），这干扰了模型学习识别能够改进指令遵循的关键差异。
12/26/2024 3:35:33 PM
SACHIN KUMAR
人工智能中的智能体内存：持久内存是如何重新定义大语言模型应用程序的

人工智能中的智能体内存：持久内存是如何重新定义大语言模型应用程序的
译者 | 张哲刚审校 | 重楼人工智能（AI） 从根本上改变了我们的生活、工作以及通信方式。 GPT-4、BERT、Llama 等大语言模型 （LLM） 在对话式人工智能方面取得了显著进步，不但响应迅速，而且做到了拟人化。 即便如此，这些系统仍然普遍存在一个致命缺陷，那就是无法在单个会话之外保留上下文信息。
12/26/2024 8:00:00 AM
张哲刚
首个科学计算基座大模型BBT-Neutron开源！突破大科学装置数据分析瓶颈

首个科学计算基座大模型BBT-Neutron开源！突破大科学装置数据分析瓶颈
高能物理是探索宇宙基本组成与规律的前沿科学领域，研究粒子在极高能量下的相互作用，是揭示宇宙起源、暗物质与暗能量等未解之谜的重要手段。 高能物理实验（如粒子对撞实验、暗物质与暗能量实验等）产生的数据量极为庞大且复杂，传统的数据分析方法在处理海量数据和复杂物理结构时，面临计算瓶颈。 近期，arXiv上更新了一篇名为《Scaling Particle Collision Data Analysis 》的论文。
12/25/2024 2:30:00 PM
新智元
美国哥伦比亚大学研究：大语言模型正在变得越来越像人类大脑

美国哥伦比亚大学研究：大语言模型正在变得越来越像人类大脑
哥伦比亚大学和费因斯坦医学研究所的研究团队近期进行了一项研究，探索了LLM与大脑神经反应的相似性。研究表明，随着LLM技术的进步，这些模型不仅在性能上有所提升，而且结构上也越来越接近人类大脑。
12/20/2024 10:18:16 AM
清源
谷歌发布 FACTS Grounding 基准：Gemini、GPT-4o、Claude 当评委，成 AI 大语言模型“幻觉照妖镜”

谷歌发布 FACTS Grounding 基准：Gemini、GPT-4o、Claude 当评委，成 AI 大语言模型“幻觉照妖镜”
12 月 18 日消息，谷歌 DeepMind 团队于 12 月 17 日发布博文，宣布推出 FACTS Grounding 基准测试，评估大型语言模型（LLMs）根据给定材料是否准确作答，并避免“幻觉”（即捏造信息）的能力，从而提升 LLMs 的事实准确性，增强用户信任度，并拓展其应用范围。 数据集在数据集方面，ACTS Grounding 数据集包含 1719 个示例，涵盖金融、科技、零售、医疗和法律等多个领域，每个示例包含一篇文档、一条要求 LLM 基于文档的系统指令和随附的提示词。 示例文档长度不一，最长可达 32000 个 token（约 20000 字）。
12/18/2024 1:24:30 PM
故渊
Differential Transformer: 通过差分注意力机制提升大语言模型性能

Differential Transformer: 通过差分注意力机制提升大语言模型性能
Transformer模型已经成为大语言模型（LLMs）的标准架构，但研究表明这些模型在准确检索关键信息方面仍面临挑战。 今天介绍一篇名叫Differential Transformer的论文，论文的作者观察到一个关键问题：传统Transformer模型倾向于过分关注不相关的上下文信息，这种"注意力噪声"会影响模型的性能。 在这篇论文中，作者注意到transformer模型倾向于关注不相关的上下文。
12/17/2024 2:39:16 PM
佚名
清华本科生获NeurIPS Math-AI 杰出论文奖：REBASE算法让小模型实现推理大突破

清华本科生获NeurIPS Math-AI 杰出论文奖：REBASE算法让小模型实现推理大突破
刚刚由清华大学本科生伍垟圳为一作的论文《推理Scaling Laws：面向语言模型问题求解的计算最优推理实证分析》在顶级AI学术会议NeurIPS 2024 Math-AI上荣获杰出论文奖（Outstanding Paper Award）。 这项研究不仅刷新了人们对推理阶段计算优化的理解，还为如何在有限计算资源下实现更高效的大语言模型（LLM）推理提供了全新的思路论文亮点：推理阶段的计算优化新突破1. 小模型也能打败大模型：重新定义推理阶段的效率论文系统性地研究了不同模型大小和推理策略在固定计算预算下的表现，发现小模型（如Llemma-7B）在结合高级推理算法后，能够实现比大模型（如Llemma-34B）更优的成本性能平衡。
12/17/2024 11:30:00 AM
AI寒武纪
如何在安卓手机上本地安装和运行LLM?

如何在安卓手机上本地安装和运行LLM?
译者 | 布加迪审校 | 重楼了解如何将AI的力量径直带入到你的安卓手机上：没有云，没有互联网，只有纯粹的设备端智能！ 在安卓手机上本地运行大语言模型（LLM）意味着你可以在不依赖云服务器或互联网连接的情况下访问人工智能（AI）模型。 这种本地环境通过确保数据安全、并在设备端来确保隐私。
12/12/2024 8:26:50 AM
布加迪
ORCA：基于持续批处理的LLM推理性能优化技术详解

ORCA：基于持续批处理的LLM推理性能优化技术详解
大语言模型(LLMs)推理过程中的批处理优化面临显著挑战，这主要源于其推理过程的迭代特性。 核心问题在于批处理中的各个请求完成时间存在差异，这导致资源释放和新请求整合的复杂性显著提高，特别是在处理不同完成阶段的请求时。 当批处理中序列的生成长度差异较大时，GPU资源利用率往往不够理想。
12/9/2024 1:40:26 PM
佚名
Hymba：结合注意力头和SSM头的创新型语言模型方案

Hymba：结合注意力头和SSM头的创新型语言模型方案
近年来，大语言模型(LLM)在各个领域取得了显著成效。 但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。 而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能，但在记忆回溯任务上表现较弱。
12/5/2024 4:19:14 PM
佚名
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比

从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。 随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。 业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。
12/2/2024 2:41:00 PM
Gautam Chutani
将大语言模型集成到现有软件系统的完整指南

将大语言模型集成到现有软件系统的完整指南
译者 | 布加迪审校 | 重楼随着最近应用迅速普及开来、人工智能（AI）得到广泛采用，大语言模型（LLM）已变得备受广大公司企业、开发人员和非开发人员的欢迎，因为它们为用户提供了诸多好处。 它们帮助开发人员调试代码并生成代码片段，还帮助澄清看似复杂的编程概念和任务，从而提高生产力。 只要用于训练的数据集涵盖主题，使用LLM的非开发人员就可以受益于对问题做出快速且定制的响应和答复。
12/2/2024 8:10:31 AM
布加迪
LLM破局泛化诊断难题，MSSP刊登北航PHM实验室健康管理大模型交叉研究

LLM破局泛化诊断难题，MSSP刊登北航PHM实验室健康管理大模型交叉研究
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。
11/28/2024 1:11:00 PM
机器之心
如何借助Cortex运行本地LLM

如何借助Cortex运行本地LLM
译者 | 布加迪审校 | 重楼AI行业正在经历一场转变，转向更小巧更高效的大语言模型（LLM），从而使用户能够在本地机器上运行模型，无需功能强大的服务器。 本教程将指导你借助Cortex运行本地LLM，着重介绍其独特的功能和易用性，使任何拥有标准硬件的人都可以享用AI。 注意：Cortex目前正在积极开发中，这可能会导致bug或某些功能无法正常运行。
11/27/2024 8:14:43 AM
布加迪