AI在线 AI在线

LLM

五分钟读懂 LLM：DeepSeek、ChatGPT 背后的核心技术

五分钟读懂 LLM：DeepSeek、ChatGPT 背后的核心技术
LLM（Large Language Model）是大型语言模型的简称，像DeepSeek、ChatGPT等都属于不同公司开发的LLM。 你可以把它想象成一个超级聪明的聊天机器人和写作助手，它通过学习了海量文字资料，变得非常擅长理解和生成人类语言。 简单来说，它能听懂你说什么，也能像模像样地跟你聊天、写文章等等。
3/31/2025 8:15:00 AM
Python数智工坊
大模型不再是路痴！空间推理的答案是RAG：旅游规划、附近推荐全解锁

大模型不再是路痴！空间推理的答案是RAG：旅游规划、附近推荐全解锁
近年来，大型语言模型（LLMs）的进展已经在机器学习（ML）的许多领域带来了变革，特别是在理解和生成类人文本方面，激发了人们通过直接从LLMs中提取空间知识来弥合空间问答与自然语言之间的差距，研究成果涵盖了广泛的应用，包括地理百科全书问答、地理定位和自动高精度地图生成等。 然而，当涉及到空间推理任务时，LLMs的表现却显得力不从心，甚至在处理基本的空间任务时也遇到困难，例如地理解析和理解相对空间关系。 这种差距在处理现实世界的空间推理任务时尤为明显，例如图1中所示的场景：图1 现实世界中空间推理问题示例。
3/28/2025 10:42:17 AM
新智元
Agent太火！看这一篇综述，知识就不会学杂了丨华东师大&东华大学出品

Agent太火！看这一篇综述，知识就不会学杂了丨华东师大&东华大学出品
火，Agent可太火了！ 关于Agent的进展俯拾皆是，根本看不过来……看过来——这篇综述可能能帮你厘清很多问题：来自华东师大和东华大学的研究团队发表了“A Survey on the Optimization of Large Language Model-based Agents（大模型智能体的优化方法综述）”，首次从系统化视角对LLM智能体优化策略进行了全面梳理与分析。 论文将将现有方法划分为两大类：参数驱动的优化与参数无关的优化。
3/27/2025 1:30:57 PM
量子位
星辰与代码：DeepSeek的发展历程

星辰与代码：DeepSeek的发展历程
技术突破阶段2024 年，DeepSeek 强势开启生态扩张与技术爆发的新纪元，成为全球 AI 领域瞩目的焦点。 年初 1 月，DeepSeek 便以 DeepSeek-MoE 震撼登场，创新性架构设计以仅 60% 的计算量损耗，成功超越 Llama 2-7B 性能，为后续技术突破奠定坚实基础，在模型效率优化上迈出关键一步。 紧接着 2 月，DeepSeekMath 在 MATH 基准测试中表现惊艳，成绩飙升至 51.7%，无限逼近 GPT-4 水平，数学推理能力实现质的飞跃，极大提升了模型在复杂数学问题求解上的可靠性与精准度。
3/27/2025 3:50:00 AM
小牛呼噜噜
爆火Block Diffusion引发LLM架构变革？自回归+扩散模型完美结合

爆火Block Diffusion引发LLM架构变革？自回归+扩散模型完美结合
扩散模型被广泛应用于生成图像和视频，并且在生成离散数据（如文本或生物序列）任务上的效果也越来越好，与自回归模型相比，扩散模型有望加速「生成过程」并提高模型输出的「可控性」。 然而，离散扩散模型目前仍然有三个局限性：在聊天系统等应用中，模型需要生成任意长度的输出序列（例如，对用户问题的回答），但大多数现有的扩散架构只能生成固定长度的向量；离散扩散在生成过程中使用双向上下文，因此无法利用键值缓存（KV caching）复用之前的计算，使得推理效率较低。 从困惑度等标准指标来看，离散扩散模型的质量仍落后于自回归方法，也进一步限制了其应用范围。
3/25/2025 9:04:12 AM
新智元
击败思维链（CoT），草稿链（CoD）称王！推理成本降低近94%，低时延，准确率更高！

击败思维链（CoT），草稿链（CoD）称王！推理成本降低近94%，低时延，准确率更高！
编辑 | 言征作者 | Ashish Bamania出品 | 51CTO技术栈（微信号：blog51cto）推理 LLM 是当今 AI 研究中的热门话题。 我们从 GPT-1 开始，一直到像 Grok-3 这样的高级推理器。 这段旅程非常了不起，一路上发现了一些非常重要的推理方法。
3/24/2025 1:45:56 PM
言征
基于代理知识蒸馏技术克服文档提取和RAG策略失败问题

基于代理知识蒸馏技术克服文档提取和RAG策略失败问题
译者 | 朱先忠审校 | 重楼简介当下，许多生成式AI应用场景仍然围绕检索增强生成（RAG）展开，但始终未能满足用户的期望。 尽管对RAG改进的研究越来越多，甚至在流程中添加了代理技术，但许多解决方案仍然无法返回详尽的结果，遗漏了文档中很少提及的关键信息，需要多次搜索迭代，并且通常难以协调多个文档中的关键主题。 最糟糕的是，许多实现方案仍然依赖于将尽可能多的“相关”信息与详细的系统和用户提示一起塞入模型的上下文窗口。
3/24/2025 8:20:39 AM
朱先忠
迄今为止最大最全面！人类专家级准确性，AI数据驱动的生物医学知识图谱

迄今为止最大最全面！人类专家级准确性，AI数据驱动的生物医学知识图谱
编辑 | 萝卜皮为了应对生物医学研究中科学出版物和数据的快速增长，知识图谱（KG）已成为整合大量异构数据以实现高效信息检索和自动知识发现的重要工具。 然而，将非结构化的科学文献转化为知识图谱仍然是一项艰巨的挑战，之前的方法无法达到人类水平的准确率。 在最新的研究中，佛罗里达州立大学（Florida State University）和 Insilicom LLC 的研究人员使用了在 LitCoin 自然语言处理挑战赛 (2022) 中获得第一名的信息提取流程，利用所有 PubMed 摘要构建了一个名为 iKraph 的大规模知识图谱。
3/20/2025 2:08:00 PM
ScienceAI
免费托管Khoj：你的个人自主AI应用程序

免费托管Khoj：你的个人自主AI应用程序
译者 | 布加迪审校 | 重楼Khoj是你的AI第二大脑，旨在增强大语言模型（LLM）的能力。 它便于你构建自定义代理、调度自动化以及进行深入研究。 有了Khoj，你可以把任何在线或本地托管的LLM变成个人的自主AI助手，并确保隐私和安全。
3/20/2025 9:38:50 AM
布加迪
如何绕过限制，获取 Cursor 的系统提示词

如何绕过限制，获取 Cursor 的系统提示词
大家好，我卡颂，专注程序员AI转型。 Cursor母公司Anysphere三个月前才完成一轮 1 亿刀的融资（估值 25 亿刀），现在已经在为 100 亿刀估值进行新一轮谈判。 可见Cursor发展之迅速。
3/19/2025 9:14:15 AM
卡颂
用LLM做半导体设计，IBM&MIT提出受神经启发的LLM推理网络SOLOMON

用LLM做半导体设计，IBM&MIT提出受神经启发的LLM推理网络SOLOMON
编辑丨coisini尽管大型语言模型（LLM）擅长复杂推理，但在适应特定领域时仍面临挑战，尤其是在需要空间推理和解决结构化问题的领域。 半导体布局设计就是一个典型例子，AI 工具必须理解几何约束并确保组件的精确布局。 基于此，来自 IBM TJ 沃森研究中心和 MIT-IBM 沃森人工智能实验室的研究人员提出了一种受神经启发的 LLM 推理网络 ——SOLOMON，旨在增强领域特定的适应性。
3/18/2025 11:59:00 AM
ScienceAI
LLM核心损失函数深度剖析——KL散度与交叉熵损失

LLM核心损失函数深度剖析——KL散度与交叉熵损失
在深度学习和机器学习领域，损失函数是模型优化的核心工具之一。 它不仅决定了模型的训练方向，还直接影响模型的性能和泛化能力。 随着大语言模型（LLM）的兴起，对损失函数的理解和应用变得更加重要。
3/18/2025 10:28:32 AM
Goldma
有望重新定义语言生成技术的扩散模型——LLaDA​

有望重新定义语言生成技术的扩散模型——LLaDA​
译者 | 朱先忠审校 | 重楼简介如果我们能让语言模型更像人类一样思考，结果会怎样？ 如果它们不是一次写一个字，而是先勾勒出自己的想法，然后逐渐完善，结果又会怎样？ 这正是大型语言扩散模型（LLaDA）所引入的：一种与大型语言模型（LLM）中当前使用的文本生成不同的方法。
3/17/2025 11:35:36 AM
朱先忠
无需训练，100%完美检索！LLM练出「火眼金睛」，InfiniRetri超长文本一针见血

无需训练，100%完美检索！LLM练出「火眼金睛」，InfiniRetri超长文本一针见血
全新检索模式：在无限长token下，大语言模型自身或能检索信息！ 受大语言模型（LLM）上下文窗口大小的限制，处理输入token数超过上限的各种任务颇具挑战性，无论是简单的直接检索任务，还是复杂的多跳推理任务。 尽管新提出的各种方法用来增强大语言模型的长上下文处理能力，但这些方法痛点突出：要么会产生高昂的训练后成本，要么需要额外的工具模块（如检索增强生成RAG），要么在实际任务中显示出改进，并不明显。
3/17/2025 9:40:00 AM
新智元
人工智能代理不是玩具，而是工人

人工智能代理不是玩具，而是工人
为什么必须像评估劳动力一样评估LLM代理，而不仅仅是评估软件。 如果组织仅通过代码行数或聊天完成度等指标来衡量 AI 代理，则可能会低估其最具变革性的价值。 在许多方面，AI 代理更像员工，而不是传统的软件程序：它们可以学习、适应，甚至与人类团队合作。
3/13/2025 1:29:32 PM
佚名
大型语言模型是否解决了搜索问题？

大型语言模型是否解决了搜索问题？
译者 | 李睿审校 | 重楼尽管LLM在内容生成方面表现出色，但需要采用语义分块和向量嵌入等技术来解决复杂数据环境中的搜索问题。 大型语言模型（LLM）的涌现推动了信息检索和人机交互的范式转变。 这些模型在大量的文本语料库上进行训练，并针对预测语言任务进行了优化，在响应查询、总结文本内容和生成上下文相关信息方面展现出了显著成效。
3/13/2025 12:09:27 PM
李睿
只需7.6% token，性能还更强！华人团队提全新「草稿链」CoD，成本延迟大降

只需7.6% token，性能还更强！华人团队提全新「草稿链」CoD，成本延迟大降
当下，企业正处于部署AI的关键节点。 随着AI系统在企业运营中的深度融合，计算成本与响应时间成为阻碍AI广泛应用的主要瓶颈。 来自Zoom的华人研究团队取得了一项突破性成果，他们开发的「草稿链」（Chain of Draft，CoD）技术，有望从根本上改变企业大规模部署AI的模式。
3/13/2025 10:40:00 AM
新智元
L²M条件，MIT团队为长文本建模建立新理论框架

L²M条件，MIT团队为长文本建模建立新理论框架
编辑 | ScienceAI在追求更强大 AI 系统的道路上，大语言模型处理长上下文的能力始终是制约其发展的关键瓶颈。 尽管 DeepSeek、GPT-4、LLaMA-3 等顶尖模型已能处理数万 token 的文本，但学界对「模型究竟需要何种能力才能有效理解长文本」这一根本问题仍缺乏理论指导。 近日，麻省理工学院 Zhuo Chen、Oriol Mayn ́e i Comas 、Zhuotao Jin 、Di Luo 、Marin Soljači 领衔的研究团队提出自然语言中隐藏的互信息缩放定律（Mutual Information Scaling Law），并由此提出长上下文语言建模的 L²M 条件（Long-context Language Modeling condition），为理解大语言模型的长文本处理能力建立了首个系统化理论框架。
3/11/2025 12:17:00 PM
ScienceAI