循环
循环语言模型:提升参数效率的潜在推理新范式
现代大型语言模型(LLM)主要通过显式文本生成方式进行"思考",例如思维链(Chain-of-Thought, CoT),这种方法将推理延迟到训练后阶段,未能充分利用预训练数据。 本文介绍了一种名为Ouro的开源预训练循环语言模型(LoopLM)家族,其命名灵感来自递归的衔尾蛇(Ouroboros),通过三种关键创新将推理能力直接构建到预训练阶段:(1)潜在空间中的迭代计算,(2)用于学习深度分配的熵正则化目标函数,以及(3)扩展到7.7万亿token的训练规模。 核心创新与技术亮点Ouro模型展现了卓越的参数效率,其1.4B和2.6B参数规模的模型性能可以匹配甚至超越12B参数的SOTA模型。
超越思维链?深度循环隐式推理引爆AI圈,LLM扩展有了新维度
不需要特殊训练数据,能处理语言难以形容的任务,3.5B 参数能实现 50B 的性能。 这是一种全新的语言模型架构,能够通过使用循环语言模型在潜在空间中隐式推理,显著提升模型的计算效率,尤其是在需要复杂推理的任务上。 近日,马里兰大学的一篇论文在 AI 研究社区中引发了关注,其提出的语言模型通过迭代循环块来工作,能在测试时展开到任意深度。
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
谷歌
DeepSeek
AI新词
AI绘画
大模型
机器人
数据
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
英伟达
Gemini
智能体
技术
马斯克
Anthropic
图像
AI创作
训练
LLM
论文
AI for Science
代码
腾讯
苹果
算法
Agent
Claude
芯片
具身智能
Stable Diffusion
xAI
蛋白质
人形机器人
开发者
生成式
神经网络
机器学习
AI视频
3D
字节跳动
大语言模型
RAG
Sora
百度
研究
GPU
生成
华为
工具
AGI
计算
生成式AI
AI设计
大型语言模型
搜索
亚马逊
AI模型
视频生成
特斯拉
DeepMind
场景
Copilot
深度学习
Transformer
架构
MCP
编程
视觉