循环模型

Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限

线性循环模型（如 Mamba）和线性注意力机制都具备这样一个显著优势：它们能够处理极长的序列，这一能力对长上下文推理任务至关重要。事实上，这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口，且在序列长度上的计算复杂度是二次的，成为性能瓶颈。过去，循环模型面临的主要问题是性能不足：在处理短序列时，它们的表现往往不如 Transformer。

7/8/2025 1:07:00 PM

机器之心

资讯热榜

单张4090跑到30fps，范浩强团队让VLA实时跑起来了最具争议性研究：大模型中间层输出可 100% 反推原始输入奥特曼回应一切：重组后仍需微软支持，不相信OpenAI的欢迎做空 OpenAI 或将于明年上市，估值可达万亿！ OpenAI更新ChatGPT规则：10月29日起禁止医疗、法律与财务建议亚马逊股价暴涨 13%，人工智能推动云计算迎来多年最快增长 Bevel 获得 1000 万美元 A 轮融资，致力于 AI 健康助手创新「套壳」的最高境界：OpenAI揭秘Atlas浏览器架构OWL

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 编程视觉 Transformer AI模型预测亚马逊特斯拉 MCP