循环模型

Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限

线性循环模型（如 Mamba）和线性注意力机制都具备这样一个显著优势：它们能够处理极长的序列，这一能力对长上下文推理任务至关重要。事实上，这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口，且在序列长度上的计算复杂度是二次的，成为性能瓶颈。过去，循环模型面临的主要问题是性能不足：在处理短序列时，它们的表现往往不如 Transformer。

7/8/2025 1:07:00 PM

机器之心

资讯热榜

DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快联合国成立人工智能咨询小组 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧宾州州立大学推出首个人工智能工程学位，抢占教育先机 AI 安全测试揭示聊天机器人助长恐怖活动与网络犯罪深度测评！谷歌全新AI模型Nano Banana（附30+提示词案例）开发者写代码仅占16%!MCP 协议或让 IDE 成为新“生产力中心”

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能 Meta 用户微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体 Anthropic 英伟达论文 AI新词代码训练算法 Stable Diffusion LLM 芯片蛋白质腾讯开发者 Claude 苹果生成式 AI for Science Agent 神经网络 3D 机器学习研究 xAI 生成人形机器人 AI视频计算百度 Sora GPU 华为 AI设计工具 RAG 大语言模型搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot 特斯拉应用 DeepMind