Test-Time Training

连OpenAI都推不动Scaling Law了？MIT把「测试时训练」系统研究了一遍，发现还有路

昨天，The Information 的一篇文章让 AI 社区炸了锅。这篇文章透露，OpenAI 下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升，因为高质量文本和其他数据的供应量正在减少，原本的 Scaling Law（用更多的数据训练更大的模型）可能无以为继。此外，OpenAI 研究者 Noam Brown 指出，更先进的模型可能在经济上也不具有可行性，因为花费数千亿甚至数万亿美元训练出的模型会很难盈利。

11/12/2024 1:15:00 PM

机器之心

彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态

从 125M 到 1.3B 的大模型，性能都有提升。难以置信，这件事终于发生了。一种全新的大语言模型（LLM）架构有望代替至今在 AI 领域如日中天的 Transformer，性能也比 Mamba 更好。本周一，有关 Test-Time Training（TTT）的论文成为了人工智能社区热议的话题。论文链接：、加州大学伯克利分校、加州大学圣迭戈分校和 Meta。他们设计了一种新架构 TTT，用机器学习模型取代了 RNN 的隐藏状态。该模型通过输入 token 的实际梯度下降来压缩上下文。该研究作者之一 Karan

7/10/2024 11:20:00 AM

机器之心

资讯热榜

阿里推出 AI 医学助手 App“氢离子”：收录千万级核心期刊文献，还可查疾病、找药品 Lovart 实战深度测评！仅需4小时帮你完成一整套品牌全案设计！性能比肩 Gemini-2.5 pro、o4-mini：阿里通义千问 Qwen 3 推理模型超级进化，现已开源 Memories AI携全球首个人工智能视觉记忆模型亮相，获800万美元种子轮融资 Meta 被指控盗用 2000 余部成人影片训练 AI，或面临 3.5 亿美元天价赔偿刷新无监督异常检测上限！首提「匹配代价滤波for异常检测」范式 | ICML'25 AI和云基础设施初创企业E2B如何成为88%的财富100强企业的必备选择 OpenAI 董事会主席：如果你想快速烧掉百万美元，就开发自己的 AI 模型吧

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文智能体 Anthropic 英伟达代码算法训练 Stable Diffusion 芯片开发者蛋白质腾讯生成式 LLM 苹果 Claude 神经网络 AI新词 3D 研究机器学习生成 AI for Science Agent xAI 计算人形机器人 Sora AI视频 GPU AI设计百度华为搜索大语言模型工具场景字节跳动具身智能 RAG 大型语言模型预测深度学习伟达视觉 Transformer AGI 视频生成神器推荐亚马逊 Copilot DeepMind 架构模态应用