AI在线 AI在线

Scaling Laws

苹果发现原生多模态模型Scaling Laws：早融合优于后融合，MoE优于密集模型

苹果发现原生多模态模型Scaling Laws：早融合优于后融合，MoE优于密集模型
让大模型进入多模态模式，从而能够有效感知世界，是最近 AI 领域里人们一直的探索目标。 目前我们见到的很多多模态大模型应用是「组合式」的：其中集成了数个单独预训练的组件，例如将视觉编码器连接到 LLM 上并继续进行多模态训练；而在谷歌 Gemin 2.0 推出之后，原生多模态模型（NMM）被认为是正确的方向。 但从零开始训练的多模态大模型真的是更好的方法吗？
4/12/2025 3:52:00 PM
机器之心
大模型量化训练极限在哪？腾讯混元提出低比特浮点数训练Scaling Laws

大模型量化训练极限在哪？腾讯混元提出低比特浮点数训练Scaling Laws
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
1/16/2025 9:06:00 PM
机器之心
Llama架构比不上GPT2？神奇token提升10倍记忆？

Llama架构比不上GPT2？神奇token提升10倍记忆？
一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾) 又将对 LLM 的知识容量产生何种影响？近日，朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3：知识的 Scaling Laws》用海量实验（50,000 条任务，总计 4,200,000 GPU 小时）总结了 12 条定律，为 LLM 在
4/10/2024 2:49:00 PM
机器之心
  • 1