Scaling Laws
Scaling Laws起源于1993年?OpenAI总裁:深度学习的根本已揭秘
AI 也要「考古」式科研? 人工智能的「第一性原理」扩展定律(Scaling Laws),把模型性能与算力等资源投入联系在了一起,是如今人们构建更先进大模型重要的参考标尺。 有关扩展定律的起源,存在很多种说法,有人认为是 2020 年 OpenAI 提出的,有人认为是 2017 年百度发现的,详情可参阅我们之前的报道《遗憾不?
9/2/2025 3:14:00 PM
机器之心
苹果发现原生多模态模型Scaling Laws:早融合优于后融合,MoE优于密集模型
让大模型进入多模态模式,从而能够有效感知世界,是最近 AI 领域里人们一直的探索目标。 目前我们见到的很多多模态大模型应用是「组合式」的:其中集成了数个单独预训练的组件,例如将视觉编码器连接到 LLM 上并继续进行多模态训练;而在谷歌 Gemin 2.0 推出之后,原生多模态模型(NMM)被认为是正确的方向。 但从零开始训练的多模态大模型真的是更好的方法吗?
4/12/2025 3:52:00 PM
机器之心
大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。 如果您有优秀的工作想要分享,欢迎投稿或者联系报道。
1/16/2025 9:06:00 PM
机器之心
Llama架构比不上GPT2?神奇token提升10倍记忆?
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾) 又将对 LLM 的知识容量产生何种影响?近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在
4/10/2024 2:49:00 PM
机器之心
- 1
资讯热榜
量大管饱!我整理了10个好用到爆的即梦4.0进阶玩法
全球高校 “猎杀” AI作业!学生如何应对 “人类化” 挑战?
AI 数据版权新纪元:Real Simple Licensing 协议引发行业关注
ChatGPT能随便连MCP了!对话就能开发票、帮退款…奥特曼的野心毕露:将OpenAI打造成全能型平台!开发者:太危险了不敢用
OpenAI进军韩国市场,携手三星与SK海力士共建AI未来!
为什么 LangChain ReAct 机制值得关注 ?
数十亿人将用上免费AGI!OpenAI奥特曼高调断言:全球经济将迎来极度通缩!效率强如DeepSeek,全球AI也需百吉瓦能源!
幻觉成了AI的“癌症”,连OpenAI也治不了
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
Meta
用户
微软
GPT
学习
技术
图像
Gemini
智能体
AI新词
马斯克
AI创作
Anthropic
英伟达
论文
训练
代码
算法
LLM
Stable Diffusion
芯片
腾讯
苹果
蛋白质
Claude
开发者
AI for Science
Agent
生成式
神经网络
机器学习
3D
xAI
研究
人形机器人
生成
AI视频
百度
计算
工具
Sora
GPU
大语言模型
华为
RAG
AI设计
字节跳动
具身智能
搜索
大型语言模型
场景
AGI
深度学习
视频生成
预测
视觉
伟达
架构
Transformer
神器推荐
编程
DeepMind
亚马逊
特斯拉
AI模型