离线
逼近量化训练?块重建技术打造离线量化新极限
模型量化技术可以有效加速推理,已经成为人工智能芯片的标配,并在工业落地中广泛应用。离线量化(Post-Training Quantization)不需要耦合训练流程,使用成本和时间成本低,往往作为生产量化模型的首选方式,但其可调整空间有限,因此面临更大的准确度挑战,尤其是在一些特殊场景和极端要求下,不得不进一步引入更为复杂的在线量化(Quantization Aware Training)流程挽救,而这极大增加了量化模型生产的复杂度。如何在享受离线量化便捷高效的同时,在有限的调整“夹缝”中提升其效果上限,成为进一步打破技术红线的关键。在ICLR2021上,商汤科技研究院Spring工具链团队、高性能计算团队和成都电子科技大学顾实老师团队合作提出了块重建技术BRECQ,重新审视量化模型的优化粒度,首次将离线量化在4bit上的效果提升到在线量化的水平,相比在线量化可以节省大于200倍的生产时间,BRECQ在多种网络和任务上普遍取得了业界最佳效果,打造了离线量化的新极限。
3/26/2021 3:07:00 PM
特邀精选
- 1
资讯热榜
Google 不慎泄露 Gemini CLI 开源即将推出文章,现已404
从文本生成到指令编辑 OmniGen2重塑开源多模态模型应用场景
AI Hacker Rises to Power! XBOW's Autonomous AI Tool Dominates HackerOne, Revealing Thousands of Vulnerabilities and Intimidating the Cybersecurity Industry
ElevenLabs隆重推出AI语音助理11ai:语音优先并支持集成MCP
苹果iOS 26升级:图乐园功能焕然一新,AI 生成图像更真实!
告别代码恐惧症!豆包推出可视化AI编程,拖拽即可创建网页应用
细节控!即梦灰测图片3.1模型 电影感增强,风格化艺术感更强
OpenAI搜索连接器重磅上线!解锁ChatGPT全新工作效率神器
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
Gemini
AI创作
马斯克
论文
代码
Anthropic
算法
英伟达
Stable Diffusion
芯片
训练
开发者
智能体
生成式
蛋白质
腾讯
苹果
神经网络
3D
研究
生成
Claude
机器学习
计算
Sora
LLM
AI设计
AI for Science
AI视频
GPU
人形机器人
华为
搜索
百度
AI新词
xAI
大语言模型
场景
Agent
字节跳动
预测
深度学习
伟达
Transformer
工具
视觉
大型语言模型
RAG
神器推荐
模态
具身智能
文本
Copilot
LLaMA
算力
驾驶
API
视频生成