SliceGPT

大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增

删除权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务性能，同时计算效率大大提升。这就是微软 SliceGPT 的威力。大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝和量化。其中，剪枝方法已经存在了一段时间，但许多方法需要在剪枝后进行恢复微调（RFT）以保持

1/30/2024 3:01:00 PM

机器之心

资讯热榜

Lovart震撼发布：全球首个设计Agent，一键从创意到成品全球首个设计Agent Lovart席卷全球，颠覆性功能与幕后团队揭秘全球首款设计Agent Lovart内测！一句话搞定Logo、视频、品牌全套字节跳动开源 Deep Research 项目 DeerFlow：可生成图文报告、语音播客一文搞懂人工智能中的MCP原理：从概念到应用的全面解析苹果发布FastVLM模型，可在iPhone上运行的极速视觉语言模型清华系创业团队“灵御智能”融资千万，聚焦人机混合智能淘宝推出桌面版客户端支持 AI 购物功能

标签云

人工智能 AI OpenAI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源微软学习 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片代码生成式蛋白质英伟达腾讯神经网络研究 Anthropic 开发者 3D 计算 Sora 机器学习 AI设计 AI for Science GPU AI视频苹果场景华为百度人形机器人预测搜索 Claude 伟达训练深度学习生成 xAI Transformer 大语言模型字节跳动模态具身智能文本驾驶智能体神器推荐 Copilot LLaMA 视觉算力安全应用视频生成干货合集 API 大型语言模型亚马逊科技