AI在线 AI在线

BitDistill

微软BitDistill将LLM压缩到1.58比特:10倍内存节省、2.65倍CPU推理加速

大语言模型(LLM)不仅在推动通用自然语言处理方面发挥了关键作用,更重要的是,它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。 尽管 LLM 具有广泛的适用性,但在下游任务中高效部署仍面临重大挑战。 随着模型规模的急剧扩大,这些挑战被进一步放大,尤其是在资源受限的设备上(如智能手机),内存占用和计算开销都变得极其昂贵。
10/20/2025 4:39:00 PM
机器之心
  • 1