重修

  • 逼近量化训练?块重修技术打造离线量化新极限

    模型量化技术可以有效加速推理,已经成为人工智能芯片的标配,并在工业落地中广泛应用。离线量化(Post-Training Quantization)不需要耦合训练流程,利用成本和时间成本低,往往作为生产量化模型的首选方式,但其可调整空间有限,因此面临更大的准确度挑战,尤其是在一些特殊场景和极端要求下,不得不进一步引入更为复杂的在线量化(Quantization Aware Training)流程挽救,而这极大增加了量化模型生产的复杂度。如何在享受离线量化便捷高效的同时,在有限的调整“夹缝”中提升其成果上限,成为进一步打破技术红线的关键。在ICLR2021上,商汤科技研究院Spring工具链团队、高性能计算团队和成都电子科技大学顾实老师团队合作提出了块重修技术BRECQ,重新审视量化模型的优化粒度,首次将离线量化在4bit上的成果提升到在线量化的水平,相比在线量化可以节省大于200倍的生产时间,BRECQ在多种搜集和任务上普遍取得了业界最佳成果,打造了离线量化的新极限。

    2021年 3月 26日
  • 无监督训练用重叠自编码器是否落伍?ML博士对比了8个自编码器

    柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任意中对比了 8 种自编码器的性能。

    2021年 2月 17日