生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

近年来,生成式大模型(如大言语模型、散布模型)已显示出卓越的性能,但它们需要大量的计较资本。为了让这些模型更易于使用,提高它们的作用至关重要。在最新的一季 MIT 6.5940 课程中,MIT 学者韩松将深入解读生成式大模型时代的「AI 计较的模型收缩与加速技巧」。课程主页:《TinyML 和高效的深度进修计较》。概括来说,这门课程将介绍高效的人工智能计较技巧,以便在资本有限的装备上实现强大的深度进修应用。课程主题包括模型收缩、剪枝、量化、神经架构搜刮、分布式训练、数据 / 模型并行化、梯度收缩和装备微调,还介绍了

近年来,生成式大模型(如大言语模型、散布模型)已显示出卓越的性能,但它们需要大量的计较资本。为了让这些模型更易于使用,提高它们的作用至关重要。

在最新的一季 MIT 6.5940 课程中,MIT 学者韩松将深入解读生成式大模型时代的「AI 计较的模型收缩与加速技巧」。

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

课程主页:https://efficientml.ai/

课程全名为《TinyML 和高效的深度进修计较》。概括来说,这门课程将介绍高效的人工智能计较技巧,以便在资本有限的装备上实现强大的深度进修应用。

课程主题包括模型收缩、剪枝、量化、神经架构搜刮、分布式训练、数据 / 模型并行化、梯度收缩和装备微调,还介绍了针对大言语模型、散布模型、视频识别和点云的特定应用加速技巧,并涵盖了量子机器进修的相关主题。此外,学生将得到在笔记本电脑上部署大型言语模型(如 LLaMA 2)的实践经验。

最重要的是,这门课程的全部视频资本将上传到 Youtube 平台。

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

播放列表地点:https://youtube.com/playlist?list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB&feature=shared

课程大纲

课程整体规划如下图所示:

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

目前,Youtube 栏目中已经更新了前五章的讲课内容:第一章 Introduction,第二章是神经网络基础,第三、四章是剪枝和稠密性,第五章是量化。

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

鉴于目前课程还在进行中,如果你对即将要学的内容非常好奇,也可以先行参考其 2022 年秋季的讲课资料,包含视频和 PPT。

下载地点:https://www.dropbox.com/sh/0ftluqbd1afzqpy/AADqxwkYrt1FbGnSQ4KP3Kpva?dl=0

讲师介绍

这门课程由MIT副教授韩松主讲,并由他的两位博士生林吉和蔡涵担任助教。

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

韩松在斯坦福大学得到博士学位,2018 年加入 MIT,现为电子工程科学系副教授,研究广泛涉足深度进修和计较机体系结构。

生成式AI时代的模型收缩与加速,韩松主讲MIT课程,资料全公开

韩松团队在硬件感知神经架构搜刮(once-for-all network)方面的工作使用户能够设计、优化、缩小人工智能模型,并将其部署到资本受限的硬件装备上。

他曾提出包括剪枝和量化在内的「深度收缩」(Deep Compression)技巧。

他还提出了「高效推理引擎」(Efficient Inference Engine,EIE),首次将权重稠密性引入现代 AI 芯片,并影响了英伟达公司带有稠密张量核心的安培 GPU 架构。

顺便一提,韩松博士的两次创业,均得到了 AI 领域的高度关注。

博士期间,韩松与同为清华大学毕业的汪玉、姚颂联合创立了深鉴科技(DeePhi Tech),其核心技巧之一为神经网络收缩算法,随后深鉴科技被美国半导体公司赛灵思收购。

2021 年,韩松与吴迪、毛慧子共同成立 AI 边缘计较公司 OmniML,旨在通过创建深度进修模型来弥合 AI 应用程序与边缘上的各种装备之间的差距,从而提高 AI 的速度、准确性和作用。今年,该公司被英伟达收购。

给TA打赏
共{{data.count}}人
人已打赏
AI

Top50 榜单中90% 生成AI公司已盈利,大模型「套壳」产物不被看好

2023-9-22 18:11:00

AI

ICCV 2023 | 重塑人体作为生成,融合集中模型与检索策略的新范式ReMoDiffuse来了

2023-9-27 14:54:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索