墨芯首席科学家严恩勖:用稀少化解决时代最严峻的算力挑拨

人工智能进入黄金时代,正改变各行各业以及我们的日常生活。今日集微网报道,随着人工智能运用的普及,稀少化进入人工智能行业的主流企业视野。稀少化较量争论能帮助人工智能突破硬件算力极限,有望完成十倍、甚至百倍的人工智能运用加快,并大幅降低较量争论成本。墨芯人工智能从诞生起,即专注于稀少化较量争论产品和解决方案,独创双稀少算法,为客户提供高品质AI较量争论解决方案,携手共创AI较量争论未来。为此,墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业上风、未来发展等,与集微网分享了他的看法和观点。以下为访谈内容:集微网:在AI报告

人工智能进入黄金时代,正改变各行各业以及我们的日常生活。

今日集微网报道,随着人工智能运用的普及,稀少化进入人工智能行业的主流企业视野。稀少化较量争论能帮助人工智能突破硬件算力极限,有望完成十倍、甚至百倍的人工智能运用加快,并大幅降低较量争论成本。墨芯人工智能从诞生起,即专注于稀少化较量争论产品和解决方案,独创双稀少算法,为客户提供高品质AI较量争论解决方案,携手共创AI较量争论未来。为此,墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业上风、未来发展等,与集微网分享了他的看法和观点。以下为访谈内容:

集微网:在AI报告中,我们看到墨芯人工智能在稀少化较量争论的商业进展令人瞩目。我们了解到墨芯是2018年成立的,当时稀少化应该是很小众的,能和我们分享一下,墨芯为什么选择稀少化这条手艺路径作为守业方向吗?

严恩勖:我之所以对稀少化这么感兴趣,是因为它具有巨大潜力和想象空间。稀少化较量争论可以帮助人工智能突破目前硬件可以达到的算力极限,为社会带来激动人心的进步。2008年,我还在念本科,研究机器学习的时候,就对稀少化算法手艺感兴趣了。我去卡内基梅隆大学读博士发的第一篇论文就是关于稀少化,这也成为我博士期间的研究方向,在稀少化领域,我独创了双稀少算法,我坚信它可以让AI前沿手艺变成实际,来解决目前世界上一些严峻挑拨。

其实在当时,我们就用稀少化在CPU上做AI加快了。过去,算法优化是最常用的AI加快方法,而稀少化是算法优化中,我用过最好用的加快方案。尤其是当AI模型越来越大的时候,稀少化几乎是唯一一个可以完成十倍、百倍AI训练和推理加快的方案。

但如何将手艺从理论变成实际?虽然我的大部分职业生涯都是在学术领域,但其实从初中开始,我就想守业了。在初中的时候,我发现我就能自学完大学的数学课程,于是意识到教育资源并不稀缺,我曾想做一个教育平台帮助更多的人,更自主便捷地获取他们想要的教育资源,而不用在传统教育体制中卷来卷去。

后来这件事随着我去美国读博而没有继续。但我个人的热情,也在于能将学术和实际结合,可以真的去解决一些实际中的问题,用科技为社会带来更多的机会和进步。

2018年,我遇到了在卡内基梅隆大学的校友,也就是墨芯人工智能的创始人王维先生,他也是我们的CEO。王维先生是拥有15年经验的硅谷数模混合电路专家,曾任CPU高速链路架构师。他拥有数年硅谷半导体守业经验,曾任Intel、高通核心架构师,参与开发了五代Intel CPU处理器,累计量产超50亿片。

最重要的是,我们都坚信稀少化是AI较量争论的未来,于是我们决定一起守业,将稀少化算法升级到较量争论层面,用我们掌握的手艺,为人工智能带来一些让我们骄傲的改变。

墨芯现在的核心团队,无论是我们的首席架构师还是工程VP等,都有一个共同的信念,那就是稀少化一定可以改变AI的未来。

集微网:我们看到墨芯基于Antoum®️的首个高稀少倍率AI较量争论卡S4即将发布,能否和我们分享下在墨芯守业的过程中,从稀少算法到稀少较量争论,将高倍率稀少较量争论卡变成实际,遇到的困难和挑拨是什么?墨芯是怎么解决的?

严恩勖:墨芯人工智能专注于稀少化,并将稀少化从算法升级到较量争论层面,这样才能真的快。

我们遇到的一个主要挑拨是,要完成高倍率稀少化较量争论,CPU和GPU都不是理想的硬件。

因为要完成墨芯稀少化手艺的理想加快效果,现有的硬件必须既要能完成高倍率稀少化,又要可以支撑大规模并行较量争论。现有GPU的硬件架构无法完成高倍率稀少化,而CPU尽管能支撑高倍率稀少加快,但由于其内核数量的限制无法完成大规模并行较量争论,它也不是支撑稀少化较量争论的最理想的硬件。

为此,我们需要从算法和软件出发,来设计相应的硬件和架构。因此墨芯坚持软硬协同开发,并构建了持续多层次优化稀少运算的底层算法能力,架构保证可编程性、高度可拓展性及快速迭代能力。墨芯现在首个较量争论卡产品S4就是这些理念的具体体现。

集微网:墨芯的稀少化较量争论方案可以运用于哪些行业哪些场景?目前取得了哪些进展呢?

严恩勖:墨芯的稀少化较量争论产品和解决方案,可广泛运用于互联网、运营商、生物医药等数据中心人工智能运用场景。目前墨芯人工智能首个高倍率稀少化较量争论卡S4是专注于数据中心AI推理运用。

 

集微网:  今年是AI芯片的商业落地年,可否和我们分享一下,墨芯今年在产业化上的进展?

严恩勖:2021年最后一天,墨芯首个芯片Antoum®️成功回片。目前已在多个客户和生态合作伙伴测试环境下跑通多个主流AI模型。性能测试令人满意。今年6月13日,墨芯加入浪潮元脑,我们和浪潮一起共建稀少化生态。墨芯以领先的稀少化较量争论手艺和产品,广阔的生态潜能,融合资源与算法,共创全栈AI解决方案,为各行各业AI运用提供强大算力引擎和生态支撑,为企业降本增效,并加快产业的人工智能化进程。

在接下来的时间里,我们还会和大家分享更多的产业化进展。比如在需要将大模型落地的场景,稀少化较量争论具有特别上风。

实测数据显示,S4运行主流AI模型ResNet-50和BERT,性能为国际大厂主流 AI推理卡的6倍,功耗仅为后者的一半。 

更值得注意的是,S4可以完成“单卡推理大模型”,解决目前大模型普遍需要分布式部署,落地难、成本高的痛点。在最近的一次测试中,S4在单卡支撑大模型T5-8B时,内存占用率仅为7.8%,这也意味着S4具有更多的想象空间,最大可以支撑千亿参数级别的大模型。

集微网:  我们注意到稀少化目前已经有了一些产业化运用,那和其他行业玩家相比,墨芯稀少化手艺的核心上风上风是什么。

严恩勖:总体而言,墨芯的较量争论解决方案能同时具备高性能、高能效比、高精度和低功耗四个上风。在那些对算力和能效比要求特别高,对功耗又非常敏感的运用场景,墨芯的较量争论方案尤其具有上风。因为这意味着客户在不用大幅提高服务器运维成本,就可以获得大幅性能提升。具体而言,我们的上风有以下三个:

一是在业界,我们的解决方案率先支撑高倍率稀少较量争论,且不影响精度。这意味着墨芯的较量争论卡可以突破单卡算力极限,在性能表现上为客户带来惊喜。

二是我们对大模型友好,不仅可以单卡支撑大模型,为客户提供高性能的同时,还可以保持低功耗和高精度、高能效比。这在很多场景是非常有竞争力的,如互联网和生命科学领域。

三是我们支撑大规模并行较量争论。现在,根据潜在客户的反馈,稀少化较量争论是极富有竞争力的AI较量争论解决方案。

我们认为稀少化较量争论解决方案既可以突破算力极限,又具有良好的通用灵活性,企业可以能以极低的迁移成本,一键式地将稀少较量争论功能添加到现有的较量争论设施中。

集微网: 在目前的稀少化手艺发展中,有哪些趋势性的研究方向令你眼前一亮?

严恩勖:google近年来对稀少化的关注和研究令人称道。google人工智能主管Jeff Dean在2021年提出了名为Pathways的通用AI架构,判断稀少化是下一代AI架构的关键词之一。特别值得注意的是,在google研发的下一代transformer模型家族中,google去年底发布的一篇论文中提出的Scaling Transformers尤其印证了墨芯“稀少化是AI较量争论的未来”的这一判断。

google提到,大的transformer模型在许多任务上表现令人印象深刻,但其训练甚至微调都成本高昂。不仅如此,它的解码速度很慢,以至于它们不易使用,落地非常困难。google利用稀少化来解决这个问题。

他们提出的Scaling Transformers,他们认为在目前的硬件设备条件下,稀少化是最快的一种方式,可以使得每一个终端都跑得起高性能的大模型。

稀少化手艺的引入,只选择重要的参数进行运算,使得扩大后的稀少模型在保留标准transformer模型精度的前提下,运行速度大幅提升。在这篇论文中,google也使用了其他类型的稀少化算法手艺来达到这一结果,google认为稀少化能与最先进的(AI加快)手艺竞争。

这和我们判断非常一致。稀少化较量争论大有可为,是AI较量争论的未来。

集微网: 很好的分享,能否最后和我们分享下,你从科学家的身份到守业者的身份,你遇到的最大的挑拨是什么?最有成就感的事情是什么?

严恩勖:我遇到最大的挑拨是,不同于做学术,做较量争论解决方案,不仅需要你在你擅长的领域做到极具竞争力,在其他的地方也需要满足客户的需求,并做到足够优秀。最有成就感的事情,就是看到自己研发的较量争论解决方案真的可以在实际中找到需求,帮助客户解决棘手问题,用科技为社会带来更多的机会,更快地进步。

给TA打赏
共{{data.count}}人
人已打赏
AI

ScienceAI发展前瞻:AI与科学较量争论的双向作用

2022-7-11 15:31:00

AI

130亿光年:刚刚,NASA发布了宇宙最深处的影像

2022-7-12 15:11:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索