墨芯首席科学家严恩勖:用稠密化解决时代最严峻的算力寻衅

人工智能进入黄金时代,正改变各行各业以及我们的日常生活。今日集微网报道,随着人工智能使用的普及,稠密化进入人工智能行业的主流企业视野。稠密化估计能帮助人工智能突破硬件算力极限,有望实行十倍、甚至百倍的人工智能使用加快,并大幅降低估计成本。墨芯人工智能从诞生起,即专注于稠密化估计产品和解决方案,独创双稠密算法,为客户提供高品质AI估计解决方案,携手共创AI估计未来。为此,墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业劣势、未来发展等,与集微网分享了他的看法和观点。以下为访谈内容:集微网:在AI报告

人工智能进入黄金时代,正改变各行各业以及我们的日常生活。今日集微网报道,随着人工智能使用的普及,稠密化进入人工智能行业的主流企业视野。稠密化估计能帮助人工智能突破硬件算力极限,有望实行十倍、甚至百倍的人工智能使用加快,并大幅降低估计成本。墨芯人工智能从诞生起,即专注于稠密化估计产品和解决方案,独创双稠密算法,为客户提供高品质AI估计解决方案,携手共创AI估计未来。为此,墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业劣势、未来发展等,与集微网分享了他的看法和观点。以下为访谈内容:

集微网:在AI报告中,我们看到墨芯人工智能在稠密化估计的商业进展令人瞩目。我们了解到墨芯是2018年成立的,当时稠密化应该是很小众的,能和我们分享一下,墨芯为什么选择稠密化这条技巧路径作为守业方向吗?

严恩勖:我之所以对稠密化这么感兴趣,是因为它具有巨大潜力和想象空间。稠密化估计可以帮助人工智能突破目前硬件可以达到的算力极限,为社会带来激动人心的进步。2008年,我还在念本科,研究机器学习的时候,就对稠密化算法技巧感兴趣了。我去卡内基梅隆大学读博士发的第一篇论文就是关于稠密化,这也成为我博士期间的研究方向,在稠密化领域,我独创了双稠密算法,我坚信它可以让AI前沿技巧变成事实,来解决目前世界上一些严峻寻衅。其实在当时,我们就用稠密化在CPU上做AI加快了。过去,算法优化是最常用的AI加快方法,而稠密化是算法优化中,我用过最好用的加快方案。尤其是当AI模型越来越大的时候,稠密化几乎是唯一一个可以实行十倍、百倍AI训练和推理加快的方案。但如何将技巧从理论变成事实?虽然我的大部分职业生涯都是在学术领域,但其实从初中开始,我就想守业了。在初中的时候,我发现我就能自学完大学的数学课程,于是意识到教育资源并不稀缺,我曾想做一个教育平台帮助更多的人,更自主便捷地获取他们想要的教育资源,而不用在传统教育体制中卷来卷去。后来这件事随着我去美国读博而没有继续。但我个人的热情,也在于能将学术和事实结合,可以真的去解决一些事实中的问题,用科技为社会带来更多的机会和进步。2018年,我遇到了在卡内基梅隆大学的校友,也就是墨芯人工智能的创始人王维先生,他也是我们的CEO。王维先生是拥有15年经验的硅谷数模混合电路专家,曾任CPU高速链路架构师。他拥有数年硅谷半导体守业经验,曾任Intel、高通核心架构师,参与开发了五代Intel CPU处理器,累计量产超50亿片。最重要的是,我们都坚信稠密化是AI估计的未来,于是我们决定一起守业,将稠密化算法升级到估计层面,用我们掌握的技巧,为人工智能带来一些让我们骄傲的改变。墨芯现在的核心团队,无论是我们的首席架构师还是工程VP等,都有一个共同的信念,那就是稠密化一定可以改变AI的未来。

集微网:我们看到墨芯基于Antoum®️的首个高稠密倍率AI估计卡S4即将发布,能否和我们分享下在墨芯守业的过程中,从稠密算法到稠密估计,将高倍率稠密估计卡变成事实,遇到的困难和寻衅是什么?墨芯是怎么解决的?

严恩勖:墨芯人工智能专注于稠密化,并将稠密化从算法升级到估计层面,这样才能真的快。

我们遇到的一个主要寻衅是,要实行高倍率稠密化估计,CPU和GPU都不是理想的硬件。因为要实行墨芯稠密化技巧的理想加快效果,现有的硬件必须既要能实行高倍率稠密化,又要可以支撑大规模并行估计。现有GPU的硬件架构无法实行高倍率稠密化,而CPU尽管能支撑高倍率稠密加快,但由于其内核数量的限制无法实行大规模并行估计,它也不是支撑稠密化估计的最理想的硬件。为此,我们需要从算法和软件出发,来设计相应的硬件和架构。因此墨芯坚持软硬协同开发,并构建了持续多层次优化稠密运算的底层算法能力,架构保证可编程性、高度可拓展性及快速迭代能力。墨芯现在首个估计卡产品S4就是这些理念的具体体现。

集微网:墨芯的稠密化估计方案可以使用于哪些行业哪些场景?目前取得了哪些进展呢?

严恩勖:墨芯的稠密化估计产品和解决方案,可广泛使用于互联网、运营商、生物医药等数据中心人工智能使用场景。目前墨芯人工智能首个高倍率稠密化估计卡S4是专注于数据中心AI推理使用。 集微网:  今年是AI芯片的商业落地年,可否和我们分享一下,墨芯今年在产业化上的进展?

严恩勖:2021年最后一天,墨芯首个芯片Antoum®️成功回片。目前已在多个客户和生态合作伙伴测试环境下跑通多个主流AI模型。性能测试令人满意。今年6月13日,墨芯加入浪潮元脑,我们和浪潮一起共建稠密化生态。墨芯以领先的稠密化估计技巧和产品,广阔的生态潜能,融合资源与算法,共创全栈AI解决方案,为各行各业AI使用提供强大算力引擎和生态支撑,为企业降本增效,并加快产业的人工智能化进程。

在接下来的时间里,我们还会和大家分享更多的产业化进展。比如在需要将大模型落地的场景,稠密化估计具有特别劣势。

实测数据显示,S4运行主流AI模型ResNet-50和BERT,性能为国际大厂主流 AI推理卡的6倍,功耗仅为后者的一半。 

更值得注意的是,S4可以实行“单卡推理大模型”,解决目前大模型普遍需要分布式部署,落地难、成本高的痛点。在最近的一次测试中,S4在单卡支撑大模型T5-8B时,内存占用率仅为7.8%,这也意味着S4具有更多的想象空间,最大可以支撑千亿参数级别的大模型。

集微网:  我们注意到稠密化目前已经有了一些产业化使用,那和其他行业玩家相比,墨芯稠密化技巧的核心劣势劣势是什么。

严恩勖:总体而言,墨芯的估计解决方案能同时具备高性能、高能效比、高精度和低功耗四个劣势。在那些对算力和能效比要求特别高,对功耗又非常敏感的使用场景,墨芯的估计方案尤其具有劣势。因为这意味着客户在不用大幅提高服务器运维成本,就可以获得大幅性能提升。具体而言,我们的劣势有以下三个:一是在业界,我们的解决方案率先支撑高倍率稠密估计,且不影响精度。这意味着墨芯的估计卡可以突破单卡算力极限,在性能表现上为客户带来惊喜。二是我们对大模型友好,不仅可以单卡支撑大模型,为客户提供高性能的同时,还可以保持低功耗和高精度、高能效比。这在很多场景是非常有竞争力的,如互联网和生命科学领域。三是我们支撑大规模并行估计。现在,根据潜在客户的反馈,稠密化估计是极富有竞争力的AI估计解决方案。我们认为稠密化估计解决方案既可以突破算力极限,又具有良好的通用灵活性,企业可以能以极低的迁移成本,一键式地将稠密估计功能添加到现有的估计设施中。集微网: 在目前的稠密化技巧发展中,有哪些趋势性的研究方向令你眼前一亮?严恩勖:google近年来对稠密化的关注和研究令人称道。google人工智能主管Jeff Dean在2021年提出了名为Pathways的通用AI架构,判断稠密化是下一代AI架构的关键词之一。特别值得注意的是,在google研发的下一代transformer模型家族中,google去年底发布的一篇论文中提出的Scaling Transformers尤其印证了墨芯“稠密化是AI估计的未来”的这一判断。google提到,大的transformer模型在许多任务上表现令人印象深刻,但其训练甚至微调都成本高昂。不仅如此,它的解码速度很慢,以至于它们不易使用,落地非常困难。google利用稠密化来解决这个问题。他们提出的Scaling Transformers,他们认为在目前的硬件设备条件下,稠密化是最快的一种方式,可以使得每一个终端都跑得起高性能的大模型。稠密化技巧的引入,只选择重要的参数进行运算,使得扩大后的稠密模型在保留标准transformer模型精度的前提下,运行速度大幅提升。在这篇论文中,google也使用了其他类型的稠密化算法技巧来达到这一结果,google认为稠密化能与最先进的(AI加快)技巧竞争。这和我们判断非常一致。稠密化估计大有可为,是AI估计的未来。

集微网: 很好的分享,能否最后和我们分享下,你从科学家的身份到守业者的身份,你遇到的最大的寻衅是什么?最有成就感的事情是什么?

严恩勖:我遇到最大的寻衅是,不同于做学术,做估计解决方案,不仅需要你在你擅长的领域做到极具竞争力,在其他的地方也需要满足客户的需求,并做到足够优秀。最有成就感的事情,就是看到自己研发的估计解决方案真的可以在事实中找到需求,帮助客户解决棘手问题,用科技为社会带来更多的机会,更快地进步。

原创文章,作者:墨芯人工智能,如若转载,请注明出处:https://www.iaiol.com/news/mo-xin-shou-xi-ke-xue-jia-yan-en-xu-yong-chou-mi-hua-jie/

(0)
上一篇 2022年 7月 11日 下午3:31
下一篇 2022年 7月 12日 下午3:11

相关推荐

  • CVPR 2021 | 不需要标注了?看自监视进修框架如何助力主动驾驭

    来自主动驾驭公司轻舟智航和约翰霍普金斯大学的学者提出了一个自监视进修框架,可从未标注的激光雷达点云和配对的相机图象中从事点云疏通估量,与现有的监视办法相比,该办法具有良好的性能,当进一步从事监视微调时,模型优于 SOTA 办法。

    2021年 5月 17日
  • 《语音识别基础:(一)语音是什么》

    从最起初的一声巨响,到梵音天籁,到耳旁的窃窃私语,到妈妈喊我回家吃饭,总离不开声响。声响是这个世界存在并运动着的证据。

    2021年 7月 29日
  • 带你读论文 | 端到端语音辨别模型

    编者按:过去十年,得益于人工智能与机器学习的突破、算法与硬/软件能力的进步,以及拥有既多样又大量的语音数据库,用以训练多参数的、大规模的语音辨别与合成模型,使得语音处理技术获得飞跃性进展。

    2020年 11月 18日
  • 为什么我不再推荐你用Julia?

    从诞生之日起,Julia 已经走过了十多个年头。

    2022年 5月 17日
  • 如何更迷信地研讨AI+迷信?顶级学者将云集这次ICML研讨会

    ICML将举行一个AI+迷信的研讨会,由来自全球顶尖机构的研讨职员举行,集结了AI+各迷信畛域的领跑者。

    2022年 3月 30日
  • 每小时挪动800例货箱,波士顿能源推出商用仓储呆板人Strentch

    当地时间3月29日,波士顿能源公司宣布推出一款可间接搬运货箱的智能仓储呆板人Stretch,支持物流行业对灵巧自动化解决方案日益增长的需求。这款呆板人的首次亮相,标志着波士顿能源正式进入快速增长的堆栈自动化市场。波士顿能源的标志性产品是仿生呆板狗Spot,这款呆板人设想用于从海上石油钻机到深井等环境中歇息。与波士顿能源以往的产品不同,Stretch不是以人类或动物为模型,而是以实用为目的。报道 | 呆板之能Stretch由一个带轮子的方形挪动底座,一个带有摄像头和其他传感器的“感知桅杆&rdq

    2021年 3月 30日
  • 为主动驾驭汽车创造「影象」,上交校友、康奈尔大学博士生两篇论文被CVPR 2022收录

    人经常走一条路能走熟,主动驾驭汽车也应该能。

    2022年 7月 14日
  • 海内外71支劲旅角逐青光眼AI,视杯盘宰割义务体素科技团队斩获第一

    MICCAI(Medical Image Computing and Computer Assisted Intervention)始于1998年的麻省理工学院,意在探索医学影像、计算机辅助介入以及两者融合的价值。20逾年的发展,MICCAI已成为医学影像分析行业的顶级学术会议。百度组织的眼科医学影像分析研讨会OMIA (Ophthalmic Medical Image Analysis)是眼科影像领域的重点研讨会之一,至今已举办八届。2021MICCAI之上,OMIA将议点聚焦于青光眼之上,举办了GAMMA挑战赛

    2021年 10月 1日
  • 优秀!2021年google博士生奖研金陆续揭晓,同济校友王鑫龙、南大校友李昀入选

    在近日公布的google2021博士生奖研金部分名单中,来自阿德莱德大学、新南威尔士大学、昆士兰科技大学和悉尼大学的四位博士生获得该殊荣。

    2021年 8月 31日
  • WEY摩卡预售17.98万元起,激光雷达L3版11月交付

    作为WEY品牌全新定位下的旗舰车型,摩卡在本次上海车展上正式开启预售,包括入门款和4款「准L3主动驾驭」车型,价格区间为17.98万—22.08万元,用户可以通过WEY官方APP进行预订。不过,搭载激光雷达版本车型仍未公布价格,只显示「不高于同类产品定价」,且11月可以交付。据介绍,摩卡全系配备2.0T+9DCT+48V 的MHEV轻混动力体系,并集成了行业首创的E-Creep纯电蠕行技术,让起步响应缩短为仅0.3s。其中,E20N2.0T米勒循环发动机具有轻量化设计和全新优化燃烧体系等核心技术,配合4

    2021年 4月 22日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注