茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

2022年7月15日,墨芯人工智能参展厦门半导体峰会,首席科学家严恩勖发表报告,展示墨芯如何用茂密化推动AI估计前沿和最新的产业进展。16日墨芯获评“最具投资价值奖”。集微峰会被誉为“半导体业风向标”,设特色“芯力量”展区和EDA展区。墨芯位于“芯力量”展区核心位置——76号展台。   墨芯作为茂密化估计引领者,致力于提供云端和终端AI估计平台和服务,打造软硬共同的新一代智能计

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

2022年7月15日,墨芯人工智能参展厦门半导体峰会,首席科学家严恩勖发表报告,展示墨芯如何用茂密化推动AI估计前沿和最新的产业进展。16日墨芯获评“最具投资价值奖”。

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

集微峰会被誉为“半导体业风向标”,设特色“芯力量”展区和EDA展区。墨芯位于“芯力量”展区核心位置——76号展台。 茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼  墨芯作为茂密化估计引领者,致力于提供云端和终端AI估计平台和服务,打造软硬共同的新一代智能估计平台。团队携首颗芯片Antoum®和人工智能推理估计卡S4参展。

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

墨芯人工智能S4估计卡基于墨芯首颗芯片Antoum®,是全球首款高达32倍茂密率的AI估计卡。S4专注于数据中心AI推理应用,可广泛应用于互联网、运营商、金融、制造、医疗、交通、能源、生物医药等众多AI推理场景。S4在第三方浪潮服务器上,运转多个支流AI模型,实测机能是国际大厂支流AI推理卡T4的6倍。近年来新兴的NLP模型——T5,曾被称为“全新NLP SOTA预训练模型”,以其高参数量,让许多估计卡“望而却步”。S4在单机单卡环境下就能运转T5-8B模型,算力稳定在190 SPS左右。

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

值得注意的是,S4运转T5时内存占比只有约7.8%,让人对它能够支持的模型参数具有很大想象空间。相较于当前国际大厂支流推理卡单卡只能支持百亿参数级别的模型,S4估计卡可以支持千亿参数级别的模型。

S4不仅运转大模型机能测试表现优秀,运转其他经典AI模型,如图像分类识别模型ResNet-50、自然语言处理领军模型BERT的机能数据也很亮眼。

下图为S4运转BERT模型在单机单卡环境,不影响精度的前提下,机能达13213 SPS,为国际大厂支流AI推理卡的6倍以上,功耗仅为后者一半。

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

基于创新茂密化估计技术的AI推理估计卡S4的亮眼机能吸引业内人士纷纷前来咨询。

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼

峰会首日的另一亮点来自于业内领先公司的现场报告。墨芯人工智能首席科学家严恩勖发表了《AI步入大模型时代,茂密化是AI估计的未来》报告。茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼自2018年BERT大模型问世以来,AI进入大模型时代。目前大模型的热门方向包括NLP、CV、多模态等,目前以GPT-3、Switch Transformer为代表的大模型已经进入商业化部署。尤其是多模态AI大模型推动AI从弱人工智能向通用人工智能演进。但是大模型由于参数量巨大,对算力的需求前所未有,而现有的硬件算力升级效率放缓,以至于很难满足大模型的算力需求。而墨芯作为茂密化估计的引领者,试图用茂密化估计平台来解决这个算力瓶颈。不仅如此,还能解决大模型带来的高能耗、高成本的问题。茂密化估计是指在原有AI估计的大量矩阵运算中,将无效元素剔除,让神经网络模型消减冗余,以显著加快估计速度,降低估计成本。茂密化估计解决方案具有四个核心价值:高算力,低功耗,高精度,高性价比。茂密化如何做到?严恩勖总结为以下2点:

1、软硬共同安排 业界大部分的公司要么是侧重硬件公司,要么是侧重软件算法公司,业界要么是选择配合现有的硬件安排一些次优化的算法,或者是配合当前算法安排一些次优化的硬件,这些都无法带来数量级算力提升。墨芯采用软硬共同安排,因为唯有这样,才能提高数量级算力提升。

2、独创茂密化算法 双茂密算法是指神经网络的权重茂密化+激活茂密化。使用双茂密化允许开发人员在使用相同的内存、估计量和能耗的条件下,处理更大的矩阵乘积。双茂密化算法具有高算力、低功耗、高能效比等优点。

S4估计卡的超高机能让现场观众印象深刻,严恩勖关于茂密化对AI估计的创新意义的阐述引发了现场观众对墨芯的浓厚兴趣,与会者对他的报告反响热烈。他的报告刚一结束,与会者纷纷上前咨询。会后,他接受了集微网专访,他说:“厦门半导体峰会聚集了业内最好的公司和平台,而墨芯作为茂密化估计引领者,希望在这里找到志同道合的伙伴共创茂密化生态。”

茂密化 芯力量|墨芯参展首日S4估计卡机能表现亮眼微信扫一扫,关注该公众号

原创文章,作者:墨芯人工智能,如若转载,请注明出处:https://www.iaiol.com/news/mao-mi-hua-xin-li-liang-mo-xin-can-zhan-shou-ri-s4-gu-ji-ka/

(0)
上一篇 2022年 8月 16日 下午2:18
下一篇 2022年 8月 19日 上午9:34

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注