Nature子刊:科学家在类脑芯片上实现类似LSTM的功能,能效高1000倍

格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明,他们找到了一种在神经形状芯片上放荡 LSTM 的方案,可以让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。随着智能手机的普及,手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比,基于 spike 的神经形状芯片有望实现更节能的深度神经收集(DNN)。但这需要我们理解如何在基于 event 的稀疏触发机制(sparse firing regime)中放荡 DNN,否则神经形状芯片的节能优势就会丧失。比如

格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明,他们找到了一种在神经形状芯片上放荡 LSTM 的方案,可以让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。随着智能手机的普及,手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比,基于 spike 的神经形状芯片有望实现更节能的深度神经收集(DNN)。但这需要我们理解如何在基于 event 的稀疏触发机制(sparse firing regime)中放荡 DNN,否则神经形状芯片的节能优势就会丧失。比如说,解决序列解决任务的 DNN 通常使用长 – 短期影象单元(LSTM),这类单元很难放荡。现在有一项研讨放荡了生物神经元,通过放慢每个脉冲后的超极化后电位(AHP)电流,提供了一种有效的解决方案。AHP 电流可以很容易地在支持多节段(multi-compartment)神经元模型的神经形状硬件(例如英特尔的 Loihi 芯片)上实现类似于 LSTM 的功能。

Nature子刊:科学家在类脑芯片上实现类似LSTM的功能,能效高1000倍

滤波器逼近理论能够解释为什么 AHP 神经元可以放荡长短期影象收集的功能。这产生了一种高能效的时间序列分类方法,让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。此外,它为高效执行大型 DNN 提供了基础,以解决有关自然语言解决的问题。研讨论文近期发表在《自然 · 机器智能》期刊上。Nature子刊:科学家在类脑芯片上实现类似LSTM的功能,能效高1000倍论文地址:https://www.nature.com/articles/s42256-022-00480-w曼彻斯特大学的计算机科学家 Steve Furber 评价这项研讨称:「这是一项令人印象深刻的工作,可能给复杂 AI 算法(例如语言翻译、自动驾驶)的性能带来巨大飞跃。」研讨动机AI 程序通常擅长在数据集中找到特定的形式。例如,在图象识别中,AI 算法首先会找到图象清晰的边缘,然后在拼凑出整体图象时记住这些边缘以及图象的所有后续部分。这类收集的一个共同组成部分是一个被称为 LSTM 的软件单元,它在事物随时间变化时保持一个元素(element)的影象。例如,图象中的垂直边缘需要保留在内存中,因为软件会确定它是代表数字「4」的一部分还是汽车的门。典型的 AI 系统必须同时跟踪数百个 LSTM 元素。当前在传统计算机芯片上运转的 LSTM 收集非常准确,但是非常耗电。为了解决信息比特,它们必须首先检索保存数据的各个比特,对其进行操作,然后再将它们送回保存,并一遍又一遍地重复这个过程。英特尔、IBM 等芯片制造商一直在尝试一种新的芯片设计方式——神经形状芯片。这类芯片解决信息的方式就像大脑中的神经元收集,其中每个神经元接收来自收集中其他神经元的输入,并在总输入超过阈值时触发。在这类新芯片中,一些相当于神经元的硬件被连接在一起形成收集。AI 程序也依赖于人造神经收集,但在传统计算机中,这些神经元完全由软件定义,需要来回访问保存。这类神经形状芯片同时解决保存和计算,因此更加节能。但要利用这类架构,计算机科学家需要在新型芯片架构上重新研讨如何运转 LSTM 等收集。这正是来自格拉茨技术大学的计算机科学家 Wolfgang Maass 等研讨者的工作重点。他和他的同事试图复刻人脑中的一种影象保存机制,这类机制由生物神经收集执行,称为超极化后电位 (AHP) 电流。AHP 神经元放电形式大脑中的神经元在触发后通常会返回到其基线水平并保持静止,直到它再次接收到超过其阈值的输入而被触发。但在 AHP 收集中,神经元放电一次后,会暂时禁止再次放电,这有助于神经元收集在消耗更少能量的同时保留信息。Maass 和他的同事将 AHP 神经元放电形式集成到他们的神经形状神经收集软件中,并通过两个标准的 AI 尝试运转他们的收集。第一个挑战是让软件在分割成数百个独立像素的图象中识别手写数字「3」。在这个尝试中,他们发现,当在英特尔的神经形状 Loihi 芯片上运转时,他们的算法比在传统芯片上运转的基于 LSTM 的图象识别算法的能效高 1000 倍。在第二项尝试中,研讨人员给了该收集一个 20 个句子组成的故事,尝试它对故事含义的理解。结果,该神经形状装置的效率是传统计算机解决器算法的 16 倍。Maass 指出,第二次尝试是在英特尔第一代 Loihi 芯片的 22 个系列上进行的,这些芯片在相互通信时消耗相对较大的能量。该公司已经推出了第二代 Loihi 芯片,每一个都有更多的神经元,他说这将减少 chip-to-chip 通信需求,从而使软件运转更高效。目前,神经形状芯片的商业化案例还是凤毛麟角。因此,这项研讨的大规模应用可能不会很快出现。但是艾伦研讨所的计算神经科学家 Anton Arkhipov 说,先进的 AI 算法(如 Maass 所展示的算法)可以帮助这些芯片获得商业立足点。「至少,这将加速 AI 系统的构建。」反过来,这又将加速新颖的 AI 应用的出现,如一个更加智能的 AI 数字助理,这个助理不仅可以提示照片中某个人物的名字,还能帮你回忆起你是在哪里认识的这个人,以及你们之间发生了什么故事。Maass 说,通过整合大脑中的其他神经元放电形式,未来的神经形状装置甚至有一天可以开始探索众多神经元放电形式如何共同产生意识。原文链接:https://www.science.org/content/article/microchips-mimic-human-brain-could-make-ai-far-more-energy-efficient

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/nature-zi-kan-ke-xue-jia-zai-lei-nao-xin-pian-shang-shi/

(0)
上一篇 2022年 5月 20日 下午2:44
下一篇 2022年 5月 27日 下午1:54

相关推荐

  • 阿里数据中台底座的12年建造实践

    文/阿里云智能计较平台事业部研究员 关涛阿里巴巴数据平台发展的四大阶段建立数据中台,一个强大的数据平台作为底座必不可少。 阿里巴巴数据平台发展的四个阶段,一定程度上其实也是阿里巴巴数据中台发展的四个阶段。这四个阶段里,你可以看到阿里巴巴对自身数据的商业价值的萃取,对原有分而治之的数据系统的聚合,对计较数据财产化和数据高效应用的新思路以及对数据平台处置过程中面临的组织变革等。阶段一:交易百花齐放,发现数据价值2009年到2012年,阿里巴巴电商交易进入爆发期,涌现出非常多有名的交易团队,比如淘宝、

    2021年 9月 29日
  • 带你读论文 | 端到端语音辨别模型

    编者按:过去十年,得益于人工智能与机器学习的突破、算法与硬/软件能力的进步,以及拥有既多样又大量的语音数据库,用以训练多参数的、大规模的语音辨别与合成模型,使得语音处理技术获得飞跃性进展。

    2020年 11月 18日
  • 引入纯度和范例注释、捕捉编程错误,MIT推出低开销量子编程言语Twist

    研究者希望 Twist 为创立更多有助于编程人员更易面对量子估计挑战的言语铺平道路。

    2022年 2月 6日
  • 新版Linux在M2 MacBook Air可用,Linus Torvalds发布最新内核

    更多人应用 Arm 硬件将带来更好的 Arm 软件。

    2022年 8月 2日
  • 大咖齐聚、思想碰撞、探索前沿,2021WAIC· 隐衷盘算学术交流会全日程公布

    2021 年世界人工智能大会(WAIC)将于 7 月 7 日 – 10 日在上海举办,本届大会继续秉持「智联世界」的理念,以「众智成城」为主题,促进全球人工智能翻新思想、技术、应用、人才和资本的集聚和交流,推动全球科技的翻新协同,助力打造人工智能世界级产业集群。7 月 8 日下午,由世界人工智能大会组委会指导,蚂蚁集团、机器之心和 CCF YOCSEF 上海学术委员会共同主办的「2021 WAIC· 隐衷盘算学术交流会」将于上海世博展览馆 2 号会议室隆重举行。本届大会程序委员会主席:上海交通大学盘算

    2021年 6月 23日
  • 最高奖金50万,腾讯云开发技能峰会·公益编程挑战赛报名开启

    技能正给公益带来更多可能。

    2022年 3月 6日
  • AI自动化系统可以赶快找到新的电池化学成分,比人工尝试要快得多

    编辑 | 萝卜皮开发高能高效电池技术是推进交通和航空电气化的关键方面。然而,电池创新能够需要数年时间才能实现。在非水电池电解质溶液的情况下,选择多种溶剂、盐及其相对比例的许多计划变量使得电解质优化既费时又费力。为了克服这些问题,卡内基梅隆大学(Carnegie Mellon University)的钻研团队提出了一种尝试计划,将呆板人技术(一个名为「Clio」的定制自动化尝试)与呆板学习(一个名为「Dragonfly」的基于贝叶斯优化的尝试计划器)结合起来。在单盐和三元溶剂计划空间内对电解质电导率进行自主优化,在两

    2022年 10月 13日
  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日
  • 1600米深海沉船如何索求?斯坦福人形机器人实现远程人机交互下潜

    深海里面藏着许多秘密,沉船,坠机,数不尽的金银珠宝和历史记忆都埋藏在深海中。从前索求这些遗址的方法多为整体打捞,许多证据难以保存。近日,斯坦福大学的机器人团队研发出名为 OceanOneK 的水下人机交互机器人,通过远程操控,让人形机器人以最接近真人潜水的方式在水下 1600 米实现索求,最大程度地实现了人机交互,也最大程度地保护了遗址的完整性。

    2022年 7月 29日
  • 从算法到开发,字节跳动Leader们最中意的40项进修资源

    “春季招聘和金三银四要开始了,我想提升技巧,更上一层楼,除了投简历刷题,还有什么可以努力的方向啊?”如果你是技巧领域的新人,或者已经毕业多年、正在考虑转向新的技巧方向,上面这个问题可能正在困扰着你。为了回答这个问题,技巧范儿找到了多媒体、引荐算法、计算机视觉、强化进修、机器翻译、常识图谱、安卓、iOS、服务端、前端等几个方向的Leader,引荐了各个技巧方向的自学资源。其中,有不少业界知名的书籍、全球CS名校的公开课程,可以系统性地帮你了解一个领域的全貌。还有不少应用技巧和开源项目,工业界的常备工具都列齐了。另外,

    2021年 2月 26日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注