AI在线 AI在线

多突触神经元模型问世,国内团队打造类脑计算新引擎,登上《自然·通讯》

本文第一作者为范良伟,国防科技大学讲师。 共同通讯作者分别为沈辉,国防科技大学教授;李国齐,中国科学院自动化研究所研究员、国家杰出青年基金获得者;胡德文,国防科技大学教授、国家杰出青年基金获得者、国防科技大学智能科学学院认知科学团队创始人和带头人,2012、2018 年两次获国家自然科学奖二等奖。 当前人工智能技术迅猛发展的同时,其高能耗问题也日益凸显。
图片

本文第一作者为范良伟,国防科技大学讲师。共同通讯作者分别为沈辉,国防科技大学教授;李国齐,中国科学院自动化研究所研究员、国家杰出青年基金获得者;胡德文,国防科技大学教授、国家杰出青年基金获得者、国防科技大学智能科学学院认知科学团队创始人和带头人,2012、2018 年两次获国家自然科学奖二等奖。

当前人工智能技术迅猛发展的同时,其高能耗问题也日益凸显。脉冲神经网络(Spiking Neural Networks, SNNs)被认为是一种更具生物合理性、能效更高的计算范式。

然而,目前业界仍缺乏一种在计算效率和生物合理性之间实现良好平衡的脉冲神经元模型,这成为制约 SNNs 发展与应用的关键问题之一。

具体而言,现有的脉冲神经元模型 —— 包括泄漏积分发放(Leaky Integrate-and-Fire, LIF)、自适应 LIF(Adaptive LIF, ALIF)、霍奇金-赫胥黎(Hodgkin-Huxley, HH)以及多室模型(Multi-compartment models)—— 主要关注于模拟神经元的动态行为,并假设神经元之间仅通过单个突触(即单通道)连接。

由于脉冲神经元的信息表示方式是二值化的,单通道连接方式使得 SNNs 难以同时编码输入信号的空间强度分布与时间动态性。这种信号编码过程中出现的信息损失使得 SNNs 在时空计算任务中的性能难以匹敌甚至超越连续值人工神经网络(ANNs)。

近日,国防科技大学智能科学学院胡德文课题组与中国科学院自动化研究所李国齐课题组合作提出了一种新型脉冲神经元模型——多突触发放(Multi-Synaptic Firing, MSF)脉冲神经元 (下图 1)。

图片

      图 1 多突触脉冲神经元模型

该神经元模型兼具生物合理性和计算高效性,可以同时编码输入信号的时空动态信息,在不增加计算延迟或显著功耗的前提下,能够实现高性能的类脑计算,相关研究在线发表于《自然・通讯》(Nature Communications)。

图片
  • 论⽂标题:A multisynaptic spiking neuron for simultaneously encoding spatiotemporal dynamics

  • 作者:Liangwei Fan, Hui Shen, Xiangkai Lian, Yulin Li, Man Yao, Guoqi Li, and Dewen Hu

  • 论⽂链接:https://www.nature.com/articles/s41467-025-62251-6

  • 代码链接:https://github.com/fanliangwei/Multisynaptic-spiking-neurons

研究概览

本研究受到生物学中「多突触连接」现象的启发,即允许神经元的一个轴突在同一目标神经元上建立多个具有不同发放阈值的突触。这种现象在多种生物大脑中广泛存在,包括秀丽隐杆线虫、果蝇、小鼠、大鼠以及人类大脑。

通过这种结构,MSF 神经元可实现时空信息的同时编码:即借助不同突触的瞬时发放率和精确的脉冲时序来同时编码输入信号的空间强度分布与时间动态。

理论层面上,该研究表明 MSF 神经元是一种通用且更精细的神经元抽象模型,传统的 LIF 神经元和经典的 ReLU 神经元可视作其在某些具体参数下的特例,从而揭示了 ANNs 与 SNNs 之间的内在联系。

更重要的是,该研究进一步通过理论推导得到了最优的突触阈值选择方案,并提供了误差反向传播训练替代梯度函数的参数优化准则,避免了深层 SNNs 模型训练时出现梯度消失或爆炸问题,使基于 MSF 神经元构建的 SNNs 可扩展至大规模、深层模型而不发生性能退化。

实验层面上,该研究首先通过信号重建任务,揭示了 MSF 神经元可通过独立的频率编码与时间编码方式,同时编码输入信号的空间强度分布与时间动态特性(下图 2)。图片和视频重建结果表明,基于 MSF 神经元构建的脉冲自编码模型重建出的图像具有更好的纹理、颜色等细节信息。

图片

      图 2 信号重建任务

其次,在静态与动态识别、基于图像与事件流的目标检测、脑机接口以及强化学习等多个基准任务上的大量实验结果表明,MSF 神经元凭借其优越的时空编码能力,在不增加模型复杂度的前提下,性能相较于传统 LIF 神经元取得了显著提升。

特别地,在连续事件流的时空计算任务中,基于 MSF 神经元构建的 SNNs 甚至超越了基于 ReLU 神经元构建的、具有相同网络结构的 ANNs,并展现出更高的能效比(下图 3)。

图片

      图 3 静态和动态识别任务

研究团队已成功将 MSF 神经元模型部署于国产神经形态硬件平台,并在真实自动驾驶场景下完成事件驱动的目标检测任务,验证了其在类脑计算芯片的硬件兼容性(下图 4)。

有趣的是,实验还发现训练后的模型在突触数量分布上类似于观察到的人类大脑皮层,进一步印证了该模型具备一定的生物学合理性与可解释性。

图片

      图 4 神经形态硬件上的部署

总结

该成果推动了类脑计算向更复杂、更具自然智能的方向发展,为构建低功耗、高性能、可扩展的人工智能系统奠定了基础,有望加速 SNNs 在边缘计算与神经形态芯片等前沿领域中的实际落地与应用。

研究团队表示,未来将继续探索 MSF 神经元在更广泛任务中的应用潜力,助力人工智能技术迈向更加智能、绿色与可持续的发展方向。

论文其它作者还包括国防科技大学连祥凯、李昱霖,中国科学院自动化研究所姚满。相关工作得到了国家自然科学基金委重点项目、湖南省科技创新计划项目等项目的支持。

相关资讯

Multi-Token突破注意力机制瓶颈,Meta发明了一种很新的Transformer

当上下文包含大量 Token 时,如何在忽略干扰因素的同时关注到相关部分,是一个至关重要的问题。 然而,大量研究表明,标准注意力在这种情况下可能会出现性能不佳的问题。 标准多头注意力的工作原理是使用点积比较当前查询向量与上下文 Token 对应的键向量的相似性。
4/4/2025 6:23:00 PM
机器之心

OpenAI 朝 AI 第 3 阶段迈进,正招募人才组建“多智能体”团队

OpenAI 在发布 o1 AI 模型之后,下一步会怎么走?该公司研究员诺姆・布朗(Noam Brown)在 X 平台给出了答案,组建“多智能体”multi-agent 研究团队。根据 OpenAI 公布五级量表,最新推出的 o1 模型处于第二阶段,即所谓的“推理者”(reasoners),而开发 multi-agent 符合第三阶段的目标要求。OpenAI 的五级量表如下:第一级:聊天机器人,具有会话语言的人工智能第二级:推理者,解决人类水平问题的人工智能第三级:智能体,能够代表用户采取行动的人工智能第四级:创新
9/21/2024 12:10:50 PM
故渊

​Meta 发布 Multi-SpatialMLLM:引领多模态 AI 的空间理解革命

科技巨头 Meta 与香港中文大学的研究团队联合推出了 Multi-SpatialMLLM 模型,这一新框架在多模态大语言模型(MLLMs)的发展中取得了显著进展,尤其是在空间理解方面。 该模型通过整合深度感知、视觉对应和动态感知三大组件,突破了以往单帧图像分析的限制,为更复杂的视觉任务提供了强有力的支持。 近年来,随着机器人和自动驾驶等领域对空间理解能力的需求不断增长,现有的 MLLMs 面临着诸多挑战。
5/29/2025 3:00:54 PM
AI在线
  • 1