AI在线 AI在线

AAAI2025 | 频域+注意力双加持!SNN性能飙升33%,刷新多项SOTA纪录!

一眼概览FSTA-SNN 提出了一种频域驱动的时空注意力模块(FSTA),显著提升脉冲神经网络(SNN)的特征学习能力与能效,在多个数据集上实现了更优性能和更低的脉冲发放率。 核心问题当前 SNN 在信息稀疏表示方面虽具能效优势,但其中间脉冲输出存在冗余且缺乏系统分析,导致特征提取能力受限、性能不稳定。 论文核心关注的问题是:如何在不增加能耗的前提下,抑制冗余脉冲、增强关键特征提取能力,从而提升 SNN 的整体性能与鲁棒性。

1. 一眼概览

FSTA-SNN 提出了一种频域驱动的时空注意力模块(FSTA),显著提升脉冲神经网络(SNN)的特征学习能力与能效,在多个数据集上实现了更优性能和更低的脉冲发放率。

2. 核心问题

当前 SNN 在信息稀疏表示方面虽具能效优势,但其中间脉冲输出存在冗余且缺乏系统分析,导致特征提取能力受限、性能不稳定。论文核心关注的问题是:如何在不增加能耗的前提下,抑制冗余脉冲、增强关键特征提取能力,从而提升 SNN 的整体性能与鲁棒性。

3. 技术亮点

  • 频域分析揭示 SNN 学习偏好:首次系统性地从频域角度分析 SNN 不同层级与时序特征的学习行为,发现浅层偏向垂直特征,深层偏向水平特征,不同时间步特征趋于稳定。
  • 提出 FSTA 模块:设计轻量级的频域驱动时空注意力模块,结合 DCT 空间注意力和可学习的时间注意力,显著抑制冗余脉冲,提升有效特征表达。
  • 性能与能耗双优:在 CIFAR-10、CIFAR-100、ImageNet、CIFAR10-DVS 等多个数据集上,FSTA-SNN 实现最优精度表现,同时脉冲发放率降低约 33.99%,能耗无显著增加。

4. 方法框架

FSTA 模块以 plug-and-play 形式嵌入任意 SNN 网络层,包含两个子模块:

1)DCT-based 空间注意力模块

• 利用固定 DCT 卷积核提取不同频率分量,捕捉更丰富的空间特征;

• 将频域压缩结果与原始特征点乘,强化重要区域。

2)时间注意力模块

• 基于平均池化与最大池化提取每个时间步的脉冲幅值特征;

• 经线性层与 Sigmoid 得到时间注意力权重,动态调整每个时间步贡献度。

5. 实验结果速览

FSTA-SNN 在多个数据集上显著优于现有 SOTA 方法:

• CIFAR-10:ResNet19 架构下准确率达 96.52%,提升 0.44%;

• CIFAR-100:ResNet19 提升至 80.42%,为当前最高;

• ImageNet:ResNet34 准确率达 70.23%,领先现有方法近 3%;

• CIFAR10-DVS(动态数据):ResNet20 达到 82.70%,性能最优;

• 脉冲发放率减少:整网发放率下降约 33.99%。

6. 实用价值与应用

FSTA-SNN 在不增加复杂性的前提下大幅提升 SNN 能效和表现,极具应用潜力:

• 低功耗智能设备:适用于边缘计算、神经拟态芯片等对能效要求高的场景;

• 事件驱动视觉处理:强化在动态视觉(如 DVS 摄像头)中的实时处理能力;

• 脉冲神经芯片部署:减少冗余脉冲,延长硬件寿命,利于大规模落地应用。

7. 开放问题

• 当前 FSTA 的频域卷积核为固定设计,未来是否能引入可学习频率权重,实现自适应频率感知?

• 不同任务中(如检测、分割)是否也存在类似的空间-频率偏好特征?FSTA 能否通用迁移?

• 在超低时间步设置下,FSTA 的抑冗与增强效果是否仍能保持?

相关资讯

新的训练范式可以防止机器学习模型学习虚假相关性

译者 | 李睿审校 | 重楼机器学习领域长期存在的问题之一是错误相关性的记忆。 例如:假设开发人员正在开发一个深度神经网络对陆地鸟类和海洋鸟类的图像进行分类。 他们使用数千张标记过的图像训练模型,这个模型在训练集和测试集上的表现都非常出色。
2/11/2025 8:11:56 AM
李睿

从一个简单的神经网络模型开始

关于神经网络的文章写的也不少了,但一直没弄明白神经网络到底是怎么运作的;而现有的神经网络模型又太复杂,如Transformer,CNN,RNN,以及各种应用场景(NLP,CV,分类任务,回归任务等等);导致我们无法看到神经网络最本质的东西。 所以,今天我们就来从最简单的神经网络开始学起。 简单神经网络神经网络的基本原理很简单,那就是模仿由人类大脑神经元构成的神经网络;神经元结构如下图所示:上图是生物学中神经元的基本结构,神经元由树突和轴突以及细胞核组成;而不同神经元之间通过轴突进行连接;当然这些都是中学生物学的基础,就不多说了。
2/19/2025 6:00:00 PM
AI探索时代

再谈什么是神经网络,透过现象看本质

面对着网络上各种各样关于神经网络的内容,很多想学习神经网络的人都无从下手,包括作者自己;面对各种乱七八糟的概念,名词,很多人都被这些东西蒙住了眼睛。 所以,今天我们就抛开各种高大上的概念,从本质出发来学习什么网络;我们今天不讨论CNN,RNN,Transformer,LSTM等各种神经网络架构;只讨论什么是神经网络。 神经网络对神经网络有过了解的人应该都知道,神经网络就是仿生学的一种实现,使用的是数学模型模拟人类的大脑神经系统;具体的可以看一下上一篇文章——从一个简单的神经网络模型开始。
2/20/2025 8:10:00 AM
AI探索时代
  • 1