1. 一眼概览
FSTA-SNN 提出了一种频域驱动的时空注意力模块(FSTA),显著提升脉冲神经网络(SNN)的特征学习能力与能效,在多个数据集上实现了更优性能和更低的脉冲发放率。
2. 核心问题
当前 SNN 在信息稀疏表示方面虽具能效优势,但其中间脉冲输出存在冗余且缺乏系统分析,导致特征提取能力受限、性能不稳定。论文核心关注的问题是:如何在不增加能耗的前提下,抑制冗余脉冲、增强关键特征提取能力,从而提升 SNN 的整体性能与鲁棒性。
3. 技术亮点
- 频域分析揭示 SNN 学习偏好:首次系统性地从频域角度分析 SNN 不同层级与时序特征的学习行为,发现浅层偏向垂直特征,深层偏向水平特征,不同时间步特征趋于稳定。
- 提出 FSTA 模块:设计轻量级的频域驱动时空注意力模块,结合 DCT 空间注意力和可学习的时间注意力,显著抑制冗余脉冲,提升有效特征表达。
- 性能与能耗双优:在 CIFAR-10、CIFAR-100、ImageNet、CIFAR10-DVS 等多个数据集上,FSTA-SNN 实现最优精度表现,同时脉冲发放率降低约 33.99%,能耗无显著增加。
4. 方法框架
FSTA 模块以 plug-and-play 形式嵌入任意 SNN 网络层,包含两个子模块:
1)DCT-based 空间注意力模块
• 利用固定 DCT 卷积核提取不同频率分量,捕捉更丰富的空间特征;
• 将频域压缩结果与原始特征点乘,强化重要区域。
2)时间注意力模块
• 基于平均池化与最大池化提取每个时间步的脉冲幅值特征;
• 经线性层与 Sigmoid 得到时间注意力权重,动态调整每个时间步贡献度。
5. 实验结果速览
FSTA-SNN 在多个数据集上显著优于现有 SOTA 方法:
• CIFAR-10:ResNet19 架构下准确率达 96.52%,提升 0.44%;
• CIFAR-100:ResNet19 提升至 80.42%,为当前最高;
• ImageNet:ResNet34 准确率达 70.23%,领先现有方法近 3%;
• CIFAR10-DVS(动态数据):ResNet20 达到 82.70%,性能最优;
• 脉冲发放率减少:整网发放率下降约 33.99%。
6. 实用价值与应用
FSTA-SNN 在不增加复杂性的前提下大幅提升 SNN 能效和表现,极具应用潜力:
• 低功耗智能设备:适用于边缘计算、神经拟态芯片等对能效要求高的场景;
• 事件驱动视觉处理:强化在动态视觉(如 DVS 摄像头)中的实时处理能力;
• 脉冲神经芯片部署:减少冗余脉冲,延长硬件寿命,利于大规模落地应用。
7. 开放问题
• 当前 FSTA 的频域卷积核为固定设计,未来是否能引入可学习频率权重,实现自适应频率感知?
• 不同任务中(如检测、分割)是否也存在类似的空间-频率偏好特征?FSTA 能否通用迁移?
• 在超低时间步设置下,FSTA 的抑冗与增强效果是否仍能保持?