LIAF-Net

吃瓜看热闹

文章标题：《LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and Efficient Spatiotemporal Information Processing》
论文传送门：https://arxiv.org/pdf/2011.06176.pdf
本文刊于TNNLS。简单来讲，LIAF模型就是将LIF模型中的脉冲激活换成了ReLU函数，使得即使没有脉冲动作，也能利用膜电位上的信息；除此之外，仍然保持SNN原有的脉冲-膜电位重置功能。
LIAF的输入和输出都将是analog值(不再是LIF中的01值)。


a图是原始的ANN，b图是SNN(LIF模型)，c图是SNN(LIAF模型)。
LIF/LIAF神经动态性的数学描述：


膜电位积累过程：


V_m^{t-1} 表示上一时刻的膜电位， U_m^{t} 表示当前时刻的膜电位。
阈值比较和脉冲动作：


F^t 可以看作是脉冲信号，即 F^t 等于1表示一个firing event，否则 F^t 等于0。
膜电位重置过程：


膜电位泄露过程：


其中 \alpha 和 \beta 分别表示乘法衰减和加法衰减。
输出：


其中 f(x, V_{th}) 是analog激活函数，它可以是阈值相关(TR模式)或者是非阈值相关(NTR模式)：


后面的实验中， Act(*) 函数一般采用ReLU函数或者其变体。
Model Degradation

• 与LIF的关系：如果 Act(*) 函数是Heaviside阶跃函数，即 Act(x)=V\geq V_{th} ，那么LIAF将会退化成LIF模型。
  
• 与Perceptron、Conv的关系：如果设定 \alpha=0,\beta=0 ，所有的时间信息将会丢失，LIAF将会退化为感知机或者二维卷积的操作。
  
• 与RNN的关系：重新整理LIAF模型如下：
  

由 S(U^{l,t-1}_m-V_{th})\cdot U^{l,t-1}_m 这项，可以把LIAF模型看成是高阶的RNN。与传统的RNN相比，它包含更多的非线性特征。

综上，LIAF模型具有与ANN感知机、卷积模型、LIF模型以及RNN模型等效的表达能力。对于本文的实验部分，有兴趣的可以参考原文，这里不再赘述。
个人看法

其实LIAF有点背离SNN的初心，把01值换成analog值后，在功耗方面就明显不符合要求了，最多只能说LIAF在精度和功耗间做了一个权衡(准确率也不是特别高)，并且目前的SNN芯片也做不出来LIAF这种输入输出高精度值的模型。个人感觉LIAF可以算是对于SNN神经元变体的一种新想法，但是对于SNN的发展没有起到实质性的作用。
Code Reference

蓝昱淇

我也是这样觉得，LIAF感觉有点违背SNN的初心