以脉冲神经网络（SNN）为代表的脑启发神经形状计较（neuromorphic computing）由于计较上的节能性质在最近几年受到了越来越多的关注 [1]。受启发于人脑中的生物神经元，神经形状计较通过模拟并行的存内计较、鉴于脉冲信号的事件驱动计较等生物特性，能够在不同于冯诺依曼架构的神经形状芯片上以低功耗实行神经网络计较。
然而，神经网络模型在持续进修新任意时通常存在对旧任意的灾难性忘记的问题，这和人脑通过终生的陆续进修（continual learning）来不断积累知识非常不同。如何能够通过神经形状的计较形式解决陆续进修是一个对人工智能和神经科学都很重要的问题，也是构建具有持续进修能力的低功耗 SNN 神经形状计较系统的关键步骤。
此前的陆续进修要领或者从已观察到的神经科学现象获得启发，提出如记忆重放、正则化等要领，但尚不清楚其他广泛存在的生物法则，如赫布进修（Hebbian Learning）、横向联接等，如何能够系统性地支持陆续进修；或者关注纯粹的机器进修要领，例如在高维空间的正交投影以实行有保证的更好的知识保留 [2,3]，但需要复杂的通用计较，难以通过神经形状的计较实行。如何通过神经计较的形式更好地解决陆续进修仍是一个重要的问题。
为了解决这个问题，来自北京大学林宙辰教授团队的研究者们提出了一种新的鉴于赫布进修的正交投影的陆续进修要领，其通过神经网络的横向联接以及赫布与反赫布进修，以神经形状计较的方式提炼神经元勾当的主人空间并对突触前神经元的勾当迹举行投影，实行了陆续进修中对旧知识的保护。HLOP 首次揭示了更有数学保障的正交投影的思想能够如何在神经元运算中实行，以及横向神经回路和赫布进修等生物特性可能如何支持神经计较系统的高级能力。论文被机器进修顶会 ICLR 2024 接收。
论文题目：Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
论文地址：https://openreview.net/forum?id=MeB86edZ1P
代码地址：https://github.com/pkuxmq/HLOP-SNN
要领介绍
正交投影要领对神经网络的每一层举行知识保护。对两层之间的突触权重 W，设此前进修的任意中突触前输入
张成一个子空间，当根据与该子空间正交的子空间的投影矩阵 P 对梯度举行投影
时，革新后的权重满足
，即新的进修不会干扰旧任意的输出。此前的工作采用不同的要领计较正交子空间的投影矩阵 P，如根据一个小批次的数据通过奇异值分解得到前 k 主成分矩阵 M，进而计较
[3]，但这些要领难以通过神经计较实行，且对整体主人空间的估计是有偏的。
HLOP 要领鉴于神经形状的赫布进修和横向神经回路实行正交投影，如图 1 所示。要领的主要思想是通过横向神经回路中的赫布进修提炼当前任意的神经勾当的主人空间，从而使得横向联接在后续任意中能够举行正交投影以陆续进修。因此与常规的前向网络不同，HLOP 考虑神经网络每一层将与一组子空间神经元有循环的横向联接，其不影响前向传播而主要调控用于权重革新的神经元的勾当迹。
图 1：HLOP 要领示意图
通过横向联接举行投影
注意到由于现有的监督进修要领通过 
的方式计较权重革新，其中 
是误差信号，x 是突触前神经元的勾当迹（其定义依赖于具体 SNN 训练算法，如神经元的脉冲信号或资格迹），因此对梯度的投影仅需对局部的 x 举行投影
。HLOP 通过一个具有反对称突触权重的循环横向联接实行对勾当迹的修改，如图 1 (b,d) 所示：横向联接首先向子空间神经元传播 y=Hx，然后通过循环联接传播得到突触后响应 
，勾当迹根据响应举行革新
。因此，只要联接权重 H 与主成分矩阵有相似的性质，即可通过横向联接举行所需的正交投影。
通过赫布进修提炼主人空间
HLOP 通过对 H 举行赫布进修的方式提炼主人空间，如图 1 (c) 所示。赫布型的进修长久以来被认为是神经系统的基本进修法则，并揭示了具有从流输入中提炼主成分的能力 [4]。具体而言，推广的 Oja 法则以
的方式革新权重，权重将收敛至一个主导的主人空间。
HLOP 同样通过循环的横向联接实行该赫布进修。循环联接得到y=Hx和突触后响应
，联接权重将根据两阶段赫布进修举行革新 
，而反对称权重分别对应了赫布与反赫布进修。进一步针对在已有子空间的基础上进修新的子空间神经元和权重 H' 的情况，仅需根据突触前勾当和整合的突触后响应
革新
，如图 1 (c) 所示。
赫布进修能够从流式输入的大量数据中无偏地提炼主人空间，因此相比此前的正交投影要领，HLOP 也能更好地构建主人空间，得到更好的结果。
图 2：HLOP 与 SNN 在线训练算法结合示意图
与 SNN 训练相结合
HLOP 要领主要通过横向联接修改突触前神经元的勾当迹，因此可以与各种鉴于突触前神经元勾当迹的 SNN 训练算法灵活的结合，如鉴于脉冲编码表示的要领、随时间反向传播与替代梯度要领、随时间在线训练要领等。图 2 揭示了 HLOP 与一类 SNN 随时间在线训练算法 [5] 结合的示意图，这种训练算法更契合生物和神经形状硬件的在线进修性质。在该结合中，HLOP 仅需通过额外考虑横向回路中的突触后响应以在线修改神经元的资格迹，这种简易的结合方式可以为在芯片上举行陆续进修提供基础。
原始的 HLOP 在横向神经回路中主要考虑线性神经元，这对于部分支持混合神经网络的神经形状硬件 [6] 而言可以支持。针对更广泛的情况，HLOP 进一步考虑在横向联接中采用脉冲神经元，如图 2 (d) 所示，其通过神经元发放高频的突发脉冲序列（burst）并对此举行频率编码以表示信息。
实验结果
论文在多种设定的陆续进修实验下验证了 HLOP 要领的有效性，考虑 ACC 和 BWT 两个指标，分别表示陆续进修任意的平均正确率和旧任意的平均忘记率。
首先，HLOP 要领可灵活地适用于不同的 SNN 训练算法，如下图所示，HLOP 一致地解决了陆续进修中的灾难性忘记。
然后，HLOP 要领在任意增量和域增量的设定、不同数据集、不同网络结构、以及不同误差传播算法（反向传播及生物可行性更高的反馈对齐和符号对称要领）的设定下均一致地解决了灾难性忘记，如下图所示。
同时，HLOP 在横向联接中采用脉冲神经元的设定下仍有效地解决了忘记的问题，如下图所示。
最后，与其他代表性的陆续进修要领相比，HLOP 在各数据集上都一致地超越了此前的要领，如下图所示。而且，HLOP 是鉴于神经形状计较的形式，对神经形状硬件更友好，这揭示了构建高性能的陆续进修神经形状计较系统的潜力。
总结
HLOP 作为一种神经形状计较形式的陆续进修要领，揭示了横向联接和赫布进修能够通过提炼神经勾当主人空间并修改突触前神经元的勾当迹以系统性地提供强大的陆续进修能力。这阐明了一些生物法则可能如何支持神经形状计较系统的高级能力，也首次揭示了正交投影的思想能够如何在神经元系统中实行。HLOP 可灵活地与任意鉴于突触前神经元勾当迹的训练算法相结合，为构建芯片上陆续进修的低功耗 SNN 神经形状计较系统提供了坚实的基础。
参考文献：
[1] Kaushik Roy, Akhilesh Jaiswal, and Priyadarshini Panda. Towards spike-based machine intelligence with neuromorphic computing. Nature, 2019.
[2] Guanxiong Zeng, Yang Chen, Bo Cui, et al. Continual learning of context-dependent processing in neural networks. Nature Machine Intelligence, 2019.
[3] Gobinda Saha, Isha Garg, and Kaushik Roy. Gradient projection memory for continual learning. ICLR, 2021.
[4] Erkki Oja. Neural networks, principal components, and subspaces. International Journal of Neural Systems, 1989.
[5] Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, et al. Online training through time for spiking neural networks. NeurIPS, 2022.
[6] Jing Pei, Lei Deng, Sen Song, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature, 2019.