在封闭、高动向和演化情况中的进修能力是生物智能的核心要素之一，也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机械进修范式是在静态和封闭的数据集上进修到一个模型，并假设其应用情况和之前训练数据的属性相同，因而无法符合动向封闭情况的挑战。
针对该问题，中断进修模拟生物智能的进修过程和进修能力，发展新型的机械进修理论和步骤，通过中断进修的过程，以期提升智能体对封闭、高动向情况的符合能力。但是，目前主流的机械进修模型通过调整网络参数进行进修，当进修恣意的数据分布发生变化时，先前学到的网络参数可能被覆盖，从而导致对先前学问的灾难性忘记（catastrophic forgetting）。
作为人工智能尤其是深度进修发展的重要瓶颈，中断进修近年来在人工智能范畴受到广泛关注。大多数中断进修步骤都专注于提高对所学学问的影象稳定性以克服灾难性忘记，例如在进修新恣意时固定执行旧恣意的网络参数。然而这些步骤通常只能在特定场景中发挥作用，难以像生物智能那样对现实世界的复杂情况和恣意具有普遍的符合能力。
因此，能否借鉴生物脑的中断进修机理，发展新型的中断进修步骤一直是人工智能范畴普遍关注的问题。
针对该问题，近期清华大学计算机系朱军教授 TSAIL 课题组联合生命学院钟毅教授课题组在自然机械智能（Nature Machine Intelligence）期刊上发表了题为「融入神经启发符合性的人工智能步骤」（Incorporating neuro-inspired adaptability for continual learning in artificial intelligence）的钻研论文，并被选作12月的封面文章。
该钻研利用贝叶斯步骤深入分析并建模了生物进修影象系统的符合性体制，显著提升了深度神经网络的中断进修能力，为智能系统在动向封闭情况的自符合发展提供了跨学科的深刻见解。
论文链接：https://www.nature.com/articles/s42256-023-00747
引言
随着大规模标注数据的出现和硬件设备计算能力的增强，以深度进修为核心的人工智能在计算机视觉、自然语言处理、自动驾驶、智能机械人等范畴取得了一系列突破性进展。然而，深度进修高度依赖于静态的数据分布，难以对动向变化的数据分布进行中断进修。
从理论层面来看，中断进修的优化目标可以被进一步细化为影象稳定性、进修可塑性、泛化兼容性等核心要素。为了符合不断变化的情况和恣意，智能系统需要在影象旧学问和进修新学问之间取得适当的平衡，并具备充分的泛化能力以容纳数据分布之间的差异。
图 1. 生物智能启发的中断进修步骤示意图 (来源：NMI 原文)
作为天然的模板，人类以及大多数动物天生就是以一种中断不断的方式进行进修的。即使是果蝇等简单的生命体，也进化出了多种符合性体制，以实现有效的中断进修。在果蝇的进修影象系统中，动向变化的感觉信息可以在多个并行的中断进修模块中被有选择地保护和忘记，为人工智能提供了重要的启示。
图 2. 影象的选择性保护与忘记体制 (来源：NMI 原文)
钻研概览
在步骤层面，钻研人员提出了一种生物启发的影象调控步骤，对所学学问进行有选择地保护和忘记。在进修新恣意时，该步骤通过优化参数分布中的旧恣意信息来促进影象稳定性，并引入一定程度的忘记率以促进进修可塑性。钻研人员进一步推导出一种突触扩张-再归一化的优化算法，使神经网络能够在新旧恣意的最优解之间做出明确的权衡，并依此分析了忘记率在降低中断进修的泛化误差方面的作用，从功能目标和实现体制两个层面与生物智能相呼应。
图 3. 动向调节的并行多模块结构 (来源：NMI 原文)
同时，钻研人员构建了一种类似果蝇进修影象系统的并行多模块结构，对应于多个中断进修专家。通过在每个模块中实施所提出的影象调控体制，对影象进行有选择地保护和忘记，从而使各个模块都能分化出适当的恣意专长，充分符合不同恣意的数据分布差异。钻研人员还深入探讨了神经网络的随机性因素与进修规则和忘记率的相互作用，证明神经系统的符合性体制并非孤立运作，而是高度协同的。
图 4. 多种中断进修基准的实验结果 (来源：NMI 原文)
在多种中断进修基准中，包括视觉恣意和强化恣意等，所提出的符合性体制能够显著提高深度神经网络的中断进修能力。此外，论文还从忘记的生物学意义和实现体制等角度，深入探讨了智能系统在中断进修方面的联系，作为一种新的范式推动人工智能和生物智能的协同发展。
图 5. 中断进修的全面综述 (来源：团队的 arxiv 论文 https://arxiv.org/abs/2302.00487)
作者及课题组介绍
清华大学的朱军教授和钟毅教授为本论文的共同通讯作者，水木学者博士后王立元和张幸幸助理钻研员为本论文的共同第一作者。清华大学的李乾助理钻研员、苏航副钻研员、以及伦敦大学学院的张鸣天博士是本论文的共同作者。
清华大学 TSAIL 课题组长期致力于贝叶斯机械进修的理论和算法钻研。近年来，课题组结合机械进修与神经科学的前沿进展，在中断进修范畴发表了一系列重要成果。在今年年初完成中断进修范畴的综述论文「A comprehensive survey of continual learning: theory, method and application」，系统地梳理了中断进修的基本设置、理论基础、代表性步骤和实际应用等方面的钻研进展，并提出未来的发展方向，受到了国内外人工智能社区的广泛关注。
另外，针对中断进修范畴的普遍技术难点，提出了生成模型的半监督中断进修 (CVPR’21)、具备选择性忘记的权重正则化步骤 (NeurIPS’21)、自符合数据压缩的影象回放步骤 (ICLR’22)、动向并行模块的中断进修架构 (ECCV’22) 等。
近期，关于预训练模型的中断进修理论与步骤的钻研论文「Hierarchical decomposition of prompt-based continual learning: rethinking obscured sub-optimality」被 NeurIPS’23 评为 spotlight，该论文通过对预训练背景下的中断进修优化目标进行层次化分解，提出了适用于各类微调技术（如 prompt、adapter、LoRA 等）的通用框架，显著提升了预训练模型在动向封闭情况下的自符合性。