编辑 | ScienceAI
深度进修模型因其可能从大量数据中进修潜在联系的能力而「彻底改变了科学钻研范围」。然而，纯粹自立数据驱动的模型逐渐暴露出其局限性，如过度自立数据、泛化能力受限以及与物理理想的一致性问题。
例如，美国OpenAI公司开发的文本到视频模型Sora因深刻理解事物在理想中的存在方式而受赞誉，被视为AI范围的飞跃。尽管能利用大量视觉数据生成逼真图像和视频，Sora却被认为未掌握物理定律，如重力和玻璃破碎等。
面对这一问题，将人类学问融入深度进修模型是一个潜在的解决方案。将先验学问与数据一起使用，可能提拔模型的泛化能力，从而创建可能理解物理规律的「知情机器进修」（Informed machine learning）模型。
然而，目前对深度进修中学问的价值仍缺乏深入理解，确定哪些先验学问（包括函数联系、等式和逻辑联系等）能有效地融入模型以进行「预进修」，已成为一项亟待解决的难题。同时，盲目地整合多项规定可能会引发模型的崩溃。这种局限性制约了对数据与学问联系的进一步探索。
针对这一问题，东方理工（EIT）和北京大学的钻研团队提出了「规定重要性」的概念，并开发了一套框架，能精确估计每个规定对模型预测精度的贡献。该框架不仅揭示了数据和学问之间的复杂相互效率联系，为学问嵌入提供了理论性指导，还有助于在训练过程中平衡学问和数据的影响。此外，该方法还可用于识别不恰当的先验规定，为交叉学科范围的钻研与应用提供广阔前景。
该钻研以「Worth of Prior Knowledge for Enhancing Deep Learning」为题，于 2024 年 3 月 8 日发表在 Cell 出版社旗下交叉学科期刊《Nexus》上，并被 Cell Press 团队在 AAAS（美国科学促进会）和 EurekAlert！进行报道。
在教授孩子拼图时，既可以让他们通过反复试验来找出答案，也可以用一些基本的规定和技巧来引导他们。同样地，将规定和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近理想，运作更高效。然而，如何评价这些规定在人工智能中的价值，一直是困扰钻研者的难题。
鉴于先验学问的丰富多样性，将先验学问融入深度进修模型是一个复杂的多目标优化任务。钻研团队创新性地提出了一个框架，以量化不同先验学问在提高深度进修模型方面的效率。他们将此过程视为充满合作与竞争的博弈，通过评价规定对模型预测的边际贡献来界定其重要性。首先生成所有可能的规定组合（即「联盟」），并对每个组合构建模型，并估计均方误差。
为降低估计成本，他们采用了一种基于扰动的高效算法：先训练一个完全基于数据的神经网络作为基线模型，然后逐一加入各个规定组合进行额外训练，最后在测试数据上评价模型表现。通过比较模型在包含和不包含某个规定的所有联盟中的表现，可以估计出该规定的边际贡献，进而得出其重要性。
图示：规定重要性的估计流程（来源：论文）
通过流体力学的算例，钻研人员探讨了数据与规定间的复杂联系。他们发现，在不同任务中，数据和先验规定的效率完全不同。当测试数据与训练数据分布相近时（即 In-distribution），数据量的增加会削弱规定的效率。
然而，当测试数据与训练数据分布相似度较低时（即 Out-of-distribution），全局规定的重要性被凸显出来，而局部规定的影响则被削弱。这两类规定的区别在于：全局规定（如控制方程）影响整个域，而局部规定（如边界条件）仅效率于特定区域。
图示：规定重要性与数据量之间的联系（来源：论文）
钻研团队经数值实验发现，在学问嵌入中，规定间存在三种相互效率效力：自立效力、协同效力和替代效力。
自立效力指某些规定需自立其他规定才能有效；协同效力表明多条规定共同效率的效果超越各自独立效率时的总和；替代效力则显示一条规定的功能可能被数据或其他规定替代。
这三种效力同时存在，并受到数据量的影响。通过估计规定重要性，可清晰展示这些效力，为学问嵌入提供重要指导。
在应用层面，钻研团队试图解决学问嵌入过程中的一个核心问题：如何平衡数据与规定的效率，以提拔嵌入效率并筛选出不适宜的先验学问。在模型的训练过程中，该团队提出了一种动态调整规定权重的策略。
具体而言，随着训练迭代步的增加，逐渐增大正重要性规定的权重，同时减小负重要性规定的权重。这种策略可能根据优化过程的需求，实时调整模型对不同规定的关注度，从而实现更加高效和准确的学问嵌入。
此外，向 AI 模型传授物理定律可以使它们「更加贴近理想世界，从而在科学和工程范围发挥更大效率」。因此，该框架在工程、物理和化学范围具有广泛的实际应用。钻研人员不仅优化了机器进修模型来求解多元方程，还准确识别出对薄层色谱分析预测模型性能有提拔效果的规定。
实验结果显示，通过融入这些有效规定，模型的性能得到了显著提拔，测试数据集上的均方误差从 0.052 降低至 0.036（减少了 30.8%）。这意味着该框架可以将经验性见解转化为结构化学问，从而显著提拔模型性能。
总体而言，准确评价学问的价值有助于构建更契合理想的AI模型，提高安全性和可靠性，对深度进修发展具有重要意义。
图示：通过规定重要性以识别有效的规定（来源：论文）
接下来，钻研团队计划将他们的框架开发成可供人工智能开发人员使用的插件工具。他们的最终目标是开发出可能直接从数据中提取学问和规定，进而自我完善的模型，从而打造一个从学问发现到学问嵌入的闭环系统，使模型成为真正的人工智能科学家。
论文链接：https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9
AAAS 报道链接：https://www.eurekalert.org/news-releases/1036117