编辑 | 枯叶蝶
在解决具有任意外形域的偏微分方程问题时，现有的神经算子法子致力于进修从若干外形到解的映照，但这通常需要庞大的（若干，解）二元组数据集来训练神经算子以确保准确性。
然而，对于如工程设计优化等工业应用，因单次仿真可能耗时数小时乃至数天，满足此数据需求极为困难。
针对这一挑战，博世人工智能中心（BCAI）的研究人员提出了参照神经算子（RNO）的概念，作为一种新颖的神经算子实行方式，旨在进修解对若干形变的滑润圆滑依赖。
具体而言，给定一个参照解，RNO 能够猜测该参照若干外形任意微小扰动下的对应解，此法子极大地提高了数据利用效率。RNO 在准确度方面大幅领先基准模型，并实行高达 80% 的偏差减少。
该研究「Reference Neural Operators: Learning the Smooth Dependence of Solutions of PDEs on Geometric Deformations」被收录在 ICML 2024。
论文链接：https://icml.cc/virtual/2024/poster/34670
RNO 法子概述
RNO 的核心在于，给定一个参照解和相应的若干外形，模型能够猜测在任意微小形变下该若干外形的解。相比于直接猜测解本身，RNO 通过猜测解的变迁量 δu 来降低进修复杂度。具体而言，给定参照区域到盘问区域的光滑形变 φ，可以计算参照解的前推 ur ◦ φ-1，再结合 RNO 猜测的变迁量 δu 就可以得到猜测解 。
图示：与以前法子的比较。（来源：论文）
为了实行这一目标，RNO 采用了一种分层架构，包括编码器 P、积分算子层 L 以及解码器 Q。编码器 P 能够处理不同数量的若干对象，通过共享编码器对每个若干组件进行编码并汇总输出。积分算子层则构建了从输入到隐藏表示的转换，而解码器 Q 负责将隐藏表示映照回解空间。其中 P、Q 由 MLP 实行，积分算子层L由交叉注意力层实行。
损失函数设计上，RNO 最小化猜测解与真实解之间的差异，假设存在从参照域到盘问域的滑润圆滑形变及其逆映照。值得注意的是，RNO 对外形变迁的应用前提是形变保持拓扑一致性，即不涉及孔洞的增减等导致的拓扑结构变迁。
图示：模型架构概述由两个阶段组成。（来源：论文）
总之，RNO 通过创新地进修解跟随形变的滑润圆滑变迁，以较少的数据量实行了高效的解猜测，展示了在多种若干配置和少量样本情况下的优越性能，减轻了传统法子对大数据集的依赖。
RNO 的有效性和优势
研究者通过一系列实验验证了参照神经算子（RNO）的有效性和优势。
首先，他们将 RNO 与多种基线模型进行了比较，包括传统的无参照解输入的 G-S 神经算子（若干到解的神经算子）例如 GNOT，以及加入了参照解信息的 G-S 神经算子（增加 R-前缀）R-GNOT 等。
结果显示，RNO 在所有测试问题上的表现均优于所有基线模型，尤其是与直接使用参照解推前变形结果相比，RNO 能显著降低 50% 到 80% 的相对偏差，表明其成功进修了解的差异而非简单若干变换。
图示：（左）所有分量的平均偏差与数据集大小的关系；（右）偏差与距离。（来源：论文）
实验中采用的评估指标是 L2 相对偏差，训练过程使用了 AdamW 优化器配合循环进修率策略。RNO 在不同数量和类型的若干对象上展现了良好的泛化能力，且即便是在数据量较小的情况下也能保持高效进修。
进一步的扩展实验中，RNO 被应用于具有复杂若干外形变迁（如挤压、拉伸、旋转）的 Airfoil-Euler 和 Airfoil-RANS 数据集，模拟了实际应用场景中对测试盘问找到训练集中最近邻参照解的过程。
RNO 不仅在这些复杂场景中保持了高精度，而且显示出处理自由形式变形的能力，进一步证明了其作为高效、灵活工具的潜力，特别是在那些单次仿真成本高昂的工程设计优化场景中。
讨论
在相关研究中，神经算子领域在进修偏微分方程解算子方面已经取得了显著进展，其中 DeepONet 通过深度进修直接从各类函数映照到解，而 Fourier 神经算子（FNO）通过傅立叶变换在规则网格上有效运作。尽管这些模型在固定域问题上表现出色，但对于变迁若干外形的处理能力有限。
Geo-FNO 和 GINO 分别尝试结合形变映照和 FNO、图神经网络来应对不规则若干问题，但仍需大量数据训练以覆盖各种若干形态。
此外，一些融合法子将机器进修与传统数值求解器结合，以加速求解过程，但它们往往依赖于特定问题或需要与数值法子紧密结合。
图示：（左）偏差与层数；（右）DACA的偏差与 γ。（来源：论文）
与之相比，该团队提出的参照神经算子（RNO）专注于进修若干形变导致的解的变迁，并通过引入距离感知交叉注意力机制（DACA），在数据效率和模型泛化能力上取得显著提升，尤其是在处理小数据集下的多类型、多数量若干对象问题时，展现出了超越基线模型的性能。