编辑 | XS
2023 年 11 月，Nature 连续刊登了两篇重大成果：蛋白质生成步骤 Chroma 和晶体材料安排步骤 GNoME，均使用了图神经网络作为迷信数据的表示工具。
实际上，图神经网络，特别是多少图神经网络，一直是迷信智能（AI for Science）研究的重要工具。这是因为，迷信领域中的粒子、份子、蛋白质、晶体等物理体系均可被建模成一种特殊的数据结构——多少图。
与一般的拓扑图不同，为了更好描述物理体系，多少图加入了不可或缺的空间信息，需要满足平移、旋转和翻转的物理对称性。鉴于多少图神经网络对于物理体系建模的优越性，近年来各类步骤层出不穷，论文数量持续增长。
近日，人大高瓴联合腾讯 AI Lab、清华、斯坦福等机构发布综述论文：《A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications》。该综述在简要引见群论、对称性等理论知识的基础上，从数据结构、模型到众多迷信应用，对相关多少图神经网络文献从事了体系的梳理。
论文链接：https://arxiv.org/abs/2403.00485
GitHub链接：https://github.com/RUC-GLAD/GGNN4Science
在这篇综述中，作者调研了 300 多篇参考文献，归纳出 3 种不同的多少图神经网络模型，引见了面向粒子、份子、蛋白质等多种迷信数据上共 23 种不同工作的相关步骤，收集了 50 多个相关评测数据集。最后，综述展望了未来的研究方向，包括多少图基础模型、与大语言模型结合等。
下面是各章节简要引见。
多少图数据结构
多少图由邻接矩阵、节点特征、节点多少信息（例如坐标）构成。在欧氏空间中，多少图通常表现出平移、旋转和反射的物理对称性，一般使用群来刻画这些变换，包括欧式群、平移群、正交群、置换群等等。直观上看，可以理解为置换、平移、旋转、翻转四种操作按一定顺序的复合。
对于众多 AI for Science 领域，多少图是一种有力且通用的表示步骤，其可以用于表示众多物理体系，包括小份子、蛋白质、晶体、物理点云等。
多少图神经网络模型
根据实际问题中的求解目标对于对称性的要求，本文将多少图神经网络分为三类：稳定（invariant）模型、等变（equivariant）模型、以及受 Transformer 架构启发的 Geometric Graph Transformer，其中等变模型又细分为标量化步骤模型（Scalarization-Based Model）与基于球面调和的高阶可操控模型（High-Degree Steerable Model）。按照上述规则，文章收集并归类了近年来知名的多少图神经网络模型。
这里我们通过各个分支的代表性工作简要引见稳定模型（SchNet[1]）、标量化步骤模型（EGNN[2]）、高阶可操控模型（TFN[3]）的关联与区别。可以发现三者均是采用了消息传递机制，只是身为等变模型的后两者额外引入了一次多少消息传递。
稳定模型主要利用节点本身的特征（如原子种类、质量、带电量等）与原子间的稳定特征（如距离、角度[4]、二面角[5]）等从事消息计算，随后从事传播。
而在此之上，标量化步骤额外通过节点间坐标差引入了多少信息，并将稳定信息作为多少信息的权重从事线性组合，实现了等变性的引入。
高阶可操控模型则是使用了高阶的球面调和（Spherical Harmonics）与 Wigner-D 矩阵表征体系的多少信息，这类步骤通过量子力学中的 Clebsch–Gordan 系数操控不可约表示的阶数，从而实现多少消息传递过程。
多少图神经网络通过这类安排保证的对称性，准确率有大幅提升，并且在生成工作中也大放异彩。
下图是多少图神经网络与传统模型在 QM9、PDBBind、SabDab 三个数据集上从事份子性质预测、蛋白质-配体对接和抗体安排（生成）三个工作中的结果，可以明显看出多少图神经网络的优势。
迷信应用
在迷信应用方面，综述涵盖了物理（粒子）、生物化学（小份子、蛋白质）以及其它如晶体等多个应用场景，工作定义与所需保证对称性种类出发，分别引见了各个工作中的常用数据集与该类工作中的经典模型安排思路。
上表展示了各个领域的常见工作与经典模型，其中，按照单一实例与多实例（如化学反应，需要多份子共同参与），文章单独区分了小份子-小份子、小份子-蛋白质、蛋白质-蛋白质三个领域。
为了更好地方便领域内从事模型安排与实验开展，文章按照单一实例与多实例统计了两类工作的常用数据集与基准（benchmark），并记录了不同数据集的样本量与工作种类。
下表整理了常见的单实例工作数据集。
下表整理了常见的多实例工作数据集。
未来展望
文章就几个方面从事了初步的展望，希望能作抛砖引玉之用：
1. 多少图基础模型
在各种工作和领域中采用统一的基础模型的优越性在GPT系列模型的显著进步中已经体现得淋漓尽致。如何在工作空间、数据空间、模型空间从事合理的安排，从而将这种思路引入到针对多少图神经网络的安排上仍是一个有趣的开放问题。
2. 模型训练与现实世界实验验证的高效循环
迷信数据的获取是昂贵且耗时的，而仅仅在独立数据集上评估的模型不能直接反应来自现实世界的反馈。如何类似于GNoME（集成了一个端到端的流水线，包括图网络训练、密度泛函理论计算和用于材料发现和合成的自动实验室）实现高效的模型-现实循环迭代的实验范式的重要性将会与日俱增。
3. 与大型语言模型（LLMs）的融合
大型语言模型（LLMs）已被广泛证明具有丰富的知识，涵盖了各个领域。虽然已经有一些工作利用 LLMs 从事某些工作，例如份子属性预测和药物安排，但它们仅在基元或份子图上操作。如何将它们与多少图神经网络有机组合，使其能够处理 3D 结构信息并在 3D 结构上执行预测或生成，仍然具有相当的挑战性。
4. 等变性约束条件的放松
毫无疑问，等变性对增强数据效率和模型泛化能力至关重要，但值得注意的是，过强等变性约束有时可能过于限制模型，潜在地损害其性能。因此，如何使得所安排的模型在等变性与适应能力中取得平衡是一个非常有趣的问题。这方面的探索不仅可以丰富我们对模型行为的理解，还可以为开发更具鲁棒性和通用性的解决方案铺平道路，使其具有更广泛的适用性。
参考文献
[1] Schütt K, Kindermans P J, Sauceda Felix H E, et al. Schnet: A continuous-filter convolutional neural network for modeling quantum interactions[J]. Advances in neural information processing systems, 2017, 30.
[2] Satorras V G, Hoogeboom E, Welling M. E (n) equivariant graph neural networks[C]//International conference on machine learning. PMLR, 2021: 9323-9332.
[3] Thomas N, Smidt T, Kearnes S, et al. Tensor field networks: Rotation-and translation-equivariant neural networks for 3d point clouds[J]. arXiv preprint arXiv:1802.08219, 2018.
[4] Gasteiger J, Groß J, Günnemann S. Directional Message Passing for Molecular Graphs[C]//International Conference on Learning Representations. 2019.
[5] Gasteiger J, Becker F, Günnemann S. Gemnet: Universal directional graph neural networks for molecules[J]. Advances in Neural Information Processing Systems, 2021, 34: 6790-6802.
[6] Merchant A, Batzner S, Schoenholz S S, et al. Scaling deep learning for materials discovery[J]. Nature, 2023, 624(7990): 80-85.