2022 年 1 月，上海交通大学自然科学研究院、数学科学学院副传授王宇光做客机器之心「2021-2022 年度 AI 技术趋势洞察」的「实践专场」直播间时，为我们带来了主题为「若干深度进修的算法设计和数学实践」的有关报告。
本文整理了会议中的一些精选内容，完整回放视频可点击「阅读原文」查看。
过去一年若干深度进修与 Science 融合应用取得巨大的突破
王宇光传授在「若干深度进修的算法设计和数学实践」的有关报告谈到，2021 年若干深度跟 Science 融合取得巨大突破。这两项有关的研究都来自于 DeepMind 。第一项是 Science 2021 十大科学研究之最 AlphaFold，AlphaFold 结合若干深度进修模块成功实现了对蛋白质布局进行快速灵验的预测。第二项是 DeepMind 与顶级数学家合作，将 AI 应用于纯数学的两个领域：拓扑和表示论。其中 DeepMind 与牛津大学的 Marc Lackenby 传授和 András Juhász 传授一起，通过研究纽结 (Knot)的布局发现了不同数学领域之间的意外联系；与悉尼大学的 Geordie Williamson 传授一起，DeepMind 发现了一个关于排列猜想的新公式，该猜想几十年来一直未解决。
图神经搜集表达能力的提升与稳健性的增强
在本场技术报告中，王宇光传授跟我们介绍了两个方面的研究成果：一个是关于图神经搜集表达能力提升方法。另一个是关于图神经搜集稳健性增强的方法。
首先，王宇光传授为我们分享了图神经搜集的有关概念。图神经搜集（Graph Network）是一种基于图布局数据的深度搜集布局，图布局数据节点间有相互连接，因此在节点上以及边上都有相应的特色。每个特色提炼层是图卷积和消息传递。
紧接着，王宇光传授向我们介绍了谱图卷积框架。
王宇光传授指出，要想增强图卷积搜集的稳健性和抗噪能力可以通过图框架小波变换来实现。只不过在这里要使用稀疏的 L1 正则，这种正则才能够使得得到的系数表示在尽量少的情况下，更灵验地提炼近似特色和细节特色。
消息传递纯真复形搜集
要超越图神经搜集的表达，需要提炼更多的信息，王宇光传授表示可以通过提炼图或者提炼更高阶的拓扑布局放到搜集的进修中来提升图神经搜集的进修能力。
但同时 GNNs 有如下三个缺陷：
图神经搜集在群组相互作用中表现效果比较差
不能提炼高阶的布局信息
更高阶信号中，不能灵验提炼很长的路径
而可以改善这三个缺陷的一个新型的搜集叫纯真复形搜集。纯真复形事实上是一个拓扑集合，它在做子集运算时是闭的，并且它包含所有的单点集。
在这部分中，王宇光传授向我们介绍了一个计算复杂度实践有关的算法：WL （Weisfeiler-Lehman）算法。该算法用于判断两个图是否同构。该算法有一种特定的程序，即 WL 测试。
而在纯真复形搜集中，要考虑将 WL 算法推广到纯真形 WL 测试（SWL）。
SWL 对应一种纯真形状的神经搜集的一个消息传递模式，把它借鉴过来，称为消息传递纯真复兴搜集。王宇光传授指出通过 SWL 构造 MPSN ，从而可以在若干深度进修中利用数据的高阶布局信息。
同时，王宇光传授表示从计算复杂性和搜集复杂性两个维度来看 MPSNs 是优于 GNNs 的表达能力。
最后，王宇光传授指出如何设计灵验处理对抗攻击、局部噪音、如何提高 MPSN 的泛化能力以及灵验进修环等更适合分子布局的拓扑特色是我们后续需要关注的问题。
