近年来,数据科学和呆板进修取得了巨大进展。借助深度进修方法,许多高维进修任务(例如计算机视觉、蛋白质折叠)在适当的计算规模下也能够完成。随着研究问题的复杂深入,人们希望找到一套通用的原则系统性地研究深度进修。
几许深度进修,是从对称性和不变性的角度对广义呆板进修问题进行几许统一的尝试,其原理不仅是卷积神经网络的突破性性能和图神经网络近期成功的基础,也为构建新型的、面向特定问题的归纳偏置提供了一种有原则的方法。
Michael Bronstein 是几许深度进修的先驱,他与 Joan Bruna、Taco Cohen、Petar Veličković共同撰写的《几许深度进修》是领域内的经典必读书目。
几许深度进修大师Michael Bronstein
除了出书,这几位作者还联合在非洲数学科学研究所推出的研究生培训计划 AMMI 中讲授了一门几许深度进修在线课程——GDL100。目前 2022 年的 GDL100 课程已全部上线,课程视频和讲义等资料均可免费在线查看。
课程地址:https://geometricdeeplearning.com/lectures/
2022 年的 GDL100 共包含 12 节通例课程、3 节辅导课程和 5 次专题研讨。12 节通例课程主要介绍了几许深度进修的基本概念常识,包括高维进修、几许先验常识、图与集合、网格(grid)、群、测地线(geodesic)、流形(manifold)、规范(gauge)等。3 节辅导课主要面向表达型图神经网络、群等变神经网络和几许图神经网络。
5 次专题研讨的话题分别是:
从多粒子动力学和梯度流的角度分析神经网络;
表达能力更强的 GNN 子图;
呆板进修中的等变性;
神经 sheaf 扩散:从拓扑的角度分析 GNN 中的异质性和过度平滑;
使用 AlphaFold 进行高度准确的蛋白质结构预测。
以下是课程完整目录。