清华大学朱文武教授团队自 2020 年发布智图库（AutoGL）以来，在图主动呆板进修的可解释性和可泛化能力等方面取得新进展，特别关注于图 Transformer、图分布外泛化（OOD）、图自监督进修等方面，发表图神经架构搜刮评测基准，并在中国新一代开源创新服务平台 GitLink 上发布首个轻量智图库（AutoGL-light）。
智图库回顾
图（graph）是描述数据间关系的一般抽象，广泛存在于分歧的研究领域中并有许多重要运用，例如社交网络分析、推荐系统、交通预测等互联网运用，新药物发现、新材料制备等科学运用（AI for Science），覆盖诸多分歧领域。图呆板进修在近年来取得了广泛关注。由于分歧图数据在结构、性质和任意上千差万别，现有人工安排的图呆板进修模型缺乏对分歧场景与环境变化的泛化能力。图主动呆板进修（AutoML on Graphs）是图呆板进修发展的前沿，旨在针对给定的数据和任意，主动化地安排最优的图呆板进修模型，在研究与运用上都有着极大的价值。
针对图主动呆板进修问题，清华大学朱文武教授团队从 2017 年开始布局，并在 2020 年发布了智图库（AutoGL）—— 世界首个针对图主动呆板进修的平台和工具包。
项目地点：https://github.com/THUMNLab/AutoGL
智图库已在 GitHub 获得了超千个星标，吸引了超过 20 个国家和地区数万次访问，并在 GitLink 上进行了发布。智图库包括一套完整的图主动呆板进修流程，涵盖了主流的图主动呆板进修方法。智图库通过图主动呆板进修解决方案 AutoGL Solver，将图上的主动呆板进修拆分为五个核心部分：图主动特征工程、图神经架构搜刮（NAS）、图超参数优化（HPO）、图模型训练，以及图模型主动集成。智图库已经支持节点分类、异构图节点分类、链接预测、图分类等多种类型的图任意。
图主动呆板进修研究新进展
针对目前图主动呆板进修缺乏可解释性和可泛化能力等问题，智图团队在图主动呆板进修研究取得了一系列新进展。
1. 图分布外泛化（OOD）架构搜刮
针对图神经架构搜刮无法处理图数据分布变化问题，提出了基于解耦自监督进修的图神经架构搜刮方法，通过为每个图样本定制合适的图神经网络架构，有效增强了图神经架构搜刮方法处理数据分布偏移的适应能力。该工作已发表于呆板进修顶级国际会议 ICML 2022。
论文地点：https://proceedings.mlr.press/v162/qin22b/qin22b.pdf
2.大规模图架构搜刮
针对现有图神经架构搜刮无法处理大规模图问题，提出了基于架构 – 子图联合采样机制的超网络训练方法，通过重要性采样和同辈进修（peer learning）算法，突破了采样过程中的一致性瓶颈，极大程度提升了图神经架构搜刮的效率，首次实现了单机可处理亿规模真实图数据。该工作已发表于呆板进修顶级国际会议 ICML 2022。
论文地点：https://proceedings.mlr.press/v162/guan22d.html
3. 图神经架构搜刮评测基准
针对图神经架构搜刮缺乏统一的评测标准，以及评测过程消耗的计算资源量巨大问题，智图团队研究并提出了图神经架构搜刮基准 NAS-Bench-Graph，首个针对图神经架构搜刮的表格式基准。该基准可以高效、公平、可复现地比较分歧图神经架构搜刮方法，填补了针对图数据架构搜刮没有基准的空白。NAS-Bench-Graph 安排了一个包含 26,206 种分歧图神经网络架构的搜刮空间，采用了 9 个常用的分歧大小、分歧类型的节点分类图数据，并提供了已经完全训练好的模型效果，可以在保证可复现性与公平比较的同时，极大地减少计算资源。该工作已发表于呆板进修顶级国际会议 NeurIPS 2022。
项目地点：https://github.com/THUMNLab/NAS-Bench-Graph
4. 主动图 Transformer
针对目前人工安排的图 Transformer 架构难以取得最佳预测性能问题，提出了主动图 Transformer 架构搜刮框架，通过统一的图 Transformer 搜刮空间与结构感知的性能评估策略，解决了安排最佳图 Transformer 耗时长，难以得到最优架构的难题，该工作发表于呆板进修顶级国际会议 ICLR 2023。
论文地点：https://openreview.net/pdf?id=GcM7qfl5zY
5. 鲁棒图神经架构搜刮
针对目前图神经架构搜刮无法处理对抗攻击问题，提出了鲁棒图神经架构搜刮方法，通过在搜刮空间中增加鲁棒性图算子并在搜刮过程中提出了鲁棒性评价指标，增强了图神经架构搜刮抵御对抗攻击的能力。该工作已发表于模式识别顶级国际会议 CVPR 2023。
论文地点：https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_CVPR_2023_paper.pdf
6. 自监督图神经架构搜刮
现有图神经架构搜刮严重依赖于标签作为训练和搜刮架构的指标，限制了图主动呆板进修在标签匮乏场景的运用。针对该问题，智图团队提出了自监督图神经架构搜刮方法，发现了驱动图数据形成的图因子与最优神经架构之间潜在的关系，采用了一种新颖的解耦自监督图神经架构搜刮模型，实现了有效在无标签图数据上搜刮最优架构。该工作已被呆板进修顶级会议 NeurIPS 2023 接收。
7. 多任意图神经架构搜刮
针对现有图神经架构搜刮无法考虑分歧任意对架构需求的差异性问题，智图团队提出了首个多任意图神经网络架构搜刮方法，通过同时为分歧图任意安排最优架构并采用课程进修捕捉分歧任意之间的协作关系，有效实现了分歧图任意定制最优架构。该工作已被呆板进修顶级会议 NeurIPS 2023 接收。
轻量智图库
基于上述研究进展，智图团队在 CCF 指定开源平台 GitLink 发布了轻量智图（AutoGL-light），世界首个轻量图主动呆板进修开源库。其整体架构图如图 1 所示。轻量智图主要具有以下特点：
图 1. 轻量智图框架图
项目地点：https://gitlink.org.cn/THUMNLab/AutoGL-light
1. 模块解耦
轻量智图通过更全面的模块解耦方式，实现了对分歧图主动呆板进修流水线更便捷的支持，允许在呆板进修流程的任何步骤中自由加入模块，满足用户定制化需求。
2. 自主定制能力
轻量智图库支持用户自主定制化图超参数优化（HPO）和图神经架构搜刮（NAS）。在图超参数优化模块中，轻量智图提供了多种超参数优化算法和搜刮空间，并支持用户通过继承基类来创建自己的搜刮空间。在图神经架构搜刮模块中，轻量智图实现了典型和最先进的搜刮算法，且用户能够根据自己的需求自主轻松组合和定制搜刮空间、搜刮策略和评估策略的模块安排。
3. 广泛的运用领域
轻量智图的运用不仅仅局限于传统的图呆板进修任意，而是进一步扩展到了更广泛的运用领域。目前，轻量智图已经支持了分子图、单细胞组学数据等 AI for Science 运用。在未来，轻量智图希望可以为分歧领域图数据提供最先进的图主动呆板进修解决方案。
4. GitLink 编程夏令营
以轻量智图为契机，智图团队深度参与了 GitLink 编程夏令营（GLCC），其是在 CCF 中国计算机学会指导下，由 CCF 开源发展委员会（CCF ODC）举办的面向全国高校学生的暑期编程活动。智图团队的两个项目 “GraphNAS 算法复现” 和 “图主动进修科学领域运用案例” 吸引了国内十余所高校的本科生和研究生报名。
夏令营举办过程中，智图团队与参与同学积极沟通，工作进展程度超出预期。其中，GraphNAS 算法复现项目在轻量智图中成功实现了上述介绍的图分布外泛化架构搜刮（ICML’22）、大规模图架构搜刮（ICML’22）、主动图 Transformer （ICLR’23），有效验证了轻量智图库的灵活性与自主定制能力。
图主动呆板进修科学领域运用项目则在轻量智图实现了基于图的生物信息处理算法，包括用于单细胞 RNA 测序分析的代表性算法 scGNN、用于分子表征进修的代表性算法 MolCLR，以及用于分子结构预测的代表性算法 AutoGNNUQ，推动了图主动呆板进修技术在 AI for Science 的运用。在 GitLink 编程夏令营中，轻量智图既丰富了算法和运用案例，也使参与的同学锻炼了开源软件开发等技能，在图主动呆板进修方面培养人才，并为助力我国开源生态建设的发展贡献了自己的力量。
智图团队来自清华大学计算机系朱文武教授领导的网络与媒体实验室，核心成员包括助理教授王鑫、博士后张子威、博士生李昊阳、秦一鉴、张泽阳，硕士生关超宇等十余人。项目得到了国家自然科学基金委和科技部的大力支持。