支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

当前最流行和广泛使用的 GNN 库 PyG(PyTorch Geometric)现在出 2.0 版本了,新版本提供了全面的异构图支持、GraphGam 以及很多其他特性,这一系列改进,为使用者带来了更好的用户体验。

PyTorch Geometric(PyG)是一个构建于 PyTorch 之上的库,用来为一系列与结构化数据相关的应用编写和训练图神经网络(GNN)。PyG 对机器学习研究者以及机器学习工具包的首次使用者都很友好。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

就其特征和功能而言,PyG 具有易用和统一的 API,用户花费更少的时间在实现和运行图神经网络的底层机制上,只需要 10 至 20 行代码就可以训练自定义 GNN 模型。PyG 涵盖了大量的 SOTA GNN 架构以及训练和可扩展流程,并且易于扩展以匹配用户自己的特定用例或进行自己的 GNN 研究。

此外,PyG 中的全新 GraphGym 使得用户可以轻松地复现 GNN 实验,执行和分析数千个 GNN 实验,并将自定义模块嵌入到 GNN 学习 pipeline 中。

近日,PyG 核心领导者(Core lead)Matthias Fey 宣布 PyG 2.0 版本来了!新版本提供了全面的异构图支持、GraphGam 以及很多其他特性。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

PyG 2.0 详情地址:https://github.com/pyg-team/pytorch_geometric/releases/tag/2.0.0

PyG 2.0 新特性

PyG 2.0 是一个新的版本,提供了复杂的异构图支持、GraphGym 集成以及其他新特性。

PyG 2.0 中提供了完全的异构图支持。异构图支持包括数据存储层的完整重写(同时保持向后兼容性)、异构图转换、通过邻采样的关系型数据加载例程,以及一整套异构 GNN 模型 / 示例。

突出亮点

异构图存储:异构图现在可以存储在它们自己的专用 data.HeteroData 类中。

异构 Mini-Batch 加载:异构图可以分别通过 loader.DataLoader 和 loader.NextorLoader 对许多小的、单个的巨大图进行转化,转换成 mini-batches。这些 loaders 现在可以处理同构图和异构图。

异构图神经网络:异构 GNN 现在可以通过 nn.to_hetero、nn.to_hetero_with_bases 从同构 GNN 轻松创建。这些进程采用现有的 GNN 模型并复制其消息功能,以考虑不同的节点和边缘类型。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

使用 GraphGym 管理实验

PyG 2.0 现在通过 torch_geometric.graphgym 正式支持 GraphGym。总的来说,GraphGym 是一个平台,用于通过高度模块化的 pipeline 从配置文件中设计和评估图神经网络:

GraphGym 是开始学习标准化 GNN 实现和评估的最佳平台;

GraphGym 提供了一个简单的接口来并行尝试数千个 GNN 架构,以找到适合特定任务的最佳设计;

GraphGym 可轻松进行超参数搜索并可视化哪些设计选择更好。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

重大改变

datasets.AMiner 数据集现在返回 data.HeteroData 对象;transforms.AddTrainValTestMask 已被替换为 transforms.RandomNodeSplit;由于 data.Data 的存储布局发生了显着变化以支持异构图,因此需要通过删除 root/processed 文件夹来重新处理已处理的数据集。如果你修改了自定义 data.Data 对象中的__cat_dim__或__inc__ ,请确保应用上述更改。

了解更多变化,请参考原项目。

核心团队成员

PyG 核心团队共有 6 位成员,包括多特蒙德工业大学四年级图机器学习博士生 Matthias Fey、多特蒙德工业大学博士生 Jan Eric Lenssen(核心贡献者)和图网络领域大牛 & 斯坦福计算机科学副教授 Jure Leskovec(担任顾问)。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

从左至右依次为 Matthias Fey、Jan Eric Lenssen 和 Jure Leskovec。

此外还有三位华人成员,分别是斯坦福大学计算机科学四年级博士生尤佳轩(Jiaxuan You,核心领导者)、斯坦福大学计算机科学博士生 Rex Ying(核心贡献者,他将于 2022 年加入耶鲁大学担任助理教授)和卡内基梅隆大学 - 汉斯学院三年级博士生赵越(Yue Zhao,核心贡献者)。

支持异构图、集成GraphGym,超好用的图神经网络库PyG更新2.0版本

从左至右依次为尤佳轩、Rex Ying 和赵越。

日前,赵越在知乎分享了自己参与 PyG 2.0 版本设计与升级过程中的心得体会,感兴趣的读者可以参考阅读。

知乎链接:https://www.zhihu.com/pin/1420674585365196800

参考链接:

http://www.pyg.org/

相关资讯

算力利用率达 97.6%,无问芯穹发布全球首个单任务千卡异构芯片混合训练平台

无问芯穹联合创始人兼 CEO 夏立雪昨日在世界人工智能大会 AI 基础设施论坛上发布了无问芯穹大规模模型的异构分布式混合训练系统,称千卡异构混合训练集群算力利用率最高达到了 97.6%。夏立雪还宣布无问芯穹 Infini-AI 云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,支持包括 AMD、华为昇腾、天数智芯、沐曦、摩尔线程、英伟达六种异构芯片在内的大模型混合训练。无问芯穹表示:打开水龙头前,我们不需要知道水是从哪条河里来的。同理,未来我们用各种 AI 应

中国电信上海、北京两个万卡集群已投产,“息壤”平台实现全国 21EFlops 算力调度

感谢据每日经济新闻报道,中国电信上海、北京两个万卡集群目前已经投产。图源 Pexels此外,中国电信使用智算网络和算力调度平台实现全国算力资源的互联互通,按需调用,公司自研的“息壤”算力调度平台已实现全国 21EFlops 的算力调度。中国电信科技委主任邵广禄表示,未来面向 AI 大模型训练的智算集群需要从 IDC(AI在线注:互联网数据中心)向 AIDC(AI 驱动的数据中心)升级,围绕模型算力利用率 MFU、线性加速比、稳定性、时延、丢包率、GPU 利用率指标,持续开展智算集群的设计、建设、运营、优化等工作,提

无问芯穹获近 10 亿元累计融资,致力于成为大模型时代首选的“算力运营商”

2024 年 9 月 2 日,无问芯穹(Infinigence AI)宣布完成近 5 亿元 A 轮融资,至此,在成立短短 1 年 4 个月内,无问芯穹累计已完成近 10 亿元融资。无问芯穹本轮融资联合领投方为社保基金中关村自主创新专项基金(君联资本担任管理人)、启明创投和洪泰基金,跟投方包括联想创投、小米、软通高科等战略投资方,国开科创、上海人工智能产业投资基金(临港科创投担任管理人)、徐汇科创投等国资基金,以及顺为资本、达晨财智、德同资本、尚势资本、森若玉坤、申万宏源、正景资本等财务机构。无问芯穹的过往投资方还包