ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

清华 AIR、计算机系与腾讯 AI Lab 合作,共同提出等变图力学网络,实现了理论力学中的一类重要任务—多刚体体系放荡。

近年来,AI for Science 使用人工智能格式与物理、化学、生物等自然科学进行交叉融合,在一些重要的科学问题上(如蛋白质结构展望)取得了瞩目的进展。鉴于物理学科的基础性与重要性,AI+Physics 无疑是 AI for Science 不可缺失的一环。为此,清华 AIR、计算机系与腾讯 AI Lab 合作共同发表论文《Equivariant Graph Mechanics Networks with Constraints》, 提出等变图力学网络,实现了理论力学中的一类重要任务—多刚体体系放荡。论文已被 ICLR2022 接收。这一项目也收到了来自腾讯 AI Lab 犀牛鸟专项研究计划的资助。 

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

论文地址:https://openreview.net/forum?id=SHbhHHfePhP

开源代码:https://github.com/hanjq17/GMN

一、引言

多体问题(N-body problem)是物理学的基础问题,广泛存在于诸多任务中,例如电子绕原子核运动、份子动力学放荡、机械体系(如机械臂)的动力控制、宇宙天体的轨迹展望等,都可以表示成多体问题。多体问题通常不存在解析解,其求解需要冗长的数值计算。近年来,机器学习研究人员使用图神经网络(Graph Neural Network, GNN)从数据中挖掘多体体系的演化规律,为多体问题的求解提供了一个全新的思路。该类格式把物体建模成节点,把物体之间的交互建模成连边,训练好的 GNN 直接展望体系的未来状况。

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

图 1 从多体问题到多刚体体系放荡

尽管如此,现有格式仍然没有很好实现对多刚体体系(Multi-rigid system)的放荡。多体问题一般假设每一个物体是独立粒子,而在实际问题中,物体之间很可能存在几许拘束,形成多刚体体系。实际上,多体问题是多刚体体系的一种特殊形式。如图 1(b)所示,粒子和粒子之间通过连杆连接(连杆两端的粒子只能相对转动),不同连杆可以通过搭钮连接(搭钮两端的连杆只能相对转动)。多刚体体系是理论力学模型中的最常见形式,在机械体系动力学控制中尤为普遍。

为了更好地刻画多刚体体系的动力学规律,本文提出一种新颖的图神经网络——图力学网络(Graph Mechanics Network, GMN)。GMN 具备几个优点:

1.GMN 满足刚体的几许拘束,输出不会改变输入的几许属性(如棍子的长度、搭钮的连接等)。

2.GMN 是欧氏等变(Equivariant)的,即对输入做任何平移、旋转、翻转,输出都相应地改变。这使用了物理规律关于空间是均匀对称的这一特点,作为模型的归纳偏置,很好地提高了模型的泛化性和解释性。

3. 理论上,GMN 具有良好的表达能力,能很好地逼近任何等变的函数。

我们构造了一个由一定数量的球、棍子和搭钮组成的虚拟物理体系,GMN 比其他格式更准确地展望这些体系演变,并满足上述所说的性质。此外,在实在的使用场景包括份子动力学放荡和人体骨架轨迹展望等,GMN 也表现出最好的展望效果。

二、格式简介

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

图 2 刚体体系的两种表示格式:左子图使用笛卡尔坐标描述体系状况,不同坐标存在几许拘束;右子图使用广义坐标描述体系状况,不同坐标完全解耦

我们的任务是给定多刚体体系的初始状况,使用提出的图力学网络展望其未来状况。在理论力学中,为了满足刚体体系的几许拘束,需要引入广义坐标来表示体系的状况。如图 2 所示,我们以棍子为例,在左子图中,棍子两端球 1、球 2 的笛卡尔坐标分别是ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。因为存在棍子长度拘束,所以两个球的运动过程中需要满足两者相对距离不变;换句话说,使用笛卡尔坐标系表示体系的状况,需要引入额外的拘束条件,不便于采用神经网络来端到端地表征体系演化规律。为了克服这个困难,我们引入广义坐标系。如图 2 右子图所示,可以通过棍子的中心 0 点的笛卡尔坐标ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,以及棍子的相对转角ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,来表示棍子的状况。同时,ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡可以独立变化,始终不改变棍子的长度,特别利于使用神经网络进行建模。

具体而言,为了刻画多刚体体系的变化过程,我们的格式主要包含 4 部分:

1. 在笛卡尔坐标空间计算每一个球受到其他刚体的作用力;

2. 使用逆向动力学把每一个刚体的受力转化成广义坐标的加速度变化;

3. 对广义坐标进行革新;

4. 使用前向运动学,将革新后的广义坐标映射到笛卡尔坐标空间。

值得指出的是,受力的计算、逆向动力学、前向运动学都是通过等变神经网络来实现,极好地满足了物理学的对称性。如果我们把整个体系的初始状况旋转 90 度,我们的模型对未来状况的展望也会精准地旋转 90 度。通过引入这样的物理先验,我们能提高模型的泛化性和可解释性。

下面简要介绍每一部分过程。

1. 相互作用力的计算。在本文中,我们认为不同刚体中不同的球会发生相互作用,即所有的球组成全连接图。对于每一个球i,它的受力的计算为:ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,即,每两个球的受力与其相对距离ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡有关。

2. 逆向动力学。基于每一个刚体ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡上所有受力及其分布,我们计算广义坐标的加速度为:ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡是相对位置,ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡是相对速度。直观上,这个公式是基于刚体上每一个球的受力及其在刚体局部坐标下(也就是广义坐标系)的状况推算出广义坐标系的加速度。

3. 广义坐标革新。有了加速度,我们就可以革新广义坐标的速度和位置:ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

4. 前向运动学。得到了革新后的广义位置和速度,我们就可以通过前向运动学对每一个刚体内每一个球的笛卡尔坐标进行革新:ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。需要指出的是,FK 可以是手工设置(Hard version),保证笛卡尔坐标革新始终满足拘束;FK 也可以是自动学习的(Soft version),从数据中学习拘束,但是不能精确保证拘束条件。

为了简便,以上过程没有考虑每一个节点的隐层变量ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,和广义坐标角度ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。读者可以通过查阅原论文得到更多这方面的细节。

三、理论分析

上文提到的函数均为欧氏等变函数ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。不失一般性,我们记正交等变函数ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。我们定义,

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

其中,ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡为参数是ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡的任意多层感知机(MLP)。很容易可以证明上述定义的等变性,即对于任意正交矩阵ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡。实际上,我们这里的定义是 EGNN[1]的更一般形式,从向量形式扩展为矩阵形式。

我们还可以证明,这样定义的正交等变函数具有很好的表达能力。

【定理 1】如果ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,行满秩,即ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,那么对于任意连续的正交等变函数ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,一定存在某个ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡使得ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡充分逼近ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡,即,ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡任意小。

三、实验结果

1. 为了验证 GMN 的有效性,我们构造了一个仿真数据集 Constrained N-body。该数据集的每一个数据(也就是每一个体系)是由一定比例的孤立球、棍子、搭钮组成。下图,GMN 使用连续的初始状况展望未来多帧状况。通过对比 GMN 展望效果(蓝色)与实在状况(红色),可以看到,GMN 能非常准确地拟合实在的动态过程。

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

图 3 多刚体体系仿真结果(蓝色为展望结果,红色为实在状况)

以下表格提供了在不同刚体组合的体系中,GMN 与当前格式的展望精度对比,可以看出 GMN 输出更小的展望误差,显著优于其他格式。 

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

2. 除了仿真数据,我们还在两个实在数据集:人体运动捕捉 CMU Motion Capture 和份子动力学轨迹 MD17,验证 GMN 在实际使用中的潜力。

2.1 CMU Motion Capture 是一个记录人类动作捕捉轨迹的数据集。在这个数据中,人体骨架可以看成是一种刚性拘束。在 CMU Motion Capture 上,GMN 的展望轨迹几乎与实在轨迹重合。

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

图 4 人体骨架运动捕捉(蓝色为展望结果,红色为实在状况)

以下是不同格式的展望误差:

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

2.2 MD17 是份子动力学放荡的经典数据集,其包含 8 种份子的动力学运动轨迹,以下展示了 8 个份子的的份子结构:

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

在这个数据集上的任务是,根据当前状况份子构象展望间隔 t 时间后份子的状况。下表是 GMN 和各个格式的对比结果。

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

四、结论

本文介绍了图力学网络(GMN)的构造与理论分析。借助广义坐标,GMN 能有效刻画几许拘束;借助等变神经网络,GMN 能满足物理对称性。在多刚体仿真体系 Constrained N-body、人体骨架展望 CMU Motion Capture、份子动力学放荡 MD-17 等任务上都验证了 GMN 的有效性。未来,GMN 可以用于更复杂、更大体系的物理体系动力学放荡。

[1] Satorras V G, Hoogeboom E, Welling M. E (n) equivariant graph neural networks[C]//International Conference on Machine Learning. PMLR, 2021: 9323-9332.

关于 AIR

清华大学智能产业研究院(Institute for AI Industry Research, Tsinghua University,英文简称 AIR)是面向第四次工业革命的国际化、智能化、产业化的使用研究机构。AIR 的使命是使用人工智能技术赋能产业升级、推动社会进步。通过大学与企业创新双引擎,突破人工智能核心技术,培养智能产业领军人才,推动智能产业跨越式发展。AIR 于 2020 年由多媒体及人工智能领域的世界级科学家、企业家张亚勤院士创建。智慧交通(AI+Transportation)、智慧物联(AI+IoT)、智慧医疗(AI+Healthcare)是清华大学智能产业研究院的三个重点研发方向。

扫一扫,关注我们:

ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系放荡

腾讯 AI Lab

腾讯的企业级 AI 实验室,于 2016 年 4 月在深圳成立,目前有 100 多位顶尖研究科学家及 300 多位使用工程师。借助腾讯丰富使用场景、大数据、计算力及一流人才方面的长期积累,AI Lab 立足未来,开放合作,致力于不断提升 AI 的认知、决策与创造力,向 “Make AI Everywhere” 的愿景迈步。腾讯 AI Lab 强调研究与使用并重发展。基础研究关注机器学习、计算机视觉、语音技术及自然语言处理等四大方向;技术使用聚焦在游戏、数字人、内容、社交四大领域,并初探 AI 在工业、农业、医疗、医药、生命科学等领域的研究使用。

详情可访问:ai.tencent.com

给TA打赏
共{{data.count}}人
人已打赏
AI

图神经网络的困境,用微分多少和代数拓扑解决

2022-3-27 12:46:00

AI

每次放一个细胞,打印心脏或上千年,斯坦福大学如何加快3D打印心脏?

2022-3-27 13:02:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索