物理常识和深度进修已经成为了解决现实题目的绝佳组合,但如何更有效地将物理模型引入深度进修领域缺少一个全面的综述。慕尼黑工业大学计算机科学副教授 Nils Thuerey 团队编写的这本册本对鉴于物理的深度进修展开了详尽的先容。
册本地址:https://arxiv.org/pdf/2109.05237.pdf
项目地址:https://github.com/thunil/Physics-Based-Deep-Learning
网站地址:https://www.physicsbaseddeeplearning.org/diffphys-examples.html
文如书名,《鉴于物理的深度进修》(Physics-based Deep Learning)先容了物理建模、数值模仿与鉴于人工神经网络法子的结合。鉴于物理的深度进修代表了一个非常活跃、快速发展和令人兴奋的研究领域。
就内容而言,本书对物理模仿背景下与深度进修相关的所有内容展开了非常全面的先容。并且,所有主题都以 Jupyter 笔记本的形式提供 hands-on 代码示例,从而可以快速上手进修。
除了鉴于数据的标准监督进修之外,册本作者还研究了物理损失约束、具有可微模仿的更紧密耦合的进修算法以及加强进修和不确定性建模。他们在书中表示,「我们生活在激动人心的时代,鉴于物理的 DL 法子具有从根本上改变计算机模仿可以实现的目标的巨大潜力。」
以「数值模仿的时间序列」的视觉示例为例,本书将解读如何实现使用神经网络和数值求解器的算法。
更具体地,本书主要解决了以下几个核心题目:
如何使用深度进修技能解决偏微分方程(PDE);
如何更有效地结合深度进修技能与现有物理学常识;
数值法子常识的重要性。
册本作者之一 Nils Thuerey 为慕尼黑工业大学副教授,他的主要研究兴趣是「用于物理模仿的深度进修法子」。
背景常识
从天气和气候预测,到量子物理学,再到等离子体聚变的控制,使用数值分析获得物理模型的解决方案已经成为科研中必不可缺的一部分。
近年来,机器进修(ML)技能,尤其深度神经网络(DNN),在各个领域取得了令人瞩目的成就:从图像分类到自然语言处理以及最近的蛋白质折叠。
深度进修(DL)法子的这些成功案例引起了广泛关注,并认为相关技能有可能取代传统的、模仿驱动的科学法子。举例而言,最近的工作表明,鉴于神经网络(NN)的智能体模型实现了现实世界工业应用(如翼型流)所需的准确度,同时在运行时间方面比传统求解器高出几个数量级。
不依赖根据第一性原理精心制作的模型,是否可以通过处理足够大规模的数据集来提供正确答案呢?在这一过程中,将经典数值算法与深度进修技能相结合至关重要。其中一个核心原因是深度进修法子非常强大,但同时又可以从物理模型领域常识中获益匪浅。深度进修技能和神经网络有时难以应用,而且将我们对物理过程的理解正确地整合到进修算法中通常也非易事。
过去几十年,研究社区已经开发出高度专业化和精确的失散化方案来求解基础模型方程,如纳维 – 斯托克斯方程(Navier-Stokes)、麦克斯韦方程组(Maxwell's equations)或薛定谔方程(Schroedinger )。与其舍弃在数值数学领域已经开发的强大法子,本书将展示在应用深度进修技能时尽可能多地使用这些法子反而获益颇多。
册本概览
本书共分 8 大部分、25 个章节。机器之心简单摘取了部分章节的主要内容,更多信息还请参阅原册本。
可微物理
本章主要分五个大节:先容可微物理、具有可微物理梯度的 Burgers 优化、讨论、可微流体模仿、可微分物理与 Physics-informed 训练。
为了将深度进修和物理模仿更紧密的结合在一起,可以在进修过程中加入可微模仿,简而言之,可称之为可微物理(differentiable physics,DP)。这些法子旨在使用现有的数值求解器,并使其具备根据输入计算梯度的功能。
可微物理训练。
为了说明在 DP 设置中计算梯度的过程,该大节目标是针对相同的逆题目,使用 Physics-Informed NN 进行 Burgers 优化的 PINN 例子。
此外,当我们为 DP 法子选择初始失散化时,未知初始状态由相关物理场的采样点组成,我们可以简单地将这些未知表示为浮点变量。因此,即使对于初始状态,也不需要设置 NN。因此,Burgers 重建题目在用 DP 求解时简化为一个鉴于梯度的优化题目,没有任何神经网络。
接下来,本章还先容了一个更复杂的示例,将 Navier-Stokes 方程作为物理模型。与「Navier-Stokes Forward Simulation」 一致,用来针对 2D 案例。
DP 复杂示例
本章主要分四个大节:复杂示例整体概览;利用深度进修减少数值误差、用神经网络求解逆题目以及概述和评论。
本章给出了更复杂案例的代码示例,以向读者展示通过可微物理训练能够实现哪种任务。首先,本章展示了一个使用深度进修来表示数值模仿误差的场景,遵循 Um 等人的建议。这是一项基本任务,需要进修模型与数值求解器密切交互。因此,这是将数值求解器引入深度进修循环至关重要情况的一个主要例子。
接下来,本章展示了如何让神经网络解决棘手的逆题目,即 Navier-Stokes 模仿的长期控制题目,遵循 Holl 等人研究。这项任务需要长期规划,因此需要两个网络,一个用于预测演变过程,另一个用于实现预期目标。
粗糙和参考流形的视觉概述
加强进修
本章主要分两个大节:加强进修概述、用加强进修控制伯格斯方程(Burgers equation)。
深度加强进修(DRL)是深度进修领域中的一类法子,它可以让人工智能体与周围环境进行交互。在执行此操作过程中,智能体接收其行为处分信号,并尝试辨别哪些行为有助于获得更高的处分,从而相应地调整自身行为。加强进修在围棋等游戏方面非常成功,并且在机器人技能等工程应用方面也非常重要。
RL 的设置通常由两部分组成:环境和智能体。环境从智能体接收动作 a,同时以状态 s 的形式向 a 提供观察,并处分 r。观察结果代表了智能体能够感知来自各个环境状态的信息的一部分。处分是由预定义的函数提供的,通常是根据环境量身定制的,可能包括游戏分数、错误行为的惩罚或成功完成任务的处分。
加强进修、环境与智能体相互影响
本大节将 Burgers 方程的逆题目作为加强进修 (RL) 的实验平台。该设置类似于针对可微物理 (DP) 训练的逆题目。与之前类似,Burgers 方程简单但非线性,具有有趣的动力学,因此是 RL 实验的良好起点。本大节目标是训练一个控制力估计器网络,该网络应该预测在两个给定状态之间产生平滑过渡所需的力。
可微物理法子似乎比 RL 智能体产生更少的噪声轨迹,而两者都设法近似真值
PBDL 和不确定性
本章主要分两个大节:后验推理先容、RANS Airfoil Flows 与贝叶斯神经网络。
所有的测量、模型和失散化,都有其不确定性。对于测量,通常以测量误差的形式出现。另一方面,模型方程通常只包含我们感兴趣的一部分(剩余部分是不确定性的),而对于数值模仿,则引入了失散化误差。所以这里要问的一个非常重要的题目是,我们如何才能确保我们得到的答案是正确的。从统计学家的角度来看,后验概率分布捕获了我们对模型或数据可能存在不确定性的一些信息。
册本完整目录如下: