基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

近年来,基于神经网络的偏微分方程求解器在各畛域均得到了广泛关注。其中,量子变分蒙特卡洛格式(NNVMC)在量子化学畛域异军突起,对于一系列问题的解决展现出超越传统格式的精确度

近年来,基于神经网络的偏微分方程求解器在各畛域均得到了广泛关注。其中,量子变分蒙特卡洛格式(NNVMC)在量子化学畛域异军突起,对于一系列问题的解决展现出超越传统格式的精确度 [1, 2, 3, 4]。北京大学与字节跳动钻研部门 ByteDance Research 联合开发的盘算框架 Forward Laplacian 创新地利用 Laplace 算子前向传播盘算,为 NNVMC 畛域提供了十倍的减速,从而大幅降低盘算成本,达成该畛域多项 State of the Art,同时也助力该畛域向更多的科学难题发起冲击。该处事以《A computational framework for neural network-based variational Monte Carlo with Forward Laplacian》为题的论文已发表于国际顶级期刊《Nature Machine Intelligence》,相关代码已开源。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

论文链接:https://www.nature.com/articles/s42256-024-00794-x

代码地址:

https://github.com/bytedance/LapNet

https://github.com/YWolfeee/lapjax

该项处事一提出即受到相关钻研人员的密切关注,围绕该处事已有多个开源项目实现,编程框架 JAX 也计划将该项处事吸收其中。

该项处事由北京大学智能学院王立威课题组、物理学院陈基课题组联合字节跳动钻研部门 ByteDance Research 一同开发完成,作家中有多位北京大学博士生在 ByteDance Research 实习。

背景简介

基于神经网络的量子变分蒙特卡洛格式(NNVMC)已成为量子化学 – 从头盘算畛域中一项前沿技术。它具备精度高、适用范围广等优点。但它的阿克琉斯之踵在于过高的盘算成本,这也限制了该格式在实际化学问题中的应用。

作家提出了一套全新的盘算框架 "Forward Laplacian",利用 Laplace 算子的前向传播,明显提升了 NNVMC 格式的盘算效用,为人工智能在微观量子问题中的应用打开了新的大门。

格式介绍

Forward Laplacian 框架

在 NNVMC 格式中,神经网络的目标函数是微观体系的能量,包括动能与势能两项。其中动能项涉及对神经网络的拉普拉斯算子的盘算,这也是 NNVMC 中耗时最长的盘算瓶颈。现有的自动微分框架在盘算拉普拉斯算子时,需要先盘算黑塞矩阵,再求得拉普拉斯项(即黑塞矩阵的迹)。而作家所提出的盘算框架 "Forward Laplacian" 则通过一次前向传播直接求得拉普拉斯项,避免了黑塞矩阵的盘算,从而削减了整体盘算的规模,实现了明显减速。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

LapNet 网络

除了有效削减盘算图规模之外,Forward Laplacian 框架的另一大特点是能有效利用神经网络梯度盘算中的稀疏性,提出神经网络结构 LapNet。LapNet 通过增加神经网络中的稀疏性,在精度无损的同时,明显提升了网络盘算的效用。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

盘算结果

绝对能量

作家首先就格式的效用及精度同当前 NNVMC 畛域有代表性的几项处事进行了比较。从绝对能量的盘算结果而言,作家提出的 LapNet 在 Forward Laplacian 框架下的效用高于参考处事数倍,精度上也与 SOTA 保持一致。此外,如果在相同盘算资源(即相同 GPU hour)的情况下比较,LapNet 的盘算结果可以明显优于之前的 SOTA。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

减速标度

为了更明确地钻研作家所提出格式相比于之前 SOTA 的减速标度,作家在不同大小的链式聚乙烯体系上进行了测试,结果可以很明显地看到 Forward Laplacian 处事带来的 O (n) 减速。此处 n 为目标分子中的电子数目。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

相对能量

在物理、化学钻研中,相对能量相较于绝对能量具有更明确的物理意义。作家也在一系列的体系上进行了测试,均取得了理想结果。

基于神经网络的偏微分方程求解器新突破:北大&字节钻研成果入选Nature子刊

总结

为降低基于神经网络的量子变分蒙特卡洛格式(NNVMC)的使用门槛,北京大学与字节跳动钻研部门 ByteDance Research 联合开发了盘算框架 Forward Laplacian,实现了十倍的减速。该处事已受到相关钻研人员的广泛关注,期望能够推动 NNVMC 格式在更多科学问题中发挥重要作用。

参考文献

[1] Han, J., Zhang, L., & Weinan, E. (2019). Solving many-electron Schrödinger equation using deep neural networks. Journal of Computational Physics, 399, 108929.

[2] Hermann, J., Schätzle, Z., & Noé, F. (2020). Deep-neural-network solution of the electronic Schrödinger equation. Nature Chemistry, 12 (10), 891-897.

[3] Pfau, D., Spencer, J. S., Matthews, A. G., & Foulkes, W. M. C. (2020). Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2 (3), 033429.

[4] Li, X., Li, Z., & Chen, J. (2022). Ab initio calculation of real solids via neural network ansatz. Nature Communications, 13 (1), 7895.

给TA打赏
共{{data.count}}人
人已打赏
应用

让Sora东京女郎唱歌、高启强变声罗翔,阿里人物口型视频生成绝了

2024-2-29 15:26:00

应用

拿下微软合作、旗舰模型对标GPT-4,认识一下「欧洲版 OpenAI」

2024-2-29 20:14:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索