作者 | 刘铁岩
正处于起步阶段的AI for Science被认为是迷信发觉的第五范式。尽管目前对于AI for Science的定义和钻研方向仍有诸多讨论,但这并不妨碍AI for Science已经开始在迷信发觉的实践中取得令人瞩目的成果。
近年来,微软钻研院迷信智能中心杰出首席迷信家刘铁岩博士和他的团队致力于推动AI for Science的发展和应用。在这篇署名文章中,刘铁岩博士将分享他对人工智能在迷信范围关键钻研方向的看法 ,以及对AI for Science未来前景的展望。
「AI for Science预示着一种全新的迷信发觉范式。通过建立统一的迷信基座模型,AI for Science将消除不同迷信范围之间的壁垒,实行通过一个模型解决众多迷信难题的目标。它还有望推动更加普及的迷信索求范式,通过与基座模型交互,让每个人都能参与到迷信发觉的过程中。而为了实行这些愿景,我们必须要让迷信基座模型超越人类言语的限制,去进修、明白大自然的言语。」
——微软钻研院迷信智能中心
杰出首席迷信家
刘铁岩博士
今天的人工智能技术,在很多任务上的表现已经可以媲美人类,特别是在认知、感知等层面。然而,我们对人工智能的长远愿景决不能局限在复刻人类已有的知识和技能——我们更期待人工智能可以帮助人类索求未知范围,加速我们认识世界和改造世界的进程。
迷信进步是推动现代人类社会发展的核心动力。因此,赋予人工智能以迷信发觉的能力,无疑是其发展的必然方向之一。图灵奖获得者Jim Gray在《迷信发觉的四个范式》一书中将迷信发觉的历程分为四个阶段:千年前的经验迷信,百年前的理论迷信,几十年前的计算迷信,以及十几年前的数据迷信。而AI for Science的出现将会成为前四种范式的有机结合和升华,我们称之为迷信发觉的「第五范式」,并不吝寄予其更大的期望。
2022年,微软钻研院成立了迷信智能中心(Microsoft Research AI for Science),我有幸作为该团队的创始成员之一,与世界各地的顶尖专家共同索求这一跨范围钻研的开创性课题。经过两年的努力,我们在AI for Science的钻研上取得了一系列令人振奋的成果。更重要的是,这一过程也在不断刷新我们对AI for Science的明白。
我想分享的一个深刻的感受:我们必须正视迷信发觉的艰巨性。我们决不能简单地认为只要高举AI的大锤,就可以轻易攻克迷信发觉的难题。AI for Science的健康发展,需要我们秉承格外严谨和审慎的态度,始终对迷信发觉保持敬畏之心,在深入明白迷信法则的基础上,对现有的AI工具进行改造、甚至发明全新的AI理论和算法。只有这样,才有可能让AI真正加速迷信发觉的进程,改变迷信发觉的格局。
AI for Science的三个要素
作为一个新兴范围,AI for Science尚未有一个公认的定义。在我看来,AI for Science并不等于「在迷信钻研过程中使用一些AI技术」。我们所追求的AI for Science是一个更加系统和深入的概念,AI要深度融入迷信钻研的各个环节,从数据处理到仿真放荡,到实行钻研,到发觉新的迷信法则,AI要成为迷信钻研的核心技术,要为迷信发觉雪中送炭,而不是锦上添花。
我认为,AI for Science应该包含三个要素:利用分解数据,建立迷信基座模型,实行迷信钻研的闭环。
利用分解数据:在自然迷信范围,有很多迷信法则可以指导我们利用计算的方法产生分解数据,比如通过求解薛定谔方程获得电子结构和份子体系的微观属性,通过求解纳维斯托克斯方程获得流体的速度和压力场。
而这些分解数据不受实行条件的局限,只要有足够的计算资源就可以产生任意多的数据。通过这些分解数据训练出来的人工智能模型,可以实行对这些迷信方程更加直接且高效的求解,进而用于生成更多的分解数据。
这种分解数据的飞轮效应,可以或许让人工智能模型实行自我演化,更快、更有效地进修和提高自身能力,从而更深入地明白迷信的本质,拓展迷信的边界。
建立迷信基座模型:AI for Science应当遵循类似GPT等大模型的安排思路,用一种通用技术来解决广泛的迷信问题。
在过去的迷信钻研中,人们通常认为隔行如隔山,不同范围的迷信问题需要用独立的方法来求解。但是,我们的客观世界实际上是由一些「简单通用」的底层法则所支配的。
比如,无论是不规则的无机小份子、周期性的晶体材料、还是蛋白质、DNA等生物大份子,其背后都被薛定谔方程所支配着。
这种迷信法则的共通性为我们整合所有迷信范围、任务、和模态,建立统一的迷信基座模型奠定了基础。迷信基座模型可以帮助我们找到复杂现象背后的法则和内在联系,在不同学科知识的碰撞中产生「1+1>2」的效果,从方法论层面影响迷信发觉。
此外,迷信基座模型还要从各种迷信文献中进修人类历史上积累的迷信知识及其推理能力,并在此基础上实行人类言语和迷信言语的衔接,使普通人也能通过言语与基座模型交互,从而降低迷信发觉的专业门槛,让人人都能成为「爱因斯坦」,推动迷信发觉的「平权」。
实行迷信钻研的闭环:迷信发觉是一个大胆假说、小心求证的过程,后者通常依赖于实行室工作。为了实行迷信发觉的全链条,AI for Science必须与真实世界形成闭环,不能仅仅局限于数字世界。
近年来,实行室自动化已成为迷信索求的新趋势,人工智能是这些自动化实行室的大脑,指导机械臂精确执行操作,自动分解、自动实行,从而实行从理论到实行验证的完整闭环。
试想一下,一旦我们可以利用迷信基座模型提出新的迷信假说、进行计算仿真、再通过自动化实行室来验证,并将结果反馈给基座模型修正假说、反复迭代——以上过程可以或许7×24小时全天候运行,人类的迷信发觉能力将发生根本性的改变。
AI for Science的基座模型要读懂大自然的言语
微软钻研院迷信智能中心自成立之初,就将迷信基座模型作为主要的钻研项目,并且明确了迷信基座模型的发展方向——迷信基座模型必须要突破人类言语的局限,要可以或许进修和明白迷信概念、迷信实体、迷信法则,掌握支配万事万物的大自然的言语。
目前,市面上的迷信大模型可以分为两个类别,一类是针对特定的垂直子范围,如蛋白质、DNA、单细胞等,安排和训练相应的大模型;另一类是将GPT等大言语模型进行改造或者适配到迷信范围。
前者只见树木,不见森林,聚焦在一个小的垂直范围,无法学到普遍的迷信法则,离掌握大自然的言语相去甚远;后者则对人类言语过度依赖,作为一种基于统计的、线性、符号化的表达方式,人类言语难以完整地描述自然界的多样性和复杂性。
大自然言语是一种高维度、多模态、迷信严谨的表达。首先,自然界中的物质世界是高维度、多尺度的,不同维度和尺度之间受到深层迷信法则的相互制约,这些法则无法简单地用人类言语的字符序列加以表达。
其次,自然界里存在各种不同的模态,比如复杂的声光电现象、波粒二象性、时空的相互转化等等,蕴含着用人类言语无法充分描述的深刻奥秘。再有,人类言语会受到个体认知和社会文化等因素的影响,存在偏倚和误差。而迷信索求追求的是严谨及普适性,大自然的言语是客观存在且不受人为因素影响的。
我们只有建立可以或许处理高维、多模态数据的迷信基座模型,并将迷信法则巧妙地融入模型的建立和训练过程中,才能外推到模型未曾见过的客观世界,才能真正进修和掌握大自然的言语。
聚焦微观世界的深入索求与应用
面向微观世界和宏观世界的钻研是AI for Science的两个重要方向。由于微观世界的迷信法则已经被人类充分掌握,理论完备,也有很多直接或间接的实行手段,因此AI for Science在微观范围大展身手具有充分的理论和实践基础。
针对宏观世界,虽然人类还没有完全掌握其背后的物理法则,但也已经积累了大量数据,AI for Science可以利用这些数据,进行法则挖掘和预计,如天气预报和气候变化钻研等。
目前,微软钻研院迷信智能中心的AI for Science钻研更专注于微观世界,并将相关的钻研项目分成了三个层次:基础层是迷信基座模型;中间层是迷信仿真工具(如电子结构预计、份子动力学放荡等),应用层是解决各范围的重大迷信问题(如材料安排和药物开发等)。
在基础层,我们致力于安排和训练迷信基座模型。经过近两年的深入钻研,我们已经取得了一些突破性进展,开发出了基座模型的一些重要子模块,在份子迷信的关键范围展示出令人振奋的能力。
例如,我们在NeurIPS上发表的Graphormer模型,是迷信基座模型的结构编码器,它对份子结构的明白有非常独到的能力,在第一届OGB-LSC份子建模比赛和OC20催化剂安排开放挑战赛中都力压群雄,获得冠军。
我们开发的BioGPT模型,作为迷信基座模型的序列解码器的一部分,是第一个在Pubmed QA任务上超过人类专家水平的AI 模型。
而我们刚刚在《自然-机器智能》(Nature Machine Intelligence)杂志上发表的用于份子结构平衡分布预计的深度进修框架Distributional Graphormer,则是迷信基座模型的结构解码器,它可以或许对份子的动态统计特性进行端到端的建模,在物质的微观份子结构和宏观物化属性之间建立了连接的桥梁。
图示:Distributional Graphormer 示意图。(来源:论文)
在中间层,我们的钻研重点包括电子结构预计、份子动力学放荡等,这些方向为明白和预计份子行为提供关键信息。
在电子结构预计方面,我们在《自然-计算迷信》(Nature Computational Science) 杂志上发表了M-OFDFT技术,可以利用AI方法将传统DFT(密度泛函理论)的复杂度明显降低。
同时,我们还在GPU加速、并行计算等方面进行了更加深入的索求,进一步提高DFT的计算效率,成功将DFT计算拓展到更大尺度的份子体系,该技术已在微软Azure云平台上发布,受到了业界的高度赞誉。
在份子动力学放荡方面,我们开发了机器进修力场ViSNet,它可以针对蛋白质等生物大份子给出精准的能量和力场的预计,相关钻研成果作为编辑精选文章发表在《自然-通讯》(Nature Communications)杂志上,并且获得了首届全球AI药物安排大赛的冠军。
图示:ViSNet 示意图。(来源:论文)
中间层的AI模型和迷信基座模型有着很强的依赖关系,它们会在迷信基座模型的通用建模能力的基础上,再融入范围数据和洞察,通过模型微调或知识蒸馏,获得针对特定范围更高的精度或更高的效率。
在应用层,我们特别关注制药和材料范围的重大迷信问题。这是当前与AI for Science钻研最契合,而且市场需求最大的范围。
在此方向上我们也取得了令人鼓舞的成果,比如可以或许加速发觉和安排更新颖、更稳定材料的MatterSim和MatterGen模型;可以或许根据指定靶点,自动安排候选药物的TamGen模型。
尤其是基于TamGen模型,我们与GHDDI(全球健康药物研发中心)和盖茨基金会进行了深入合作,为肺结核和冠状病毒等仍然肆虐全球的传染病安排出了全新的高效候选药物。
经过实行室分解和酶抑制试验,这些AI安排出来的候选药物表现出了非常优异的性能,与已知的先导化合物相比,其生物活性提高了近10倍,为治愈相关疾病做出了有益的索求。
除此之外,我们也在钻研迷信智能体和关注实行室自动化,希望可以或许早日实行迷信发觉的自动化,助力人类文明以更快的节奏进化。我们还十分关注负责任的AI for Science,利用法律、道德和社会规范为AI for Science的钻研保驾护航。
图示:TamGen示意图。(来源:论文)
憧憬人人都可参与迷信发觉的未来
AI for Science的深入钻研与发展,将为迷信发觉打开无限可能,为人类索求自然提供更丰富的方法和工具。利用AI for Science,计算机放荡的精度将无限接近于现实世界实行的精度,助力迷信钻研的质量和效率提升至全新高度,引领迷信索求进入崭新的阶段。
更重要的是,迷信基座模型的引入有望使迷信发觉变得更加普及化。迷信索求将不再仅仅是专业范围迷信家们的「特权」,任何对迷信发觉抱有热情的人,都将可以或许通过言语与大模型进行交互,验证他们的奇思妙想。
这将激励更多人参与解决诸如医疗健康、新材料发觉、可持续发展等社会性问题,前所未有地汇聚全人类的智慧来造福世界。
当然,我们也必须清醒地认识到,AI for Science的发展并非一蹴而就,需要长期的投入和钻研,并攻克一些前所未有的挑战。作为一个高度跨学科的钻研范围,AI for Science对交叉范围人才的需求非常迫切。AI for Science的钻研者需要在计算机或自然迷信范围具有很深的造诣,并且对交叉学科相互融合具备广阔的视野和开放的心态,对其他范围的难度和复杂性保持充分的明白与尊重。
算力和数据同样给AI for Science钻研带来了极大的挑战。自然迷信现象的数据类型和复杂度都远超言语数据,深入钻研迷信智能所需的算力和数据量也将呈指数级增长,大大高于现有的大言语模型。
此外,建立完整的AI for Science钻研闭环并非易事。正如之前提到的,钻研闭环不仅关系到验证假说的有效性,也是衡量人工智能在迷信发觉中的效率和质量的关键。但传统的实行室方法论难以支持AI for Science的发展,我们需要全新的实践方法论,例如安排全新的实行方案和自动化流程。
尽管AI for Science作为新兴的迷信发觉范式还面临着许多未知的挑战,但我们目前所取得的每一点进展都预示着它将为人类带来无尽的可能性。
AI for Science钻研中不乏令人望而却步的难题,但也正是这些难题,激发了我们索求和创新的热情。
我和我的同事们将继续怀揣着极大的热忱投身于这一范围,并乐于与那些对AI for Science秉持严谨态度和长远愿景的各范围专家学者合作,共同推动AI for Science成为人类认识世界和改造世界的变革性力量。
关于作者
刘铁岩博士,微软杰出首席迷信家、微软钻研院迷信智能中心亚洲区负责人。他是国际电气电子工程师学会(IEEE)会士、 国际计算机学会(ACM)会士、亚太人工智能学会(AAIA)会士。他(曾)被聘为卡内基梅隆大学、清华大学、香港科技大学、中国科技大学、南开大学、华中科技大学兼职教授、诺丁汉大学荣誉教授。
刘铁岩博士的先锋性钻研促进了机器进修与信息检索之间的融合,被公认为「排序进修」范围的代表人物。近年来他在深度进修、强化进修、工业智能、迷信智能等方面颇有建树,在顶级国际会议和期刊上发表论文数百篇,被引用数万次。他曾担任WWW/WebConf、SIGIR、NeurIPS、ICLR、ICML、IJCAI、AAAI、KDD等十余个国际顶级学术会议的大会主席、程序委员会主席或(资深)范围主席;包括ACM TOIS、ACM TWEB、IEEE TPAMI在内的知名国际期刊副主编。
刘铁岩博士毕业于清华大学,先后获得电子工程系学士、硕士及博士学位。
相关链接
Graphormer项目页面https://www.microsoft.com/en-us/research/project/graphormer/
Distributional Graphormer:从份子结构预计到平衡分布预计https://www.msra.cn/zh-cn/news/features/distributional-graphormer
ViSNet:用于份子性质预计和动力学放荡的通用份子结建立模网络https://www.msra.cn/zh-cn/news/features/visnet
MatterGen: a generative model for inorganic materials designhttps://arxiv.org/abs/2312.03687
M-OFDFT:Overcoming the barrier of orbital-free density functional theory for molecular systems using deep learning
https://www.nature.com/articles/s43588-024-00605-8
Bio-GPT:Generative Pre-trained Transformer for Biomedical Text Generation and Mining
https://arxiv.org/abs/2210.10341
MatterSim: A Deep Learning Atomistic Model Across Elements, Temperatures and Pressures
https://arxiv.org/abs/2405.04967
TamGen: Target-aware Molecule Generation for Drug Design Using a Chemical Language Modelhttps://www.biorxiv.org/content/10.1101/2024.01.08.574635v2.full.pdf