作者 | 凯霞
2023 年,人工智能畛域最具影响的莫过于 GPT-4、ChatGPT 了。
ChatGPT 凭一己之力掀起了 AI 畛域的热潮,火爆全球,似乎开启了第四次工业革命。
ChatGPT 入选《Nature》2023 年度十大人物(Nature’s 10),这是有史以来第一次「计算机程序」——首个非人类实体入选。《Nature》表示这一做法旨在认可模仿人类言语的 AI 系统在迷信发展和进步中所发挥的作用。
同时,ChatGPT 在内的 AI 工具也被《Nature》评为 2024 年值得关注的迷信事件之一。期待更先进的下一代 AI 模型 GPT-5、AlphaFold 新版本发布。
继 ChatGPT 之后,全球各行各业大模型千帆竞发。
ChatGPT 火出了圈,在迷信钻研畛域,衍生出哪些「科研 ChatGPT」?ChatGPT 在迷信钻研中有哪些应用?
对于,ChatGPT 对迷信畛域的影响,科研界的钻研职员虽然有不同的思考和探究。
有钻研职员认为,ChatGPT 已经有了非常强大的能力,可以帮助我们举行计算资料迷信。同时,ChatGPT 仍然有很大的改进空间。
有钻研者认为,ChatGPT 的准确性是相对比较差的。大言语模型目前很难生成出超出人类认知边界的内容,发觉新的现象和建立新的理论。
ChatGPT 现在的状态就像「Science GPT for Babies」。ChatGPT 出来的时间还很短,在 ChatGPT for Science 方面,大部分工作都是一些简单的 GPT 直接应用,或者做一些微调。但这个阶段很快就会过去。
对于「生化环材」等迷信畛域,机遇与挑战并存,一方面是赋能「生化环材」,AI 助力更高效的科研,另一方面也存在人才的稀缺等挑战。
今天,可能已经到了一个给大模型找应用对象、找落地场景的一个时代了?
另外,干湿试验室闭环,AI +机器人试验系统结合的「主动驾驶试验室」是未来?
2023 年,ScienceAI 曾报道过很多 AI/LLM for Science 相关钻研。2023 年已接近尾声,在此,我们盘点了这一年大言语模型在本原迷信钻研畛域取得的进展。
那么,ChatGPT 对迷信意味着什么?对科研带来哪些改变?又催生出哪些迷信本原大模型?还有哪些值得期待的?
在此,ScienceAI 回顾了 2023 年 ChatGPT 浪潮下,在迷信钻研畛域,全球发布的各大迷信本原模型,以及 ChatGPT 相关的迷信钻研……
温馨提示:点击引荐浏览小标题可直接访问相关文章
科研畛域本原大模型「 迷信 ChatGPT」有哪些?
ChatGPT 火出了圈,在迷信钻研畛域,也出来很多本原科研畛域的「迷信 ChatGPT」。
有自然迷信畛域大模型、生命本原大模型、生物医药畛域本原大模型、地球迷信大言语模型、医疗大模型、单细胞本原模型、天气预报大模型……
今年年初,谷歌 Med-PaLM 的下一个迭代:Med-PaLM 2,在医学考试问题上持续表现出「专家」医生水平。7 月份,谷歌对医学大模型举行了优化和升级。钻研职员提出了新的基准 MultiMedQA,Med-PaLM 准确率与人类医生相当。没过多久,谷歌又提出了新的基准。Med-PaLM M 是 「通才生物医疗人工智能」 的首次演示!
Med-PaLM M 概述。
引荐浏览:
谷歌医疗大模型登Nature:Med-PaLM准确率与人类医生相当
通才生物医疗AI 的首次演示,谷歌推出新的医疗大模型Med-PaLM M
2023 年 3 月 23 日,百图生科在北京发布生命迷信大模型驱动的 AIGP —— AI Generated Protein 平台。
AIGP 可以对各种各样生命问题举行理解,有针对性地生成蛋白质或者对生成式的方式安排蛋白质。
AIGP 3 大功能模块+12 项核心能力示意图。
引荐浏览:
详解百图生科 AIGP 平台:拥有对生命迷信多维度的理解,提供多种蛋白质生成能力
4 月 7 日,上海人工智能试验室团队发布全球中期天气预报大模型「风乌」。
基于多模态和多任意深度学习方法构建,AI 大模型「风乌」首次实现在高分辨率上对核心大气变量举行超过 10 天的有效预报,并在 80% 的评估指标上超越 DeepMind 发布的模型 GraphCas。此外,「风乌」仅需 30 秒即可生成未来 10 天全球高精度预报结果,在效率上大幅优于传统模型。
「风乌」多模态网络结构。不同的模态通过不同的编码解码器处理,多模态特征通过跨模态融合模块举行融合。
引荐浏览:
上海人工智能试验室发布「风乌」大模型,全球气象有效预报时间首破10天
4 月 19 日,清华大学智能产业钻研院(AIR)团队在生物医药畛域大模型方向上的最新进展,开源了轻量级科研版本原模型 BioMedGPT-1.6B。最终目标是生物医药畛域本原大模型。
引荐浏览:
AIR开源轻量版BioMedGPT,最终目标是生物医药畛域本原大模型
5 月份,加拿大多伦多大学和彼得·蒙克心脏中心(Peter Munk Cardiac Centre)的钻研职员,通过利用呈指数增长的单细胞测序数据,首次尝试对超过 1000 万个细胞举行生成预训练来构建单细胞本原模型。这是第一个基于单细胞生物学的大型言语模型。
随后,7 月份,该钻研团队首次尝试对超过 3300 万个细胞举行生成预训练来更新 scGPT。
scGPT 模型概述。
引荐浏览:
首个单细胞生物学本原大型言语模型,在超1000万个细胞上举行预训练
单细胞生物学本原大型言语模型scGPT更新版来了,在超3300万个细胞上举行预训练
8 月份,UNSW AI Institute 和澳大利亚国家超算中心以及 GreenDynamics 推出了首个自然迷信畛域大模型 DARWIN :超过GPT-4,能自我安排新资料。
自然迷信任意中 DARWIN 与 GPT-4 的对比分析。可以发觉,DARWIN在物理、化学、资料迷信特殊任意中的表现要优于GPT-4。
引荐浏览:
首个自然迷信畛域大模型DARWIN:超过GPT-4,能自我安排新资料
9 月底,中国迷信院多学科交叉钻研团队组成的「指南针联盟」(Xcompass Consortium)在 AI 能赋能生命迷信钻研方面取得了重要突破,成功构建了世界首个跨物种生命本原大模型——GeneCompass。
GeneCompass:首个跨物种生命本原大模型。
引荐浏览:
中国迷信院团队两篇齐发:首个跨物种生命本原大模型+新型细胞命运预测AI模型发布
9 月 21 日,清华系初创团队水木分子发布了新一代对话式药物研发助手 ChatDD (Drug Design) ,覆盖药物立项、临床前钻研、临床试验的各阶段,作为制药专家的得力 AI 助手,提升药物研发效率。当天,团队还发布了全球首个千亿参数多模态生物医药对话大模型 ChatDD-FM 100B,在权威中文本原模型 C-Eval 评测中达到全部医学 4 项专业第一,也是在该四项任意上截至目前唯一平均分超过 90 分的模型。
聂再清教授发布药物研发助手 ChatDD。
引荐浏览:
「制药版ChatGPT」,清华系团队水木分子发布生物医药行业千亿参数大模型 ChatDD
8 月份,上海交通大学的团队推出一个 70 亿参数的地球迷信大言语模型 K2。K2 是基于初代 LLaMA-7B 模型,并使用了 100 万余篇地球迷信文献以及和地球迷信相关的维基百科的文章举行更进一步的预训练。
地球迷信畛域大言语模型 K2 的构建流程图。
引荐浏览:
K2乔戈里,上交大团队推出一个70亿参数的地球迷信大言语模型
9 月份,微软亚洲钻研院的钻研团队提出了 BioGPT,这是一种在大规模生物医学文献上举行预训练的特定畛域生成式 Transformer 言语模型。钻研职员在六项生物医学自然言语处理任意上评估了 BioGPT,并证明他们的模型在大多数任意上优于以前的模型。
引荐浏览:
微软亚洲钻研院开源 BioGPT,一种基于生物医学钻研文献举行训练的大型言语模型
大言语模型在迷信钻研中的应用(LLM for Science)
在 ChatGPT 等 LLM 的热潮下,本原科研畛域的钻研职员,也应用 LLM 举行了各种探究,包括在资料、化学、生物、药物等畛域。
前不久,卡内基梅隆大学的钻研团队提出了一种基于 GPT-4 的智能 Agent(称为 Coscientist),用一个简单的言语提示就可以执行整个试验过程。能够自主安排、规划和执行复杂的迷信试验。
Coscientist 可以安排、编码和执行多种反应,在湿试验中使用其机器人设备制造包括扑热息痛和阿司匹林在内的化合物。
Coscientist 系统架构。
引荐浏览:
GPT-4驱动的机器人化学家登Nature,自主安排反应并执行复杂试验
香港理工大学和密歇根州立大学的钻研职员在分子发觉畛域利用 LLM 的强大功能举行了探究尝试。开发了一个基于检索的提示范式 MolReGPT,使用提示来指导 LLM 在分子和分子文本描述之间举行翻译。
MolReGPT 的总体流程框架。
引荐浏览:
MolReGPT: 利用大型言语模型探究分子发觉——分子与文本描述间相互翻译
MIT 团队发布微调的大言语模型 MechGPT,可跨学科理解、多尺度建模。该方法包括使用通用 LLM 从原始来源中提取问答对,然后举行 LLM 微调。由此产生的 MechGPT LLM 本原模型用于一系列计算试验,从而可以探究其知识检索、各种言语任意、假设生成以及跨不同畛域连接知识的能力。
MechGPT LLM 工作流程示意图。
引荐浏览:
可跨学科理解、多尺度建模,MIT LAMM 团队发布微调的大言语模型 MechGPT
11 月 13 日,微软团队在 arXiv 预印平台发表题为《大型言语模型对迷信发觉的影响:使用 GPT-4 的初步钻研》的文章。
微软钻研职员深入钻研了 LLM 在迷信发觉/钻研背景下的表现,重点关注最先进的言语模型 GPT-4。钻研涵盖多个迷信畛域,包括药物发觉、生物学、计算化学、资料安排和偏微分方程。
引荐浏览:
230页长文,涵盖5大迷信畛域,微软团队使用GPT-4探究LLM对迷信发觉的影响
澳大利亚新南威尔士大学的 Bram Hoex AI4Science 钻研组提出了一种全新的 NLP 任意,即结构化信息推断(SII),成功利用 GPT-3 从迷信文献中获取有价值的迷信知识。该任意的成本极低,不需要提供专业性的标注,仅仅依靠综述论文。过去需要数十位顶尖迷信家才能完成的迷信信息总结,现在通过 GPT-SII 的组合在几秒钟内即可完成。
GPT-3 在 SII 任意的工作流程。
引荐浏览:
大型言语模型作为万能钥匙:用GPT解锁资料迷信的秘密
洛桑联邦理工学院(EPFL)和罗切斯特大学的钻研职员开发了 ChemCrow,一种 LLM 化学智能体,旨在完成有机合成、药物发觉和资料安排等各种任意。
通过集成 13 种专家安排的工具,ChemCrow 增强了 LLM 在化学方面的表现,并出现了新的功能。该钻研通过 LLM 和专家人工评估,证明了 ChemCrow 在主动化各种化学任意方面的有效性。
ChemCrow 的工具集。
引荐浏览:
表现优于 GPT-4,ChemCrow 集成 13 种化学工具,增强大型言语模型的化学性能
荷兰代尔夫特理工大学的钻研职员提出了一种新颖的生成人工智能方法,用于主动识别流程图中的错误并向用户建议更正,即主动更正流程图。
该模型在合成生成的流程图的独立测试数据集上实现了 80% 的 top-1 准确度和 84% 的 top-5 准确度。结果表明该模型可以学习主动更正合成流程图。该流程图主动校正将成为化学工程师的有用工具。
Transformer 模型的主动校正方法概述。
引荐浏览:
就像Word中的文本主动更正一样,大言语模型主动更正化学工艺流程图
加州大学的钻研团队使用 AI 模型 ChatGPT 执行一项特别耗时的任意:搜索迷信文献。利用这些数据,他们构建了第二个工具,一个预测试验结果的模型。
CCA 工作流程示意图。
引荐浏览:
ChatGPT「化学助手」搜索文献、预测试验结果 ,为LLM加速迷信发觉提供新途径
纽约大学和新南威尔士大学的钻研团队使用简单的英语「对话」与 AI 模型制造了一个微处理芯片,这是一项史无前例的成就,可以加快芯片开发速度,并允许没有专业技术技能的个人安排芯片。
会话式 LLM 能否用于迭代安排硬件?
引荐浏览:
对话式 LLM 用于硬件安排,首个完全由 AI 辅助创建的微处理芯片诞生
AI 未来在迷信畛域将有哪些突破?
未来 AI 将在生命迷信的哪些方面产生具体的突破?
在今年年初《理解未来》迷信讲座 AI for Science 系列 03 期线上讨论中。
加拿大魁北克省人工智能钻研中心(Mila)副教授唐建表示:「蛋白质药物安排可能是一个重要方面。我们可以利用生成式模型,去生成全新的小分子或者大分子药物。另一方面,比较大的突破可能是多组学的数据方面,将带来革命性的变化。未来,我们有可能可以理解整个组织,可以建立一个组织方面的模型。在疾病的诊断方面,未来可能会有比较大的突破。」
北京大学理学部主任谢晓亮表示:「组学确实是一个值得去钻研突破的方向。当然传统畛域也非常重要,因为机器学习,从图像识别、人脸识别,实际上在医学上的应用看,癌症的成像,更多是直接的应用,其实还有更多的发展空间。」
北京迷信智能钻研院(AI for Science Institute, Beijing)院长鄂维南表示:「生成模型的发展空间很大。然后组学方面,现在我觉得关键的问题是怎么做是有效的。一个是我们要有效地把钻研组织起来,要有不同的背景的人的参加。第二个是要找到一些新的 guiding principle。」
ChatGPT 能为计算资料迷信做些什么?
3 月份,浙江大学资料迷信与工程学院洪子健在《用于计算资料迷信的 ChatGPT:一个 Perspective》的展望文章中认为:「总的来说,ChatGPT 已经有了非常强大的能力,可以帮助我们举行计算资料迷信。同时,ChatGPT 仍然有很大的改进空间。」
此前,在与 MIT 贾皓钧和段辰儒博士的对话中。在谈及当前科研畛域的大模型钻研处于什么阶段?未来会有咋样的一个「科研 ChatGPT」时,两位博士给出了不一样的答案。
贾皓钧博士认为,首先,ChatGPT 的准确性是相对比较差的。但迷信问题非常注重精确。其次,大言语模型目前很难生成出超出人类认知边界的内容,发觉新的现象和建立新的理论。最后,做某一个垂直畛域的大言语模型,能找到所有论文和公开数据库,一般都是已经做出来的东西,只有成功的案例,这会导致训练集有很大的偏差。
段辰儒博士认为,ChatGPT 现在的状态就像「Science GPT for Babies」,ChatGPT 出来的时间还很短,大家的惯性思考仍然停留在怎么样把 GPT 直接应用在原本的问题上。这导致目前在 Science 方面,大部分工作都是一些简单的 GPT 直接应用,或者做一些微调。但这个阶段很快就会过去。未来,值得探究的方向是以 GPT 为核心,串联复杂的研发过程。以及在工业生产链条中,把它作为自然言语的接口,这样就可以降低人们学习各种复杂的软件、其他编程言语以及各种仪器之间的壁垒。
引荐浏览:
专访MIT贾皓钧&段辰儒博士:AI4S时代的化学资料发觉——「AI炼金术」
ChatGPT 对生物学和环境迷信意味着什么?
ChatGPT 能为计算资料迷信做些什么?未来会取代计算资料迷信家吗?
ChatGPT成功背后的技术原因及其对生命迷信畛域的启发
如何搭建生命迷信的ChatGPT,传统迷信将成为「AI+Science」主战场
ChatGPT 和生成式 AI 对迷信意味着什么
「主动驾驶试验室」是未来
AI 和机器人试验的结合是实现主动化资料探究、药物开发的关键。
如果 AI 系统可以承担一些通常由人类钻研职员执行的信息任意,并且机器人系统可以执行所需的物理任意,那么资料探究试验就可以主动举行。
日本国立资料钻研所(NIMS)的钻研职员将 AI 和机器人试验系统结合起来,举行了开创性的概念验证钻研。钻研职员开发了 Python 库:NIMS-OS,旨在实现机器人试验和 AI 的闭环,无需人工干预,实现主动化资料探究。
NIMS-OS 中的流程以及每个 Python 脚本的角色。
随着化学家越来越多地使用主动化设备和预测合成算法,自主钻研设备正在接近实现。
新药的开发通常包括四个阶段:安排、制造、测试和分析 (DMTA)。
将 DMTA 周期的每个步骤的生成算法、计算机辅助合成规划 (CASP)、迭代更新的大型数据集以及主动化学合成、纯化和表征集成到一个工作流程中,可以提高试验效率,并最终实现自主化学发觉。
目前,化学预测工具、逆合成规划和性质预测的一般性质与现有小分子合成化学主动化平台的专业性质之间存在差距。缩小这一差距可以促进自主化学发觉平台的发展,该平台可以在不同的发觉空间之间举行切换,而无需手动重新配置。
11 月份,Google DeepMind 和加州大学伯克利分校的一组钻研职员在提出了一个「主动驾驶试验室」——A-Lab ,旨在利用 AI 和机器人技术加速新资料的发觉和合成。事后,虽然伦敦大学学院教授对「A-Lab」提出质疑。加州大学伯克利分校 Ceder Group 负责人 Gerbrand Ceder 回应称,该论文的目标是「展示自主试验室可以实现的目标」,而不是声称完美。仍需要更全面的分析方法。
迷信本就是一场探究,有些钻研可能并不能声称完美,但可以启发我们进一步钻研和探究的方向。
卡内基梅隆大学的钻研团队提出了一种基于 GPT-4 的智能 Agent:Coscientist,能够自主安排、规划和执行复杂的迷信试验。葡萄牙里斯本大学(University of Lisbon)药物化学家 Tiago Rodrigues 表示,「可以预想到主动化硬件配备人工智能助手的未来。主动驾驶试验室是未来,AI 工具来完全主动化 DMTA。」
在不久的将来,AI 系统给出化合物最佳合成路线,或者药物靶点,或者资料的最佳配比,结合迷信畛域的主动驾驶试验室,最终,AI 机器人可以在试验室中执行各种复杂的迷信试验,例如制备化合物、新资料…
引荐浏览:
某「新化合物」90年前就有了?伦敦大学学院教授对DeepMind参与的「A-Lab」提出质疑
主动化软件NIMS-OS,实现资料迷信中AI和机器人试验之间的闭环
GPT-4驱动的机器人化学家登Nature,自主安排反应并执行复杂试验