编辑 | 紫罗
过去几年,通过在大量分歧的数据集上训练通用模型,视觉和自然谈话处理 (NLP) 机械进修范围取得了重大进展。这导致了「前提模型」的出现。
例如,「大型谈话模型」引发了 NLP 的复兴:微调或提示通才模型现在已成为标准做法,而不是从头开始训练专科模型。
然而,机械进修在迷信数据集上的应用尚未发生类似的范式转变。
这就是「Polymathic AI」(博学人工智能)研讨讨论寻求解决的一个未实行的机会。
图灵奖得主、Meta 首席迷信家 Yann LeCun 表示:「很高兴成为 AI for Science 新讨论(Polymathic AI)的顾问」。
剑桥大学 AI+天文/物理助理教授 Miles Cranmer 在 twitter 也分享了其参与的一项新讨论:Polymathic AI!
「我们正在开发迷信[数据]的前提模型,以便它们可以利用跨学科的同享观点。」
网友纷纷表示:「这太酷了!这看起来很有趣!惊人的研讨……」
Polymathic AI 讨论的方针是加速开发针对数值数据集和迷信机械进修任务定制的多功能前提模型。
面临的挑战是建立人工智能模型,利用来自异构数据集和分歧迷信范围的信息,与自然谈话处理等范围相反,这些模型分歧享统一的表示(即文本)。
然后,这些模型可以用作强大的基线,或者由迷信家针对特定应用进行进一步微调。这种方法有可能通过提供现成的模型来实行迷信中人工智能的民主化,这些模型对于同享的一般观点(如因果关系、测量、信号处理,甚至更专科的同享观点(如波))具有更强的先验(即背景知识)。否则这些观点需要从头开始进修。
为了实行这一方针,该研讨讨论汇集了一支由纯机械进修研讨人员和范围迷信家组成的团队,涵盖各个学科。此外,还接受由世界领先专家组成的迷信征询小组的指导。
研讨团队。
迷信征询小组。
参与机构。
建立真正的迷信前提模型需要大量的初步研讨。研讨讨论正集中精力研讨这个范围的前提知识,迄今为止已经发表了关于关键架构组件的研讨,从适应数值数据的谈话模型到展示在分歧物理系统上训练的代理模型的可转移性,再到进修多模态迷信数据的同享嵌入。
该研讨讨论对这个研讨方向重新定义迷信机械进修前景的潜力感到兴奋,而 Polymathic AI 代表了实行这一方针的雄心勃勃的一步。
项目开源地址:https://github.com/PolymathicAI/
参考内容:https://polymathic-ai.org/blog/announcement/
https://polymathic-ai.org/
I'm super excited to share a new initiative I am a part of!
Announcing: Polymathic AI 🎉
We are developing foundation models for scientific *data*, such that they can leverage shared concepts across disciplines.https://t.co/vHEXXlI7aA
1/6 pic.twitter.com/NcFFzwAULU
— Miles Cranmer (@MilesCranmer) October 9, 2023