大模型版生命游戏来了!「AI科学家」背后公司联手MIT&OpenAI等打造

大模型版生命游戏来了。 ALife,即人工生命,旨在通过人工手段研究生命和类生命过程。 程序员们深深着迷的康威生命游戏,就属于这一研究领域。

大模型版生命游戏来了。

图片

ALife,即人工生命,旨在通过人工手段研究生命和类生命过程。程序员们深深着迷的康威生命游戏,就属于这一研究领域。

现在,来自Transformer作者之一Llion Jones创办的Sakana AI,以及MIT、OpenAI等研究机构的联合团队,基于大模型提出了一种新的ALife研究范式——

ASAL,人工生命自动搜索。

也就是利用多模态大模型来指导ALife模拟。

图片

研究人员发现,在包括康威生命游戏在内的各种ALife基础方法上,ASAL都行之有效,还挖掘出了以前从未被发现的新生命形式。

并且,ASAL像康威生命游戏一样,展现出了开放式进化的特点。

利用大模型自动搜索人工生命

ALife主要通过计算模拟来研究生命,核心是搜索并绘制出整个可能的模拟空间。

而此项研究的主要目的,就是利用大模型,实现生命模拟中的搜索自动化。

研究人员首先定义一组感兴趣的模拟形式,称为基质(substrate)。然后,让ASAL通过三种方法来发现人工生命形式。

三种方法分别对应ALife研究中的三个重要目标:

  • 复现特定生命现象
  • 实现开放式进化
  • 探索生命可能性空间

图片

有监督目标搜索

其一,有监督目标搜索,目标是找到能够产生指定目标现象或事件序列的模拟。

具体的方法是,给定一系列描述目标状态的文本提示(Prompt),最大化模拟生成图像在不同时间步上,与相应提示词的匹配度。

用公式表示就是:

图片

其中θ表示模拟参数,图片表示运行模拟T步后的渲染图像,图片图片分别表示将图像和文本映射到基础模型表示空间的函数。

开放式搜索

其二,开放式搜索,目标是找到能够持续产生新行为的开放式模拟。

这对于ALife而言是非常重要的:开放性对于新事物的爆发是必要的。

研究人员采用的方法是,最大化模拟产生的图像,在基础模型表示空间中,相对于历史状态的新颖度。

图片

照明式搜索

最后是照明式搜索,目标是找到一组展现出多样行为的模拟。

方法是,最大化一组模拟在基础模型表示空间中的覆盖度,即最小化每个模拟与其最近邻的距离。

图片

实验结果

为了验证ASAL的有效性,研究人员在过个经典ALife环境中进行了实验,包括鸟群算法(Boids)、粒子生命模拟、类生命元胞自动机、Lenia(将康威生命游戏推广到连续空间)和神经元胞自动机(NCA)等。

采用的基础模型包括CLIP和DINOv2。

结果显示,在Lenia、Boids和粒子生命模拟等环境中,给定不同的目标文本提示,ASAL都能搜索到与之匹配的模拟。

图片

并且不仅仅是在单个目标上,在对事件序列的模拟中,ASAL同样有效。

图片

开放性方面,研究人员使用类生命元胞自动机(Life-Like CA)为“基质”,CLIP为基础模型,对ASAL进行了验证。

结果显示,ASAL找到了一些展现出与康威生命游戏相似的开放性行为的规则。

这些自动机能够持续产生新模式,在基础模型空间中形成发散的轨迹。

图片

另外,在Lenia和Boids环境中,ASAL使用照明式搜索发现了具备丰富多样行为的模拟,并发现了许多前所未见的生命形式。

图片

研究人员还提到,利用基础模型的语义表示,对于此前只能定性分析的现象,ASAL实现了新的突破:可以对一些人工生命现象进行定量分析。

最后,简单总结一下就是,ALife旨在重现自然进化,而这项新研究,突破了人工设计模拟的瓶颈,加速了ALife发现。

此前打造了首位“AI科学家”的Sakana AI在公布这项研究时,还划了个重点:

这加快了我们对涌现、进化和智能的理解,其中的核心原理可以激发下一代AI系统!

项目主页:https://pub.sakana.ai/asal/。

相关资讯

首次!大模型自动搜索人工生命,做出AI科学家的Sakana AI又放大招

2024 临近尾声,AI 又给了所有人一个大惊喜,这次可以用来自动发现新的人工生命形式了。 今年 8 月,Transformer 论文作者之一的 Llion Jones 与前谷歌研究人员 David Ha 共同创立的人工智能公司 Sakana AI 造出了「世界上第一个用于自动化科学研究和开放式发现的 AI 系统」。 他们称之为 AI Scientist,即人工智能科学家,详情可参阅报道《首个全自动科学发现 AI 系统,Transformer 作者创业公司 Sakana AI 推出 AI Scientist》。

日本增长最快独角兽即将诞生:人工智能公司 Sakana AI 成立一年后估值 1800 亿日元

据《朝日新闻》上周六报道,日本生成式 AI 初创公司 Sakana AI 即将获得一笔新的重大投资,这将使该公司估值达到约 1800 亿日元(约合 83 亿元人民币)。在全球 AI 投资大潮的推动下,这意味着日本将诞生一家新的“独角兽”企业。“独角兽”系估值超过 10 亿美元(约合 72.76 亿元人民币)的未上市企业。报道称,去年 7 月,谷歌的人工智能研究人员在东京成立了 Sakana AI 公司,该公司对生成文本和图像的 AI 基本模型进行了研究,其具有将现有模型相互交叉的“开创性”技术,从而创建出高性能的

离职谷歌的Transformer作者创业,连发3个模型(附技术报告)

去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。其中,Llion Jones 是谷歌 2017 年经典研究论文《Attention is all you need》的第五作者,该论文提出了深度学习架构 transformer。transformer 对整个机器学习领域产生了重要影响,并且是 ChatGPT 等生成式 AI 模型的基础。论文于 2017 年 6 月首次发表后,随着全球对生成人工智能人才竞争不断升温,论文作