编辑 | ScienceAI
还记得 2024 年 8 月 Sakana AI 发布的 AI Scientist 吗？全球首个用于自动化科学研究和开放式发现的 AI 系统。
如今它已经进化到了 AI Scientist-v2 版本，并且它生成的论文几乎达到被 AI 顶会接收的水平了！
AI Scientist-v2 生成的这篇论文题为《Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization》，在 ICLR 2025 上拿到了 6/7/6 的同行评审分数。
什么水平呢，就是超过了平均接受阈值，优于许多人类撰写的论文。这也是首篇完全由 AI 生成且通过顶级机器学习会议研讨会同行评审的学术论文。
图示：这篇论文由 AI Scientist-v2 完成。论文投稿至 ICLR 2025 workshop，经 workshop 同意与 Sakana AI 团队合作，对 AI 生成的论文进行双盲评审实验。(来源：Sakana AI)
今天，推出 AI Scientist 的开发团队——人工智能初创公司 Sakana AI 发布了AI Scientist-v2 的技术报告《The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search》，并开源了其代码。
技术报告：https://pub.sakana.ai/ai-scientist-v2/paper/paper.pdf
开源代码：https://github.com/SakanaAI/AI-Scientist-v2
AI Scientist-v2 的技术创新
AI Scientist-v2 相比于 AI Scientist-v1 有许多创新。最显著的改进是朝着更大的自主性和泛化方向发展，启动更通用的想法生成阶段，并消除对固定的、人工编写的实验模板代码的依赖。这个过程从广义的想法生成开始，产生一个初始概念，然后将其输入到实验阶段。
图示：AI Scientist-v2工作流。本工作流程包含多个阶段，涵盖：自动化创意生成、实验执行、图表可视化、论文撰写、评审环节。（来源：技术报告）
为了实现这一点，Sakana AI 团队在实验阶段引入了两个关键特性：粗粒度实验管理和基于智能体树搜索的探索。并且，他们将视觉语言模型 (VLM) 集成到实验和评审阶段。同时，研究人员简化了稿件撰写阶段，将 AI Scientist-v1 中基于 Aider 的增量式迭代写作方法替换为更简单的单次生成，并随后进行由 GPTo1 等推理模型驱动的独立反思阶段。具体而言：
1、生成更普通更基础的想法
AI Scientist-v2 的一个关键概念转变在于研究创意生成方法的革新。与前代系统主要侧重于基于现有代码库提出增量式修改或扩展不同，AI Scientist-v2 采用了从更高抽象层次开始的流程。该系统鼓励对潜在的研究方向、假设和实验设计进行更开放的思考，类似于在确定具体实施方案之前制定研究摘要或资助提案。
这种方法鼓励探索潜在的更新颖或更基础的想法，而不是受限于现有代码的结构和主题。它更符合研究人员通常构建更广阔研究愿景的方式：从抽象概念入手，评估其新颖性和可行性，然后再深入研究具体实现。
至关重要的是，这个广义的创意生成阶段将文献综述工具（例如 Semantic Scholar）整合到循环中。该系统可以在创意形成过程中查询文献数据库，以评估所提概念的新颖性并识别相关的先前研究。这使得研究人员能够更明智地决定是否要选择特定的研究途径，确保创意从一开始就立足于现有的科学领域，而不是仅仅依赖于事后检验。
2、消除模板依赖
在改进的创意生成阶段之后，AI Scientist-v2 继续进行实验。除了代码调节的创意生成之外，AI Scientist-v1 还依赖预定义的模板代码作为起始基线实现。LLM 驱动的代码更改随后仅限于顺序代码调整。该策略提高了系统的灵活性和自主性。
（1）实验进度管理：现实世界中的科学实验通常会经历不同的阶段，从最初的可行性评估到详细的消融分析。为了模拟这种结构化方法，该团队引入了一个实验进度管理智能体，用于协调科学实验的四个明确定义的阶段：初步调查、超参数调优、研究议程执行、消融研究。
（2）并行智能体树搜索：AI Scientist-v1 严格线性运行，每次代码改进都直接建立在前一次实验的基础上。相比之下，AI Scientist-v2 采用了更加灵活和探索性的方法，研究人员将这种智能体树搜索方法融入前文提到的四个实验阶段中，从而能够更深入、更系统地探索科学假设。
图示：AI Scientist-v2基于树的实验多阶段工作流。（来源：技术报告）
3、使用了 Hugging Face 中的数据集
在 AI Scientist-v2 中，该团队尽可能地让系统利用 Hugging Face Hub，并使用标准的单行函数 (datasets.load_dataset) 自动下载所需的数据集。虽然这种标准化方法极大地简化了数据集处理。不过，研究人员也承认它在某种程度上是临时性的，因为并非所有数据集存储库都支持这种方法。
4、视觉语言模型「评审员」
与未利用视觉语言模型 (VLM) 的 AI Scientist-v1 不同，AI Scientist-v2 在工作流程的两个阶段整合了 VLM：
首先，在基于树的实验阶段，VLM 会对生成的图表提供即时反馈，确保这些可视化效果能够有效、准确地传达实验结果。其次，在稿件撰写反思阶段，VLM 会评估图表及其说明，从而提升最终论文的视觉清晰度和连贯性。
在论文撰写过程中，他们会提取图表的屏幕截图及其标题，以及引用这些图表的论文中的相应文本。这些图像和文本参考随后会被提供给 VLM，VLM 会执行多项质量检查，包括验证图表和标题之间的对齐方式、识别视觉清晰度问题（例如，图例缺失、标签不清晰），以及检测正文和附录中图表的潜在重复。
该团队通过 VLM 反馈的迭代集成，显著提升了 AI Scientist-v2 生成的稿件的视觉质量和清晰度。
对 AI Scientist-v2 生成论文的评估
图示：由 AI Scientist-v2 生成的同行评审 ICBINB 研讨会论文。（来源：技术报告）
Sakana AI 团队与 ICLR 研讨会组织者合作，提交了 3 篇完全由 AI Scientist-v2 生成的论文进行双盲同行评审。评审人未被告知论文来源。
AI Scientist-v2 实现了端到端的自主科研流程，包括：研究假设提出、实验设计、代码编写、实验执行、数据分析、图表生成以及完整论文撰写（标题至参考文献）。研究团队仅提供宽泛的研究方向，并从 AI 生成的多篇论文中筛选了 3 篇提交。
评审结果显示，在提交的三篇论文中，有两篇未达到接收标准。其中一篇论文的平均得分为 6.33（6/7/6，其中 6 分为略高于接受阈值，7 分为优秀），在所有提交论文中排名约 45%。这些分数超过平均接受阈值，表现优于部分人类撰写的论文。
图示：评审结果。(来源：Sakana AI)
相关内容：https://github.com/SakanaAI/AI-Scientist-ICLR2025-Workshop-Experiment
AI Scientist 的未来
AI Scientist 的研究团队 Sakana AI，是最后一位从谷歌离职的 Transformer 论文作者 Llion Jones 与前谷歌研究人员 David Ha 共同创立的人工智能公司。Sakana AI 旨在创建一种基于自然启发智能的新型基础模型。
图示：Sakana AI的两位创始人——左为Llion Jones，右为David Ha。(来源：Sakana AI)
去年 8 月，Sakana AI 推出了第一代 AI Scientist，到 12 月份，他们又拿出了另一项重磅研究成果：使用基础模型搜索人工生命的系统 ASAL，旨在自动发现新的人工生命形式。
现在，AI Scientist-v2 又用生成通过同行评审的学术论文交上了一份新的答卷。
这些进步预示着下一代 AI Scientist 将开启科学的新纪元。这仅仅是个开始，科学家预计人工智能的能力将持续提升，甚至可能以指数级的速度增长。
在未来的某个时刻，人工智能很可能能够产出与人类水平相当甚至超越人类水平的论文，甚至在最高水平的科学出版领域也是如此。
SakanaAI 团队在论文里表示：「最重要的不仅仅是人工智能科学与人类科学的比较，而是它的发现是否有助于人类的繁荣发展，例如治愈疾病或扩展我们对宇宙规律的认识。」
