基于 ADAS 所发现的智能体的性能大大优于最先进的手工设计的基线。
基础模型 (FM) 如 GPT 和 Claude ，正在成为通用智能体的强有力支持，被越来越多的用于多种推理和规划任务。
然而，在解决问题时，需要的智能体通常是具有多个组件的复合智能体系统，而不是单片模型查询 。此外，为了使智能体能够解决复杂的现实世界任务，它们通常需要访问外部工具，例如搜索引擎、代码执行和数据库查询。
因此，人们提出了许多有效的智能体系统构建块，例如思维链规划和推理、记忆结构、工具使用和自我反思。尽管这些智能体已经在各种应用中取得了显著的成功，但开发这些构建块并将它们组合成复杂的智能体系统通常需要特定领域的手动调整以及研究人员和工程师的大量努力。
然而，机器学习的历史告诉我们，手工设计的解决方案最终会被模型学习到的解决方案所取代。
本文，来自不列颠哥伦比亚大学、非营利人工智能研究机构 Vector Institute 等的研究者制定了一个新的研究领域，即智能体系统的自动化设计（ADAS，Automated Design of Agentic Systems），并提出了一种简单但有效的 ADAS 算法，名为元智能体搜索（Meta Agent Search），以证明智能体可以通过代码编程来发明新颖而强大的智能体设计。
该研究旨在自动创建强大的智能体系统设计，包括开发新的构建块并以新的方式组合它们。
实验表明，基于 ADAS 所发现的智能体的性能大大优于最先进的手工设计的基线。例如，本文设计的智能体在 DROP 的阅读理解任务中将 F1 分数提高了 13.6/100（与基线比），在 MGSM 的数学任务中将准确率提高了 14.4%。此外，在跨域迁移后，它们在 GSM8K 和 GSM-Hard 数学任务上的准确率分别比基线提高了 25.9% 和 13.2%。
与手工设计的解决方案相比，本文算法表现出色，这说明 ADAS 在自动化智能体系统设计方面的潜力。此外，实验表明，所发现的智能体不仅在跨相似领域迁移时表现良好，而且在跨不同领域迁移时也表现出色，例如从数学到阅读理解。
论文地址：https://arxiv.org/pdf/2408.08435
项目地址：https://github.com/ShengranHu/ADAS
论文主页：https://www.shengranhu.com/ADAS/
论文标题：Automated Design of Agentic Systems
新研究领域：智能体系统的自动化设计（ADAS）
该研究提出了一个新的研究领域 —— 智能体系统的自动化设计（Automated Design of Agentic Systems，ADAS），并描述了 ADAS 算法的三个关键组成部分——搜索空间、搜索算法、评估函数。ADAS 使用搜索算法跨搜索空间来发现智能体系统。
搜索空间：搜索空间定义了哪些智能体系统可以在 ADAS 中被表征并被发现。例如，像 PromptBreeder (Fernando et al., 2024) 这样的工作仅改变智能体的文本提示，而其他组件（例如控制流）保持不变。因此，在搜索空间中，无法表征具有与预定义控制流不同控制流的智能体。
搜索算法：搜索算法定义了 ADAS 算法如何探索搜索空间。由于搜索空间通常非常大甚至无界，因此应考虑探索与利用的权衡（Sutton & Barto，2018）。理想情况下，该算法既可以快速发现高性能智能体系统，又可以避免陷入局部最优。现有方法包括使用强化学习（Zhuge et al., 2024）或迭代生成新解决方案的 FM（Fernando et al., 2024）作为搜索算法。
评估函数：根据 ADAS 算法的应用，可能需要考虑不同的优化目标，例如智能体的性能、成本、延迟或安全性。评估函数定义如何评估候选智能体的这些指标。例如，为了评估智能体在未见过的数据上的表现，一种简单的方法是计算任务验证数据的准确率。
该研究提出的简单但有效的 ADAS 算法——元智能体搜索的核心概念是指示元智能体迭代地创建有趣的新智能体，评估它们，将它们添加到智能体存储库中，并使用此存储库帮助元智能体在后续迭代中创建更有趣的新智能体。与现有的利用人类兴趣概念的开放式算法类似，该研究鼓励元智能体探索有趣的、有价值的智能体。
元智能体搜索的核心思想是采用 FM 作为搜索算法，基于不断增长的智能体存储库来迭代编程有趣的新智能体。该研究为元智能体定义了一个简单的框架（100 行代码以内），为其提供了一组基本功能，例如查询 FM 或格式化提示。
因此，元智能体只需要编写一个「前向」函数来定义一个新的智能体系统，类似于 FunSearch 中的做法（Romera-Paredes et al., 2024）。该函数接收任务信息并输出智能体对任务的响应。
如图 1 所示，元智能体搜索的核心思想是让元智能体在代码中迭代地编程新的智能体。下面显示了元智能体程序新智能体程序的主要提示，其中提示中的变量高亮显示。
实验
所有实验结果表明本文发现的智能体大大优于基线最先进的手工设计的智能体。值得注意的是，该研究发现的智能体在 DROP 阅读理解任务上比基线提高了 13.6/100（F1 分数），在 MGSM 数学任务上比基线提高了 14.4%（准确率）。此外，研究者发现的智能体在从 GPT-3.5 迁移到 GPT-4 后，在 ARC 任务上的表现比基线提高了 14%（准确率），在从 MGSM 数学任务迁移到 GSM8K 和 GSM-Hard 中的 held-out 数学任务后，准确率分别提高了 25.9% 和 13.2%。
案例研究：ARC 挑战
如图 3a 所示，元智能体搜索可以有效且逐步地发现性能优于最新手工设计的智能体。文本框中突出显示了重要的突破。
此外，图 3b 显示了发现最好的智能体，其中采用了复杂的反馈机制来更有效地细化答案。仔细观察搜索进度就会发现，这种复杂的反馈机制并不是突然出现的。
推理和问题 – 解决域
跨多个域的结果表明，元智能体搜索可以发现表现优于 SOTA 手工设计的智能体（表 1）。
泛化性以及可迁移性
研究者进一步展示了所发现智能体的可迁移性和可泛化性。
如表 2 所示，研究者观察到搜索到的智能体（searched agent）始终优于手工设计的智能体，并且差距很大。值得注意的是，研究者发现 Anthropic 最强大的模型 Claude-Sonnet 在所有测试模型中表现最佳，使基于该模型的智能体在 ARC 上实现了近 50% 的准确率。
如表 3 所示，研究者观察到元智能体搜索的性能与基线相比具有类似的优势。值得注意的是，与基线相比，本文的智能体在 GSM8K 和 GSM-Hard 上的准确率分别提高了 25.9% 和 13.2%。
更令人惊讶的是，研究者观察到在数学领域发现的智能体可以迁移到到非数学领域（表 4）。
