AutoGPT 的得分也凉凉。
GPT-4 自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的尝试中只拿到了 15 分，而人类能拿 92。
这套名叫「GAIA」的尝试题由来自 Meta-FAIR、Meta-GenAI、HuggingFace 和 AutoGPT 的团队制作，提出了一些必要一系列基本才智才能解决的课题，如推理、多模态处理、网页扫瞄和一般对象运用才智。这些课题对人类来说非常复杂，但对大多数高级 AI 来说却极具挑战性。如果里面的课题都能解决，通关的模型将成为 AI 研究的重要里程碑。
GAIA 的安排理念和当前的很多 AI 基准不一样，后者往往倾向于安排一些对人类来说越来越难的恣意，这背后其实反映了当前社区对 AGI 理解的差异。GAIA 背后的团队认为，AGI 的出现取决于体系能否在上述「复杂」课题上表现出与普通人类似的稳健性。
图 1：GAIA 课题示例。实现这些恣意要求大模型具备一定推理、多模态或对象运用等基本才智。谜底是明确的，并且按照安排，不可能在训练数据的纯文本中找到谜底。有些课题带有额外的证据，例如图像，反映真实的用例并允许更好地控制课题。
尽管 LLM 能成功实现人类难以实现的恣意，但才智最强的 LLM 在 GAIA 上的表现却难以令人满意。即使配备了对象，GPT4 在最复杂的恣意中成功率也不超过 30%，而在最难的恣意中成功率为 0%。与此同时，人类受访者的平均成功率为 92%。
因此，如果一个体系能解决 GAIA 里的课题，我们就能在 t-AGI 体系中去评价它。t-AGI 是 OpenAI 工程师 Richard Ngo 构建的一套细化 AGI 评价体系，其中包括 1-second AGI、1-minute AGI、1-hour AGI 等等，用来考察某个 AI 体系能否在限定时间里实现人类通常花相同时间可以实现的恣意。作者表示，在 GAIA 尝试中，人类通常必要 6 分钟左右回覆最复杂的课题，17 分钟左右回覆最复杂的课题。
运用 GAIA 的方法，作者安排了 466 个课题及其谜底。他们发布了一个包含 166 个课题和谜底的开发者集，另外 300 个课题发布时不带谜底。该基准以排行榜的形式发布。
排行榜地址：https://huggingface.co/spaces/gaia-benchmark/leaderboard
论文地址：https://arxiv.org/pdf/2311.12983.pdf
HuggingFace 主页地址：https://huggingface.co/papers/2311.12983
GAIA 是什么
GAIA 是如何运作的？研究人员表示，GAIA 是用于尝试人工智能体系一般助理课题的基准。GAIA 试图规避此前大量 LLM 评价的不同缺陷。它由人类安排和注释的 466 个课题组成。这些课题基于文本，有的附带文件（例如图像或电子表格）。它们涵盖各种辅助性质的恣意，例如日常个人恣意、科学或常识。
这些课题指向一个简短的、单一的精确谜底，因此易于验证。
要运用 GAIA，只需向人工智能助手零样本提出课题并附上依据（如有的话）。在 GAIA 上获得完美得分必要一系列不同的基本才智。制作者在该项目的补充材料中提供了各种课题和元数据。
GAIA 的产生既源于升级人工智能基准的必要，也源于目前广泛观察到的 LLM 评价的缺点。
作者表示，安排 GAIA 的首要原则是针对概念上复杂的课题，它们尽管对人类来说可能很乏味，但又多种多样，植根于现实世界，对当前的人工智能体系具有挑战性。这使得我们可以专注于基本才智，例如通过推理快速适应、多模态理解和潜在的多样化对象运用，而不是专业技能方面。
这些课题通常包括查找和转换从不同来源（例如提供的文档或开放且不断变化的网络）收集的信息，以产生准确的谜底。要回覆图 1 的示例课题，LLM 通常应该扫瞄网络查找研究，然后寻找精确的注册位置。这与此前基准体系的趋势相反，以前的基准对人类来说越来越困难，和 / 或在纯文本或人工环境中操作。
GAIA 的第二个原则是可解释性。与题海相比，精心策划的课题数目有限，使得新基准更易于运用。该恣意概念复杂（人类成功率为 92%），运用户很容易理解模型的推理轨迹。对于图 1 中的 1 级课题，推理跟踪主要包括检查精确的网站，并报告精确的数字，这很容易验证。
GAIA 的第三个原则是对记忆的鲁棒性：GAIA 的目标是比大多数当前基准尝试的猜题可能性更低。为了实现一项恣意，体系必须计划好并成功实现一些方法。因为根据安排，当前预训练数据中没有以纯文本形式生成结果谜底。准确性的进步反映了体系的实际进步。由于它们的多样性和行动空间的大小，这些恣意不能在不作弊的情况下被暴力破解，例如通过记住基本事实。尽管数据污染可能导致额外的精确率，但谜底所需的准确性、谜底在预训练数据中的缺失以及检查推理轨迹的可能性减轻了这种风险。
相反，多项选择谜底使污染评价变得困难，因为错误的推理痕迹仍然可以得出精确的选择。如果尽管采取了这些缓解措施，还是发生了灾难性记忆课题，那么运用作者在论文中提供的指南很容易安排新课题。
图 2.：为了回覆 GAIA 中的课题，GPT4（配置了代码解释器）等 AI 助手必要实现几个方法，可能必要运用对象或读取文件。
GAIA 的最后一个原则是易用性。其中的恣意是复杂的提示，可能会附带一个附加文件。最重要的是，课题的谜底是事实、简洁且明确的。这些属性允许复杂、快速和真实的评价。课题旨在尝试 zero-shot 才智，限制评价设置的影响。相反，许多 LLM 基准要求对实验设置敏感的评价，例如提示的数目和性质或基准实现。
现有模型的跑分
GAIA 的安排使得大模型智能水平的评价自动化、快速且真实。实际上，除非另有说明，每个课题都必要一个谜底，该谜底可以是字符串（一个或几个单词）、数字或逗号分隔的字符串或浮点数列表，但只有一个精确谜底。因此，评价是通过模型的谜底和基本事实之间的准精确匹配来实现的（直到与基本事实的「类型」相关的某种归一化）。体系（或前缀）提示用于告知模型所需的格式，请参见图 2。
实际上，GPT4 级别模型很容易遵循 GAIA 的格式。GAIA 已提供了评分功能和排行榜。
目前只尝试了大模型领域的「标杆」，OpenAI 的 GPT 系列，可见不管哪个版本分数都很低，Level 3 的得分还经常是零分。
运用 GAIA 评价 LLM 只必要能够提示模型，即有 API 访问权限即可。在 GPT4 尝试中，最高分数是人类手动选择插件的结果。值得注意的是，AutoGPT 能够自动进行此选择。
只要 API 可用，尝试时就会运行该模型 3 次并报告平均结果。
图 4：每种方法和级别的分数和回覆时间。
总体而言，人类在问答中的各个层面都表现出色，但目前最好的大模型显然表现不佳。作者认为，GAIA 可以对有才智的 AI 助手进行清晰的排名，同时在未来几个月甚至几年内留下很大的改进空间。
不过从回覆花费的时间上来看，像 GPT-4 这样的大模型有潜在的可以替代现有搜索引擎的才智。
没有插件的 GPT4 结果与其他结果之间的差异表明，通过对象 API 或访问网络来增强 LLM 可以提高谜底的准确性，并解锁许多新的用例，这证实了该研究方向的巨大潜力。
AutoGPT-4 允许 GPT-4 自动运用对象，但与没有插件的 GPT4 相比，Level 2 甚至 Level 1 的结果都令人失望。这种差异可能来自 AutoGPT-4 依赖 GPT-4 API（提示和生成参数）的方式，并且在不久的将来必要进行新的评价。与其他 LLM 相比，AutoGPT4 也很慢。总体而言，人类和带有插件的 GPT-4 之间的协作似乎是「性能」最好的。
图 5 显示了按功能划分的模型获得的分数。显然，单纯的 GPT-4 无法处理文件和多模态，但能够解决注释者运用网页扫瞄的课题，主要是因为它精确地记忆了必要组合的信息片段以获得谜底。
图 3 左：解决 GAIA 中课题必要运用的才智的数目。右：每个点对应一个 GAIA 课题。在给定位置，点的大小与课题数目成正比，并且仅显示课题数目最多的级别。这两个数字都是基于人类注释者在回覆课题时报告的信息，人工智能体系的处理方式可能会有所不同。
在 GAIA 上获得完美得分必要 AI 具备先进的推理、多模态理解、编码才智和一般对象运用才智，例如网页扫瞄。AI 还包括必要处理各种数据模态，例如 PDF、 电子表格，图像、视频或音频。
尽管网页扫瞄是 GAIA 的关键组成部分，但我们不必要 AI 助手在网站上执行除「点击」之外的操作，例如上传文件、发表评论或预订会议。在真实环境中尝试这些功能，同时避免制造垃圾信息必要谨慎，这个方向会留在未来的工作中。
难度递增：根据解决课题所需的方法以及回覆课题所需的不同对象的数目，可以将课题分为三个难度递增的级别。方法或对象自然没有单一的定义，并且可能有多种路径来回覆给定的课题。
Level 1 课题一般不必要对象，或者最多一个对象但不超过 5 个方法。
Level 2 课题通常涉及更多方法，大约在 5-10 步之间，并且必要结合不同的对象。
Level 3 是针对近乎完美的通用助理的课题，要求采取任意长的行动序列，运用任意数目的对象，并能够接触到真实世界。
GAIA 针对现实世界的 AI 助理安排课题，安排中的课题还包括面向残障人士的恣意，如在小音频文件中查找信息。最后，该基准尽最大努力涵盖各种主题领域和文化，尽管数据集的语言仅限于英语。
更多细节请参考原论文。