在 AI 智能体这个领域，google DeepMind 又有了一项里程碑式研讨。
视频游玩是 AI 体系的重要试验场。与现实全国一样，游玩也是丰富的进修情况，具有反应灵敏的实时设置和不断变化的目标。
从早期与雅达利游玩的合作，到人类大师级水平的《星际争霸 II》体系 AlphaStar，google DeepMind 在人工智能和游玩领域陆续推出过不少影响力研讨。
刚刚，google宣布了又一项里程碑式研讨：SIMA（Scalable Instructable Multiworld Agent），一种适用于 3D 虚拟情况的通用 AI 智能体。
加州大学欧文分校助理教授 Roy Fox 表示，SIMA 让我们离自主智能体的「ChatGPT 时刻」又近了一步。
google DeepMind 研讨工程师 Tim Harley 表示：「想象有一天，我们可以让像 SIMA 这样的智能体与你和你的朋友一起玩游玩，而不是让你与超人智能体对抗。」
但目前的 AI 体系仍然没有接近人类水平。例如，在《无人深空》游玩中，AI 智能体只能完毕人类能完毕的 60% 的使命。当研讨人员取消人类发出 SIMA 指令的才能时，他们发现该智能体的表现比以前差了很多。
AI 已经不甘心只作 NPC 了
google与八家游玩工作室合作，在九款不同的视频游玩中对 SIMA 举行了训练和测试，包括《无人天空》、《拆迁（Teardown）》、《英灵神殿》和《模拟山羊 3》。
SIMA 产品组合中的每款游玩都是全新的互动全国，包括一系列必要进修的技能，从单一的导航和菜单应用，到开采资源、驾驶飞船或制作头盔。
同时，google还应用了四个研讨情况 — 包括应用 Unity 构建的一个名为「建筑实验室」的新情况。在这个实验室中，智能体必要用积木搭建雕塑，以测试对物体的操作才能以及对物理全国的直观理解。
然后，google在游玩组合中记录成对的人类玩家，其中一名玩家观察并指导另一名玩家，以捕获谈话指令。随后让玩家自由玩游玩，重新观察他们的行动，并记录下可能导致其游玩行动的指令。
所有这些都被提供给 SIMA ，以进修预测屏幕上接下来会发生什么。通过在不同的游玩全国进修，SIMA 捕捉到了谈话与游玩行动之间的联系。
「这项研讨标志着首次有 AI 智能体证明自己能够理解各种游玩全国，并能像人类一样按照自然谈话指令在游玩全国中执行使命。」google表示。
SIMA 并不只是一个由 AI 驱动的 NPC ，而是游玩中影响结果的另一个「玩家」。
google还指出，SIMA 的研讨并不是为了获得高分。对于 AI 体系来说，学会玩一款视频游玩固然是技术层面的重大突破，但学会在各种游玩情况中遵从指令，可以让 AI 智能体在任何情况中发挥更大的作用。
在技术报告中，google也展示了如何通过谈话界面将高级 AI 模型的才能转化为现实全国中有用的行动。
技术报告：
https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf
SIMA：通用 AI 智能体来了
SIMA 的组件包括预训练好的视觉模型，以及一个包含内存并输出键盘和鼠标操作的主模型，如下图所示。
具体来讲，SIMA 包含了一个专为精确图像谈话映射而设计的模型和一个预测屏幕上接下来会发生什么的视频模型。google根据 SIMA 产品组合中特定于 3D 设置的训练数据对这两个模型举行了微调。
下图为 SIMA 智能体架构细节。
作为一种 AI 智能体，google的 SIMA 可以感知和理解各种情况，然后采取行动来实现指定的目标。
重要的是，SIMA 既不必要访问游玩的源代码，也不必要定制的 API。它只必要两个输入：屏幕上的图像以及用户提供的单一自然谈话指令。SIMA 应用键盘和鼠标输出来控制游玩中的核心角色来执行这些指令。人类可以应用这个单一的界面，这意味着 SIMA 可以与任何虚拟情况举行交互。
下图为 SIMA 数据中的指令。
当前版本的 SIMA 通过 600 项基础技能举行评价，涵盖导航（例如「左转」）、对象交互（「爬梯子」）和菜单应用（「打开地图」）。
google训练 SIMA 执行单一使命，大约 10 秒内就能完毕。
SIMA 智能体的轨迹如下图所示。
google希望未来的智能体能够处理必要高级战略规划和多个子使命才能完毕的使命，例如「寻找资源和建立营地」。这是人工智能的一个重要目标，虽然大型谈话模型已经演化出了能够捕获全国知识并生成规划的强大体系，但它们目前缺乏代表人类采取行动的才能。
跨游玩的强泛化才能
google证明，受过多种游玩训练的智能体比仅进修如何玩一种游玩的智能体表现更好。
在google的评价中，SIMA 智能体在一组九个 3D 游玩上举行了训练，其表现显著优于仅在每个单独的游玩上举行训练的所有专业智能体。
更重要的是，平均而言，接受过除一款游玩之外的所有游玩训练的智能体在这个未见过游玩上的表现几乎与专门训练过的智能体一样好。因此，这种在全新情况中发挥作用的才能凸显了 SIMA 超越其训练的泛化才能。
google表示，这是一个很有潜力的初步结果，不过 SIMA 必要举行更多的研讨才能在见过和未见过游玩中达到人类水平。
此外，SIMA 的性能依赖于谈话。在控制测试中，智能体没有接受任何谈话训练或指令，它的行动方式虽适当但漫无目的。例如，智能体可能会收集资源（这是一种常见行动），而不是按照指令去走。
google评价了 SIMA 按照指令完毕近 1500 个具体游玩内（in-game）使命的才能，其中部分应用了人类裁判。作为基线比较，google应用情况专用 SIMA 智能体的性能（经过训练和评价以遵循单个情况中的指令）作为评价指标。
如下图所示，google与三种类型的通用 SIMA 智能体举行了比较，每种智能体都经过多个情况的训练。
未来，google期待在更多训练情况中进一步构建 SIMA，并纳入更强大的模型，从而提高 SIMA 对高级谈话指令的理解才能以实现更复杂的目标。当然，随着 SIMA「暴露」在更多的训练全国中，google希望它变得更加通用。
参考链接：
https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
https://www.technologyreview.com/2024/03/13/1089764/an-ai-that-can-play-goat-simulator-is-a-step-towards-more-useful-ai/
https://www.fastcompany.com/91058360/deepmind-new-ai-agent-video-games