AIxiv专栏是机器之心颁布学术、技术实质的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇实质，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
徐海洋，阿里通义实验室高级算法专家，负责通义多模态大模型mPLUG系列工作，包括基础多模态模型mPLUG/mPLUG-2，多模态对话大模型mPLUG-Owl/Owl2，多模态文档大模型mPLUG-DocOwl，多模态智能体Mobile-Agent等，其中 mPLUG 工作在 VQA 榜单首超人类的成绩。在国际顶级期刊和会议ICML/CVPR/ICCV/ACL/EMNLP/MM/TOIS/IJCAI/AAAI等发表论文30多篇，并担任多个顶级和会议AC/PC/Reviewer。主导参与开源项目mPLUG，X-PLUG，AliceMind，DELTA。
今年年初颁布的Mobile-Agent凭借强大的自动化手机操纵能力，引起了AI界和手机厂商的广泛关注，仅5个月的时间就已在Github上收获了2,000个Star。
Mobile-Agent基于纯视觉方案，通过视觉感知工具和操纵工具实现智能体在手机上的操纵，而不依赖其他系统级别的UI文件。借助智能体中枢模型强大的操纵能力，Mobile-Agent无需训练和探索，能够实现即插即用。
近日，该团队完毕了Mobile-Agent版本更新，颁布了Mobile-Agent-v2，并宣称有几大亮点：
继续保留纯视觉方案；
多智能体协作的架构；
更强的工作拆解、跨运用操纵和多语言能力。
目前，Mobile-Agent-v2的论文和代码均已颁布。
论文链接：https://arxiv.org/abs/2406.01014
代码链接：https://github.com/X-PLUG/MobileAgent
除此之外，Mobile-Agent-v2也已经接入到魔搭的ModelScope-Agent中，可以通过下面的链接了解详细实质：
实质链接：https://github.com/modelscope/modelscope-agent
从魔搭团队公布的演示视频来看，ModelScope-Agent已经可以通过调用Mobile-Agent-v2可以完毕自动化打车工作。用户只需要把目的地输入给Agent，便能够实现规划、决议和深思的流程来帮用户完毕叫车，适用于老人及视障人群，解决他们不会使用或者无法使用手机APP的问题。
作者团队同样公布了Mobile-Agent-v2在手机上实操的演示视频。首先是一个跨运用操纵的例子。用户需要Mobile-Agent-v2查看聊天软件中的未读动静，然后按照动静的要求完毕工作。
Mobile-Agent-v2先根据指令要求打开了WhatApps并查看了来自「Ao Li」的动静，动静中要求在TikTok中找一个宠物相关的视频并分享给他。Mobile-Agent-v2随后退出当前运用并进入TikTok中刷视频，在找到一个宠物猫的视频后通过点击分享按钮将视频链接成功发送给「Ao Li」。
下面是一个在交际媒体运用中的例子。用户要求Mobile-Agent-v2在X（推特）中搜索名人「马斯克」，关注他并谈论一条他颁布的帖子。由于交际媒体运用往往文字较多，UI布局复杂，因此操纵难度较大。而从视频中可以看出，Mobile-Agent-v2准确地完毕了每一步的操纵，尤其是点击关注之后出现的推荐用户挡住了原本的推文，而Mobile-Agent-v2也执行了上划操纵并完毕谈论。 
随后是在同样复杂的长视频平台YouTube操纵的例子。从上述演示视频来看，Mobile-Agent-v2对于交际媒体和视频平台的操纵能力十分惊艳，有成为新一代控评机器人的潜力。 
另外，在初代Mobile-Agent中评测的那些相对基础的工作，例如安装运用、导航去某个地点等，Mobile-Agent-v2也能完毕。 
最后则是在中文运用小红书和微信的例子，包括在小红书中搜索攻略并谈论，以及帮助用户回微信。Mobile-Agent-v2可以根据帖子的实质颁布相关的谈论，也能根据微信动静的实质生成相关的回复。 
下面将介绍Mobile-Agent-v2的技术实现。在手机操纵工作中，智能体通常需要通过多步操纵才能完毕工作要求。每次操纵时，智能体都需跟踪当前工作进度，即了解之前的操纵完毕了哪些需求，从而根据用户指令推断下一步的操纵意图。
尽管操纵汗青中保存了每一步的具体操纵和相应的屏幕状态，但随着操纵次数的增加，操纵汗青序列会变得越来越长。操纵汗青的冗长且图文交错的格式，会显著增加智能体跟踪工作进度的难度。
如下图所示，经过7轮操纵后，输入的操纵汗青序列长度已超过一万个token，图文交错的数据格式使得智能体跟踪工作进度变得异常困难。
为了解决这个问题，Mobile-Agent-v2引入了规划智能体，其角色如图所示。这个智能体会为操纵智能体提供工作进度，将冗长的操纵汗青转化为纯文本。然而，虽然规划智能体简化了工作跟踪，但也导致屏幕信息的丢失，使得决议智能体无法从汗青屏幕中获取工作相关的信息。
例如，在某些工作中，智能体需要查看天气并撰写穿衣指南，而生成指南时，需要利用汗青屏幕中的天气信息。为此，Mobile-Agent-v2引入记忆单元，决议智能体负责更新这些单元内的工作相关信息。此外，由于决议智能体无法直接观察操纵后的屏幕信息，Mobile-Agent-v2还加入了深思智能体，负责监测决议智能体操纵前后的屏幕状态变化，并判断操纵的正确性。
在这篇论文中，作者采用了动态评估方法，选择了五个系统内置运用和五个第三方运用，分别在英文和非英文运用上进行测试。每个运用设计了两条基础指令和两条进阶指令。同时，针对跨运用操纵也设计了两条基础指令和两条进阶指令。评估结果如表所示，涵盖了英文和非英文场景。
从结果中可以看出，无论在英文还是非英文场景，Mobile-Agent-v2在基础指令和进阶指令的多个指标上都表现出了全面提升。此外，通过人为引入额外的操纵知识（Mobile-Agent-v2 + Know.），性能得到了进一步提升。
作者在文章中展示了消融实验的结果，如下表所示，在去除规划智能体、决议智能体和记忆单元后，整个智能体的性能都出现了下降。
如下图所示，通过分析操纵失败的工作，作者发现Mobile-Agent的失败操纵大量集中在工作的后期，而Mobile-Agent-v2的失败操纵则较为平均分布。这表明Mobile-Agent-v2能够更有效地应对长序列带来的问题。
最后，文章展示了一个完整的操纵流程和一个成功深思的例子，其中包含每个角色的输出。更多的例子展示在原论文的最后部分。
