长期以来，游玩一直是 AI 进步的试验场——从深蓝战胜国际象棋大师 Garry Kasparov，到 AlphaGo 对围棋的精通程度超越人类，再到 Pluribus 在扑克比赛中击败最厉害的玩家。但真正有用的、全能的智能体不能仅仅只会完棋盘游玩、移动移动棋子。有人不禁会问：我们能否建立一个更有效、更灵活的智能体，使其不妨像人类一样使用说话进行谈判、说服并与人互助，以实现策略标的?
在游玩的历史上，存在一款经典的桌面游玩 Diplomacy，很多人在第一次看到该游玩时，都会被它地图式的棋盘吓一跳。以为它是一个复杂的战争游玩。其实不然，这是一款需要调动说话争取盟友的游玩，迁涉到决策与谈判协商，玩者之间有大量的交换，赢得游玩的关键在人与人之间的互动。
现在 Meta 向这一游玩发起了应战，他们构建的智能体 CICERO，成为首个在 Diplomacy 中达到人类水平的 AI。CICERO 通过在在线版本 webDiplomacy.net 上证明了这一点，其中 CICERO 的平均得分是人类玩家的两倍多，并且在玩过不止一场游玩的参与者中排名前 10%。
论文地址：https://www.science.org/doi/10.1126/science.ade9097
主页地址：https://ai.facebook.com/research/cicero/diplomacy/
几十年来，Diplomacy 一直被视为 AI 领域中不可逾越的巨大应战，因为这款游玩要求玩家理解他人的动机和观点，需要拟定复杂方案，调整政策，并在此基础上使用自然说话与他人达成协议，说服别人结成伙伴关系和联盟等。这些对智能体来说还是比较困难的，而 CICERO 在使用自然说话与 Diplomacy 玩家进行谈判方面还是非常有效的。
与国际象棋和围棋不同的是，Diplomacy 是一款关于人而不是棋子的游玩。如果智能体无法识别对手是在虚张声势，还是真正的发起攻击，它就会很快输掉比赛。同样，如果智能体不能像人一样交换，表现出同理心，与别人建立关系，对游玩侃侃侃谈——它就找不到其他愿意与它互助的玩家。
Meta 的这项研究将策略推理（如 AlphaGo、Pluribus）与自然说话处理（ 例如 GPT-3、 BlenderBot 3、LaMDA、OPT-175B）进行了结合。例如，在游玩后期，CICERO 推断出它将需要一个特定玩家的支持，然后 CICERO 会拟定一个政策来赢得这个人的青睐。
如何构建 CICERO
CICERO 的核心是一个可控的对话模型和一个策略推理引擎。在游玩的每一点，CICERO 都会查看 game board 及其对话历史，并对其他玩家可能采取的行径进行建模。然后拟定方案来控制说话模型，将它的方案告知其他玩家，并为与他们协调良好的其他玩家提出合理的行径建议。
可控对话
为了构建一个可控对话模型，Meta 从一个具有 27 亿参数的类 BART 说话模型开始，并在来自互联网的文本上进行了预训练，还在 webDiplomacy.net 上对 40000 多个人类游玩进行了微调。
实现过程主要分为以下几步：
Step 1：根据 board state 和当前对话，CICERO 对每个人将做出什么给出初步猜测。
Step 2：CICERO 迭代地改进初步猜测，然后使用改进猜测为自己和互助伙伴形成一个企图。
Step 3：根据 board state、对话和企图生成多条候选消息。
Step 4：过滤候选消息，最大化值，并确保彼此之间的企图一致。
研究者利用一些过滤机制进一步提高对话质量，比如用训练过的分类器来区分人类和模型生成的文本以确保——对话是合理的，与当前游玩状态和以前的信息一致，并且在策略上是合理的。
对话意识策略和规划
在涉及互助的游玩中，智能体需要学会模拟人类在现实生活中实际会做什么，而不是将人类看作机器，让智能体指挥他们应该做什么。因此，Meta 希望 CICERO 拟定的方案与其他参与者的对话保持一致。
人类建模的经典方法是监督学习，即用标记的数据（如过去游玩中人类玩家的行径数据库）来训练智能体。然而，纯粹依靠监督学习来选择基于过去对话的行径，会导致智能体相对较弱，而且很容易被利用。例如，一个玩家可以告诉智能体「我很高兴我们同意你将把你的部队从巴黎移走！」由于类似的信息只有在达成协议时才会出现在训练数据中，因此智能体可能真的会将其部队调离巴黎，即使这样做是一个明显的策略失误。
为了解决这个问题，CICERO 运行一个迭代规划算法，以平衡对话的一致性和合理性。智能体首先根据它与其他玩家的对话猜测每个人在当前回合的政策，同时也猜测其他玩家认为智能体的政策将会是什么。然后，它将运行名为「piKL」的规划算法，该算法通过尝试选择在其他玩家猜测的政策下具有更高期望值的新政策，来迭代改进这些猜测，同时也尝试使新的猜测接近于原始政策猜测。研究者发现，与单纯的监督学习相比，piKL 能更好地模拟人类游玩，并为智能体带来更好的政策。
生成自然的、目的型的对话
在 Diplomacy 中，玩家如何与他人交谈甚至比他们如何移动棋子更重要。CICERO 在与其他玩家拟定策略时，不妨清楚地、有说服力地交换。例如，在一个 demo 中，CICERO 要求一个玩家立即在棋盘的某个部分提供支持，同时向另一个玩家施加压力让其在游玩的后期考虑结盟。
交换中，CICERO 试图通过向三个不同的玩家提出行径建议来执行其策略。在第二次对话中，智能体不妨告诉其他玩家为什么他们应该互助，以及它将如何对双方有利。在第三次对话中，CICERO 既在征求信息，也在为未来的行径打下基础。
不足之处
必须承认，CICERO 有时也会产生不一致的对话，从而破坏其标的。在下面的例子中，CICERO 扮演的是奥地利，但智能体要求意大利转移到威尼斯，与它的第一个信息相矛盾。
让「Diplomacy」推进人类与 AI 互动的沙盒
在一个既涉及互助又涉及竞争的游玩中，出现了以标的为导向的对话系统，对于使 AI 与人类的企图和标的相一致方面，这提出了重要的社会和技术应战。「Diplomacy」为研究这个问题提供了一个特别有趣的环境，因为玩这个游玩需要与冲突的标的搏斗，并将这些复杂的标的转化为自然说话。举个简单的例子，玩家可能会选择在短期利益上做出妥协来维持和一个盟友的关系，因为这个盟友有可能在下一回合帮助他们进入一个更好的位置。
虽然 Meta 在这项工作中取得了重大进展，但将说话模型与具体企图有力地结合起来的能力，以及决定这些企图的技术（和规范）应战仍然是重要的问题。通过开源 CICERO 代码，Meta 希望 AI 研究人员不妨以负责任的方式继续在这一工作基础上发展。团队表示：「通过使用对话模型进行零样本分类，我们已经在这个新领域中迈出了检测和删除有害信息的早期步骤。我们希望「Diplomacy」可以作为一个安全的沙盒来推进人与 AI 互动的研究。」
未来方向
虽然目前 CICERO 只不妨玩 Diplomacy 游玩，但这一成就背后的技术与许多现实世界的应用有关。例如，通过规划和 RL 控制自然说话的生成，可以缓解人类和 AI 驱动的智能体之间的沟通障碍。
例如，今天的人工智能助手擅长回答简单的问题，比如告诉你天气，但如果他们能保持长期的对话，以教你一个新技能为标的呢？
另外，想象一个视频游玩，其中 NPC 可以像人一样方案和交谈—理解你的动机并相应地调整对话，帮助你完成攻打城堡的任务。
这些「梦想」，未来或许都能走进现实。
原文链接：https://ai.facebook.com/blog/cicero-ai-negotiates-persuades-and-cooperates-with-people/