英国约克大学研究员 Adrian de Wynter 近日发表研究论文《Will GPT-4 Run DOOM?》，探讨了如何让 GPT-4V 模型来玩《覆灭兵士》游玩。de Wynter 为此安排了一个零碎，使用 GPT-4V（GPT4 的多模态衍生版本，可以接收图像作为输出）捕捉游玩引擎的画面截图，并返回游玩状态的结构化描述。他安排了一个 Agent 模型，根据视觉输出信息，并对比此前历史记录作出决议计划，并将其反应转移为《覆灭兵士》游玩可以懂得的按键饬令。简单地说，零碎会截取游玩截图，并使用这些截图找出游玩中发生
英国约克大学研究员 Adrian de Wynter 近日发表研究论文《Will GPT-4 Run DOOM?》，探讨了如何让 GPT-4V 模型来玩《覆灭兵士》游玩。
de Wynter 为此安排了一个零碎，使用 GPT-4V（GPT4 的多模态衍生版本，可以接收图像作为输出）捕捉游玩引擎的画面截图，并返回游玩状态的结构化描述。
他安排了一个 Agent 模型，根据视觉输出信息，并对比此前历史记录作出决议计划，并将其反应转移为《覆灭兵士》游玩可以懂得的按键饬令。
简单地说，零碎会截取游玩截图，并使用这些截图找出游玩中发生的事情。然后，它使用零碎的另一部分，即代理模型，来决定游玩的下一步行动。Agent 模型将其决议计划转移为游玩可以懂得的饬令，比如按哪个键。
根据测试结果，目前 GPT-4V 运行《覆灭兵士》游玩消失几个问题：
GPT4 缺乏对象永久性，这意味着游玩中的敌人没有出现在屏幕画面中，它会忘记他们。
GPT4 在推理和清晰解释自己的行为方面也很费劲，经常提供错误信息。
尽管消失这些局限性，但 de Wynter 认为，GPT4 能够在没有事先训练的情况下玩 DOOM，这一点非常了不起。
IT之家附上论文参考
WILL GPT-4 RUN DOOM?