OpenAI 昨日凌晨颁布 GPT-4o 模型,可以视为 GPT-4 的升级版本,可以实时推理处理音频、视觉和文本实质,而且能加倍无缝地和 ChatGPT 交互。
OpenAI 总裁兼联合创始人格雷格・布罗克曼(Greg Brockman)随后颁布了上手示范,让两台运行 GPT-4o 的设备进行语音或视频交互。
布罗克曼在示范开始之前,表达了自己的奢望:让两台 AI 谈天机器人互相交流。布罗克曼向其中 A 谈天机器人讲述了他的奢望,并让 B 谈天机器人可以挪用摄像头观察周围世界。
B 谈天机器人会挪用前置摄像头,并清晰地描绘出用户的穿着和所处的环境。然后 A 谈天机器人可以与它对话并提出问题,包括移动摄像头和它所看到的实质。
对话中,新版本 ChatGPT 不仅能通过视觉 AI 本领懂得摄像头中发生的事情,同时还能够将懂得的实质通过语音交互,进行加倍丰富有趣的互动,同时还支持中途打断和对话插入,且具备上下文记忆本领。IT之家附上示范视频如下: