智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统。
感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测,无需扩散模型或组合方法,即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统

在图像生成任务中,基于人类偏好评测,Emu3 优于 SD-1.5 与 SDXL 模型。在视觉语言理解任务中,对于 12 项基准测试的平均得分,Emu3 优于 LlaVA-1.6。在视频生成任务中,对于 VBench 基准测试得分,Emu3 优于 OpenSora 1.2。

智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

据介绍,Emu3 提供了一个强大的视觉 tokenizer,能够将视频和图像转换为离散 token。这些视觉离散 token 可以与文本 tokenizer 输出的离散 token 一起送入模型中。与此同时,该模型输出的离散 token 可以被转换为文本、图像和视频,为 Any-to-Any 的任务提供了更加统一的研究范式。

智源发布原生多模态世界模型 Emu3,宣称实现图像、文本、视频大一统

▲ Emu3 生成的图像

Emu3 研究结果证明,下一个 token 预测可以作为多模态模型的一个强大范式,实现超越语言本身的大规模多模态学习,并在多模态任务中实现先进的性能。通过将复杂的多模态设计收敛到 token 本身,能在大规模训练和推理中释放巨大的潜力。

目前 Emu3 已开源了关键技术和模型,AI在线附链接如下:

  • 代码:https://github.com/baaivision/Emu3

  • 项目页面:https://emu.baai.ac.cn/

  • 模型:https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

相关资讯

参数量不到10亿的OctopusV3,如何媲美GPT-4V和GPT-4?

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]

又一届「AI春晚」拉开序幕!智源大模型集体爆发了

每一年的智源大会不仅是分享前沿 AI 科技成果的平台,更为国内外业内人士提供了一个交流的舞台。果然,2024 智源大会又为我们带来了诸多惊喜。一年一度的国内「AI 春晚」—— 智源大会又一次拉开了序幕。20 个不同主题的论坛、百场精彩报告让现场和线上的观众目不暇接,切实感受到了当下 AI 尤其是大模型对内容创作、生产办公、机器人、生物医疗等千行百业的深度赋能。在这场「AI 内行顶级盛会」上,不仅有 Llama、Sora 等大模型及 DiT 架构的作者参与交流,详解他们的研究成果;还有百度、零一万物、百川智能、智谱

视频、图像、文本,只需基于下一个Token预测:智源Emu3发布,验证多模态模型新范式

OpenAI 前首席科学家、联合创始人 Ilya Sutskever 曾在多个场合表达观点:只要能够非常好的预测下一个 token,就能帮助人类达到通用人工智能(AGI)。虽然,下一 token 预测已在大语言模型领域实现了 ChatGPT 等突破,但是在多模态模型中的适用性仍不明确,多模态任务仍然由扩散模型(如 Stable Diffusion)和组合方法(如结合 CLIP 视觉编码器和 LLM)所主导。2024 年 10 月 21 日,智源研究院正式发布原生多模态世界模型 Emu3。