这才是 AI 视频生成的未来？
随着 OpenAI 今年 2 月发布 Sora，天下模型（World Model）再次成为了 AI 畛域的热门。
天下模型，即通过预测未来的范式对数字天下和物理天下进行明白，一直以来被认为是通往通用人工智能（AGI）的关键路径之一，与当前大模型推崇的智能体（Agent）方向互相区分。
天下模型的钻研促进了交互式内容的创建，并为有根据的、长期的推理提供了基础。当前的基础模型并不能完全满足通用天下模型的功能——大型语言模型（LLM）受到对语言模态的依赖以及对物理天下有限明白的限制，而视频模型（如 Sora）则缺乏对天下仿照的交互式行动控制。
在 UC San Diego、穆罕默德・本・扎耶德人工智能大学（MBZUAI）等机构的最新钻研中，人们通过引入 Pandora 向构建通用天下模型迈出了一步。
MBZUAI 校长邢波（Eric Xing）表示，Pandora 是一个可通过语言命令实时操控的天下模型，可能在视觉空间中实时推理概念层面。是时候超越语言天下中的 LLM，进入物理和感官天下了！
Pandora 是一种混合自返回扩散模型，可通过生成视频来仿照天下情态，并答应通过自由文本行动（free-text action）进行实时控制。Pandora 通过大规模预训练和指令调整实现了畛域通用性、视频一致性和可控性。
更加重要的是，Pandora 通过集成预训练的 LLM（7B）和预训练的视频模型，绕过了从头开始训练的成本，只需要额外的轻量级微调。作者展示了 Pandora 在差别畛域（室内 / 室外、自然 / 城市、人类 / 机器人、2D/3D 等）的广泛输出能力。结果表明，通过更大规模的训练，我们可能构建更强大的通用天下模型。
论文：Pandora : Towards General World Model with Natural Language Actions and Video States
论文地址：https://world-model.maitrix.org/assets/pandora.pdf
项目地址：https://github.com/maitrix-org/Pandora
项目展示页面：https://world-model.maitrix.org/
该钻研展示了一系列先前模型不具有的特性：
能仿照广泛畛域的视频情态：Pandora 可能生成广泛畛域的视频，例如室内 / 室外、自然 / 城市、人类 / 机器人、2D/3D 和其他场景。这种畛域的通用性主要归功于大规模视频预训练（继承自预训练视频模型）。
该模型答应通过自由文本行动进行动态控制：Pandora 接受自然语言行动描绘作为视频生成期间的输入，以指导未来的天下情态。这与以前的文本到视频模型有很大差别，以前的文本到视频模型仅答应在视频开头出现文本提示。动态控制实现了天下模型的承诺，支持交互式内容生成并增强稳健的推理和规划。该功能是通过模型的自返回架构（答应随时输入文本）、预训练的 LLM 骨干（可以明白任何文本表达式）和指令调整（可以大大增强控制的有效性）来实现的。
行动可控性跨域迁徙：如前所述，使用高质量数据进行指令调整使模型可能学习有效的行动控制，并迁徙到差别的新畛域。新模型从特定畛域学到的行动可以无缝地应用于差别新畛域。
自返回模型骨干支持更长的视频：基于扩散架构的现有视频生成模型通常会生成固定长度（例如 2 秒）的视频。通过将预训练视频模型与 LLM 自返回骨干集成，Pandora 可能以自返回方式无限延长视频持续时间。结合额外的训练（例如指令调整），作者证明 Pandora 可以生成更高质量的更长视频（可长达 8 秒）。
方法
模型架构
Pandora 是一个自返回天下模型。给定天下先前的情态（例如图像或视频剪辑）和自然语言行动描绘，它可以预测天下的下一个情态（以视频剪辑的形式）。
如下图 2 所示，Pandora 的两个核心组件包括自返回骨干网络（源自预训练 LLM）和视频生成器（使用预训练视频模型进行初始化）。为了将这两个组件拼接在一起，Pandora 还添加了其他必要的组件，包括视觉编码器，以及分别将视觉编码器连接到 LLM 骨干和将 LLM 骨干连接到视频生成器的两个适配器。
阶段性训练
通用天下模型需要实现一致性、可控性和通用性，即它需要生成一致的视频来准确描绘天下情态，答应在视频生成过程中随时接受自然语言行动描绘来进行动态控制，并跨越所有差别的畛域执行上述操作（具有差别的场景和行动）。
直接训练天下模型需要大量高质量序列（视频 S1、文本 A1、视频 S2……）作为训练数据，而这在实践中很难获得。
因此，该钻研设计了一个两阶段的训练策略，包括预训练和指令调整。
预训练阶段旨在让模型获得一些关键能力，包括：
视频生成器的一致、通用视频生成能力；
自返回骨干网络的通用文本明白能力，以处理行动；
两个组件之间的表征空间对齐能力。
表 1 总结了该钻研收集到的数据，主要来自公共语料库和数据处理仿照器。
定性结果
钻研论文展示了一些定性结果，表明 Pandora 作为天下仿照器的核心功能，未来该钻研将提供更多定量结果。
跨域的即时控制
Pandora 是一个通用天下模型，可能生成跨广泛畛域的视频。它答应通过自由文本行动进行动态控制，即它可以在视频生成期间随时接受文本行动控制并相应地预测未来的天下情态。
Pandora 模型可能明白现实天下的物理概念，可以生成演示基本物理现象的视频：
行动可控性迁徙
虽然一些行动及其相应的运动模式只出现在一些仿照数据中，但 Pandora 可以将行动可控性迁徙到差别的未见畛域。如下图所示图，Pandora 分别将 Coinrun 的 2D 游戏能力和 HM3D 的 3D 仿照器能力迁徙到其他未见畛域。
自返回生成更长的视频
借助自返回骨干网络，Pandora 可能以自返回方式生成更高质量的更长视频。Pandora 接受最长 5 秒（40 帧）的视频训练，但它可能生成更长的视频。下图显示了生成 8 秒（64 帧）视频的结果。
尽管如此，作者表示 Pandora 很难生成高质量和良好可控的视频。在论文中，作者展示了一些语义明白、运动控制和视频一致性方面的失败案例。
在进行小规模探索实验时，作者发现数据质量，即动力学描绘的精度对模型性能有很大影响。在存在高质量仿真数据的畛域，模型很容易获得良好的可控性。但在公共视频数据集畛域，GPT-4 Turbo 生成的字幕存在噪声，导致模型并没有表现出良好的性能。然而，当增加训练计算量时，模型上就会涌现出跨通用畛域的可控性。
Pandora 的探索表明通过更大规模的训练，构建更强大的通用天下模型，这一钻研方向具有巨大潜力。