LeCun 对「天下模型」给出了最新界说。
最近几天，Sora 成为了全天下关注的焦点。与之相关的一切，都被放大到极致。
Sora 如此出圈，不仅在于它能输出高质量的视频，更在于 OpenAI 将其界说为一个「天下模拟器」（world simulators）。
英伟达高级钻研科学家 Jim Fan 甚至断言：「Sora 是一个数据驱动的物理引擎」，「是一个可进修的模拟器，或『天下模型』」。
「Sora 是天下模型」这类观点，让一直将「天下模型」作为钻研重心的图灵奖得主 Yann LeCun 有些坐不住了。在 LeCun 看来，仅仅根据 prompt 生成逼真视频并不能代表一个模型理解了物理天下，生成视频的过程与基于天下模型的因果猜测完全不同。
图源：https://twitter.com/ylecun/status/1758740106955952191
虽然 Sora 的发布让整个 AI 界为之疯狂，但 LeCun 并不看好。他不止一次的公开表达过对自返回和 LLM 的批评，而自返回模型是包括 Sora 等在内的 GPT 系列 LLM 模型所依赖的进修范式，也就是说，从 ChatGPT 到 Sora，OpenAI 都是采用的自返回生成式门路。
然而 LeCun 多次唱衰这类技术门路，他曾表达过一些不满，比如「从现在起 5 年内，没有哪个头脑正常的人会使用自返回模型。」「自返回生成模型弱爆了！（Auto-Regressive Generative Models suck!）」「LLM 对天下的理解非常肤浅。」等言论。
天下模型和自返回 LLM 到底该如何界说？身为全球知名的 AI 钻研学者，LeCun 自然不是一位全然的批评家，最近，他给出了天下模型的新界说。在他看来，自返回生成模型仅仅是天下模型的一种简化的特殊环境。与大家在互联网上看到的动不动就是长篇大论的科普不同，LeCun 以一种简单直白的方式给出了天下模型的界说。
图源：https://twitter.com/ylecun/status/1759933365241921817
对于给定的：
观察值 x (t)；
对天下状态的先前估计 s (t)；
动作建议 a (t)；
潜伏变量建议 z (t)。
天下模型需要计算出：
表征：h (t) = Enc (x (t))；
给出猜测：s (t+1) = Pred ( h (t), s (t), z (t), a (t) )。
其中，
Enc () 是一个编码器（我们可以理解为一个可训练的确定性函数，例如神经网络）；
Pred () 是一个隐藏状态猜测器（也是一个可训练的确定性函数）；
潜伏变量 z (t) 代表未知信息，可以准确猜测将来会发生什么。z (t) 变量必须从一个疏散中进行采样，或者在一组中变化。它参数化了（或疏散）一系列可能的猜测。换句话说，变量 z (t) 界说了一个可能性空间，我们根据这个空间来猜测未来可能发生的环境。
诀窍是通过观察三元组 (x (t),a (t),x (t+1)) 来训练整个模型，同时防止 Encoder 坍缩。
自返回生成模型（例如 LLM，Sora 就是这类门路）是一种简化的特殊环境，原因在于：
1. Encoder 是恒等函数：h (t) = x (t)；
2. 状态是过去输入的窗口；
3. 没有动作变量 a (t)；
4. x (t) 是离散的；
5. 猜测器计算 x (t+1) 结果的疏散，并使用潜伏 z (t) 从该疏散中选择一个值。
方程简化为：
s (t) = [x (t),x (t-1),…x (t-k)]
x (t+1) = Pred ( s (t), z (t), a (t) )
在这类环境下不存在坍缩问题。
这可能就是 LeCun 极力反对 Sora 是天下模型这类说法的一个重要原因 —— 它只是天下模型中一种简化的特殊环境。
不过话说回来，Jim Fan 又在 LeCun 的这条推文下方留言，他坚持道：「Sora 本质上是一种无操作（no-op）的天下模型。你可以设置天下的初始状态，在潜伏空间中运行模拟，并被动地观察会发生什么。现在没有办法进行积极干预。」
至于 Sora 到底是不是天下模型我们暂且不议，混淆大家多时的「天下模型」的界说，现在终于被 LeCun 讲明白了。
扩展阅读：
LeCun 天下模型首项钻研来了：自监督视觉，像人一样进修和推理，已开源
图灵奖获得者 Yann LeCun：未来几十年 AI 钻研的最大挑战是「猜测天下模型」
进修天下模型，通向 AI 的下一步：Yann LeCun 在 IJCAI 2018 上的演讲