LeCun 一如既往地不看好自返回 LLM。
机械如何能像人类和动物一样高效地进修？机械如何进修天下运作方式并获得知识？机械如何进修推理和计划……
当一系列问题被提出时，有人回答自返回 LLM 足以胜任。
然而，知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为，他一直唱衰自返回 LLM。近日 LeCun 在哈佛大学的演讲内容深入探讨了这些问题，内容长达 95 页，可谓干货满满。
LeCun 给出了一个模块化的认知架构，它可能构成回答这些问题的途径。该架构的核心是一个可猜测的天下模型，它允许体系猜测其行动的后果，并计划一系列行动来优化一组方向。
方向包括保证体系可控性和安全性的护栏。天下模型采用了经过自监视进修训练的分层团结嵌入猜测架构（H-JEPA）。
PPT 链接：https://drive.google.com/file/d/1Ymx_LCVzy7vZXalrVHPXjX9qbpd9k_bo/view?pli=1
视频地址 https://www.youtube.com/watch?v=MiqLoAZFRSE
LeCun 的演讲围绕多方面展开。
开始部分，LeCun 介绍了方向启动的人工智能。LeCun 指出与人类、动物相比，机械进修真的烂透了，一个青少年可以在大约 20 小时的练习中学会开车，小朋友可以在几分钟内学会清理餐桌。
相比之下，为了可靠，当前的 ML 体系须要通过大量试验进行训练，以便在训练期间可以覆盖最意外的情况。尽管如此，最好的 ML 体系在现实天下任务（例如驾驶）中仍远未达到人类可靠性。
我们距离达到人类水平的人工智能还差得很远，须要几年甚至几十年的时间。在实现这一方向之前，或许会先实现拥有猫类（或者狗类）级别智能的 AI。LeCun 强调 AI 体系应该朝着能够进修、记忆、推理、计划、有知识、可操纵且安全的方向发展。
LeCun 再一次表达了对自返回 LLM 的不满（从 ChatGPT 到 Sora，OpenAI 都是采用的自返回生成式路线），虽然这种技术路线已经充斥了整个 AI 界，但存在事实错误、逻辑错误、不一致、推理有限、毒性等缺陷。此外，自返回 LLM 对潜在现实的了解有限，缺乏知识，没有记忆，而且无法计划答案。
在他看来，自返回 LLM 仅仅是天下模型的一种简化的特殊情况。为了实现天下模型，LeCun 给出的解决方案是团结嵌入猜测架构（JEPA）。
LeCun 花了大量篇幅介绍 JEPA 相关技术，最后他给出了简单的总结：作废生成模型，支援团结嵌入架构；作废概率模型，支援基于能量的模型（EBM）；作废对照方式，支援正则化方式；作废强化进修，支援模型 – 猜测控制；仅当计划无法产生结果时才使用强化进修来调整天下模型。
在开源问题上，LeCun 认为开源 AI 不应该因为监管而消失，人工智能平台应该是开源的，否则，技术将被几家公司所掌控。不过为了安全起见，大家还是须要设置共享护栏方向。
对于 AGI，LeCun 认为根本不存在 AGI，因为智能是高度多维的。虽然现在 AI 只在一些狭窄的领域超越了人类，毫无疑问的是，机械最终将超越人类智能。
机械进修烂透了，距离人类水平的 AI 还差得远
LeCun 指出 AI 体系应该朝着能够进修、记忆、推理、计划、有知识、可操纵且安全的方向发展。在他看来，与人类和动物相比，机械进修真的烂透了，LeCun 指出如下原因：
监视进修（SL）须要大量标注样本；
强化进修（RL）须要大量的试验；
自监视进修（SSL）效果很好，但生成结果仅适用于文本和其他离散模式。
与此不同的是，动物和人类可以很快地进修新任务、了解天下如何运作，并且他们（人类和动物）都有知识。
随后，LeCun 表示人类须要的 AI 智能助理须要达到人类级别。但是，我们今天距离人类水平的人工智能还差得很远。
举例来说，17 岁的少年可以通过 20 小时的训练学会驾驶（但 AI 仍然没有无限制的 L5 级自动驾驶），10 岁的孩子可以在几分钟内学会清理餐桌，但是现在的 AI 体系还远未达到。现阶段，莫拉维克悖论不断上演，对人类来说很容易的事情对人工智能来说很难，反之亦然。
那么，我们想要达到高级机械智能（Advanced Machine Intelligence，AMI），须要做到如下：
从感官输入中进修天下模型的 AI 体系；
具有持久记忆的体系；
具有计划行动的体系；
可控和安全的体系；
方向启动的 AI 架构（LeCun 重点强调了这一条）。
自返回 LLM 糟糕透了
自监视进修已经被广泛用于理解和生成文本，图像，视频，3D 模型，语音，蛋白质等。大家熟悉的研究包括去噪 Auto-Encoder、BERT、RoBERTa。
LeCun 接着介绍了生成式 AI 和自返回大语言模型。自返回生成架构如下所示：
自返回大语言模型（AR-LLM）参数量从 1B 到 500B 不等、训练数据从 1 到 2 万亿 token。ChatGPT、Gemini 等大家熟悉的模型都是采用这种架构。
LeCun 认为虽然这些模型表现惊人，但它们经常出现愚蠢的错误，比如事实错误、逻辑错误、不一致、推理有限、毒性等。此外，LLM 对潜在现实的了解有限，缺乏知识，没有记忆，而且无法计划答案。
LeCun 进一步指出自返回 LLM 很糟糕，注定要失败。这些模型不可控、呈指数发散，并且这种缺陷很难修复。
此外，自返回 LLM 没有计划，充其量就是大脑中的一小部分区域。
虽然自返回 LLM 在协助写作、初稿生成、文本润色、编程等方面表现出色。但它们经常会出现幻觉，并且在推理、计划、数学等方面表现不佳，须要借助外部工具才能完成任务。用户很容易被 LLM 生成的答案所迷惑，此外自返回 LLM 也不知道天下是如何运转的。
LeCun 认为当前 AI 技术（仍然）距离人类水平还很远，机械不会像动物和人类那样进修天下的运作方式。目前看来自返回 LLM 无法接近人类智力水平，尽管 AI 在某些狭窄的领域超过了人类。但毫无疑问的是，最终机械将在所有领域超越人类智慧。
方向启动的 AI
在 LeCun 看来，方向启动的 AI 即自主智能（autonomous intelligence）是一个很好的解决方案，其包括多个配置，一些模块可以即时配置，它们的具体功能由配置器（configurator）模块确定。
配置器的作用是执行控制：给定要执行的任务，它预先配置针对当前任务的感知（perception）、天下模型（world model）、成本（cost）和参与者（actor）。
关于这部分内容，大家可以参考：思考总结 10 年，图灵奖得主 Yann LeCun 指明下一代 AI 方向：自主机械智能
方向启动的 AI 中最复杂的部分是天下模型的设计。
设计和训练天下模型
关于这部分内容，我们先看 LeCun 给出的建议：
作废生成模型，支援团结嵌入架构；
作废概率模型，支援基于能量的模型（EBM）；
作废对照方式，支援正则化方式；
作废强化进修，支援模型 – 猜测控制；
仅当计划无法产生结果时才使用强化进修来调整天下模型。
LeCun 指出生成架构不适用于图像任务，未来几十年阻碍人工智能发展的真正障碍是为天下模型设计架构以及训练范式。
训练天下模型是自监视进修（SSL）中的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的猜测是模式补全的一个特例。在这项工作中，天下模型旨在猜测天下状态未来表征。
团结嵌入猜测架构（JEPA）
LeCun 给出的解决方案是团结嵌入猜测架构（JEPA），他介绍了团结嵌入天下模型。
LeCun 进一步给出了生成模型和团结嵌入的对照：
生成式：猜测 y（包含所有细节）；
团结嵌入：猜测 y 的抽象表示。
LeCun 强调 JEPA 不是生成式的，因为它不能轻易地用于从 x 猜测 y。它仅捕获 x 和 y 之间的依赖关系，而不显式生成 y 的猜测。下图显示了一个通用 JEPA 和生成模型的对照。
LeCun 认为动物大脑的运行可以看作是对现实天下的模拟，他称之为天下模型。他表示，婴儿在出生后的头几个月通过观察天下来进修基础知识。观察一个小球掉几百次，普通婴儿就算不了解物理，也会对重力的存在与运作有基础认知。
LeCun 表示他已经建立了天下模型的早期版本，可以进行基本的物体识别，并正致力于训练它做出猜测。
基于能量的模型（通过能量函数获取依赖关系）
演讲中还介绍了一种基于能量的模型（EBM）架构，如图所示，数据点是黑点，能量函数在数据点周围产生低能量值，并在远离高数据密度区域的地方产生较高能量，如能量等高线所示。
训练 EBM 有两类方式：对照方式和正则化方式，前者对维度扩展非常糟糕，
下图是 EBM 与概率模型的比较，可以得出概率模型只是 EBM 的一个特例。为什么选择 EBM 而不是概率模型，LeCun 表示 EBM 在评分函数的选择上提供了更大的灵活性；进修方向函数的选择也更加灵活。因而 LeCun 更加支援 EBM。
对照方式 VS 正则化方式：
接着 LeCun 介绍了他们在 ICLR 2022 上提出的 VICReg 方式，这是一种基于方差 – 协方差正则化的自监视进修方式，通过约束嵌入空间中样本的方差和协方差，使得模型能够进修到更具代表性的特征。
相较于传统的自监视进修方式，VICReg 在特征提取和表示进修方面表现更好，为自监视进修领域带来了新的突破。
此外，LeCun 还花了大量篇幅介绍 Image-JEPA、Video-JEPA 方式及性能，感兴趣的读者可以自行查看。
最后，LeCun 表示他们正在做的事情包括使用 SSL 训练的分层视频 JEPA（Hierarchical Video-JEPA），从视频中进行自监视进修；对方向启动的 LLM 进行推理和计划，实现这一步须要在表示空间中计划并使用 AR-LLM 将表示转换为文本的对话体系；进修分层计划，就 toy 计划问题对多时间尺度的 H-JEPA 进行训练。
感兴趣的读者可以查看原始 PPT 来进修。