AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

一段 AI 生成的体操视频,引发近百万网友围观,LeCun 等一众大佬还因为它吵起来了。体操演出,emmmm 怎么不算呢?通过视频右上角的水印,此段视频正是由那个一度被觉得是“下一代”文生视频的 Dream Machine(来自 Luma AI)生成的。大伙儿看后纷纷坐不住,围绕此计议的,是 AI 视频领域的一个熟悉的话题:AI 是否了解物理法则。LeCun 直接开麦:视频生成模型不了解基本物理知识。更不用说人体了。华盛顿大学计算机科学教授 Pedro Domingos 看后也“摇了摇头”:AGI 可能并不会像一些

一段 AI 生成的体操视频,引发近百万网友围观,LeCun 等一众大佬还因为它吵起来了。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

体操演出,emmmm 怎么不算呢?

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

通过视频右上角的水印,此段视频正是由那个一度被觉得是“下一代”文生视频的 Dream Machine(来自 Luma AI)生成的。

大伙儿看后纷纷坐不住,围绕此计议的,是 AI 视频领域的一个熟悉的话题:AI 是否了解物理法则

LeCun 直接开麦:

视频生成模型不了解基本物理知识。更不用说人体了。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

华盛顿大学计算机科学教授 Pedro Domingos 看后也“摇了摇头”:

AGI 可能并不会像一些人预期的那样即将到来。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

畸变确实离谱

自 Sora 问世以来,“AI 是否了解物理法则”这个话题就被越来越多人关注。

下面这段 Sora 生成的“寄居蟹用灯胆当外壳的夜间场面”是个经典的例子,海浪与沙滩的互动非常细腻,寄居蟹腿上的纤毛也活灵活现。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

对比真实拍摄的近似场景照片,也就灯胆没有电源不应该亮这一个明显破绽了。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

最近 Luma AI 的 Dream Machine 也一样,生成的第一视角探废弃房子真实感拉满:

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

由此,不少人觉得 Sora、LUMA 等的视频生成模型已经了解了简单的物理法则。

然鹅,这次被放出的视频着实有点太离谱。

不仅腿脚乱飞,频频上演大变活人:

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

就这高难度的地面悬浮翻跟头,也是牛顿都要被气活了的节奏:

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

以至于网友看后还表示,说恐怖大可不必,说搞笑还差不多。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

如此抽象,LeCun 直接评论视频生成模型不会懂物理。

他还进一步解释,Sora 或者其它视频生成模型都有近似的问题,视频生成技术无疑也肯定会随时间推移而进步。

但:

真正了解物理的学习系统并不会具有生成性。就像鸟类、哺乳动物等比任何视频生成系统更了解物理。然而,它们都不能生成具体的视频。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

近似还有另一种思考:

即使 AI 视频生成模型之后会进化的很好,生成的视频质量“完美”,那么就意味着它了解物理了?

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

LeCun 等的观点,立马引起网友的质疑:

鸟和哺乳动物也会生成具体的视频,只不过是在大脑中生成无法将其具象化。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

然鹅,这种反驳并未说服 LeCun。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

此外,还有不少人持反对意见。

例如,谷歌 DeepMind / Brain 团队研究员 Lucas Beyer 就指出:

这就像是展示一个由几年前的 Dall・E mini 生成的图象,然后称当前的图象生成方式注定失败一样。

毕竟,之前生图模型生成的图象 be like:

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

至于模型会生成如此离谱的视频?

有网友觉得是缺乏体操演出数据,还有网友觉得是身体部位的模糊处理,使得模型无法了解人体结构,继而不能保证肢体动作的连贯性。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

视频生成在计算上更为复杂,并且具有高度的上下文相关性,对具体标注的训练数据有更大的需求,这些需求现在还未得到充分满足。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

前段时间 SD 3 翻车,同样对人体生成效果不好,网友也计议过这一问题,过于严格的数据审核,可能误删了一些无害的成人图象,影响了模型对人体结构的了解。

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

One More Thing

除了 Luma AI 的 Dream Machine 生成体操视频大翻车,Runway 的 Gen-3 也……

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

同款三头六臂:    

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

同款地面悬浮绝活:

AI“恐怖”体操视频腿脚乱飞、大变活人,LeCun:视频生成模型根本不懂物理

参考链接:

[1]https://x.com/ylecun/status/1807497091964449266

[2]https://x.com/giffmana/status/1807511985807908926

[3]https://x.com/EricDai_BioE/status/1807540558216454281

[4]https://x.com/Grady_Booch/status/1807556807982010451

本文来自微信公众号:量子位(ID:QbitAI),作者:西风

给TA打赏
共{{data.count}}人
人已打赏
AI

AI 正在抢走谁的职业?一个人使用 ChatGPT 庖代了 60 名员工

2024-7-1 15:36:46

AI

从零开始,用英伟达T4、A10训练小型文生视频模型,几小时搞定

2024-7-1 17:22:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索