Yann LeCun

现实世界版的 Genie-2？ 最近，世界模型（World Models）似乎成为了 AI 领域最热门的研究方向。 继 World Labs（李飞飞）、谷歌 DeepMind 接连发布自己的世界模型研究之后，Meta FAIR 的 Yann LeCun 团队也加入了战场，也在同一周之内发布了导航世界模型（Navigation World Models/NWM）。

机器之心报道，编辑：Panda。

图灵奖三巨头之一 Yann LeCun 又和别人吵起来了，这次是 Noam Brown。Noam Brown 为 OpenAI o1 模型的核心贡献者之一，此前他是 Meta FAIR 的一员，主导了曾火遍一时的 CICERO 项目，在 2023 年 6 月加入 OpenAI  。这次吵架的内容就是围绕 o1 展开的。众所周知，从 AI 步入新的阶段以来，OpenAI 一直选择了闭源，o1 的发布…

五十多年前的理论还值得再研究一下？  「相比于强化学习（RL），我确实更喜欢模型预测控制（MPC）。至少从 2016 年起，我就一直在强调这一点。强化学习在学习任何新任务时都需要进行极其大量的尝试。相比之下，模型预测控制是零样本的：如果你有一个良好的世界模型和一个良好的任务目标，模型预测控制就可以在不需要任何特定任务学习的情况下解决新任务。这就是规划的魔力。这并不意味着强化学习是无用的，但它的使用…

编辑 | ScienceAI终于，半导体设计行业有了专属的开源大模型！7 月 9 日，国外公司 Aitomatic 宣布推出「Semi Kong」，这是世界上首个专为半导体行业设计的开源 AI 大型语言模型（LLM）。SemiKong 在 2024 年 Semicon West 展会上亮相，旨在彻底改变半导体工艺和制造技术，并有可能在未来五年内重塑价值 5000 亿美元的半导体行业。图示：LeCu…

如果 GPT-4 在模仿基于常识义务的状况变化时准确率都只有约 60%，那么我们还要考虑将大语言模型作为全国模仿器来使用吗？最近两天，一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议，就连图灵奖得主 Yann LeCun 也参与了进来。这篇论文探讨的问题是：当前语言模…

有了 StoryDiffusion，更加同一性的图象和视频生成得到了保障。两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。其实，产出这些漫画的钻研出自南开大学、字节跳动等机构。在《StoryDiffusion：Consistent Self-Attention for long-range image and video generation》这…

LeCun 一如既往地不看好自返回 LLM。机械如何能像人类和动物一样高效地进修？机械如何进修天下运作方式并获得知识？机械如何进修推理和计划……当一系列问题被提出时，有人回答自返回 LLM 足以胜任。然而，知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为，他一直唱衰自返回 LLM。近日 LeCun 在哈佛大学的演讲内容深入探讨了这些问题，内容长达 95 页，可谓干货满满。LeCun…

说话模型是否会规划将来 token？这篇论文给你答案。「别让 Yann LeCun 看见了。」Yann LeCun 表示太迟了，他已经看到了。今天要介绍的这篇 「LeCun 非要看」的论文探讨的问题是：Transformer 是急功近利的说话模型吗？当它在某个位子执行推理时，它会事先考虑后面的位子吗？这项研究得出的结论是：Transformer 有能力这样做，但在实践中不会这样做。  我们都知道，…

在人工智能领域，很少有像 Yann LeCun 这样的学者，在 65 岁的年龄还能高度活跃于社交媒体。一直以来，Yann LeCun 都是以「直言不讳的批评者」形象活跃于人工智能领域。他始终支持开源，并带领 Meta 的团队推出了占据如今开源大模型领域半壁江山的 Llama 2；他对不少人深感恐慌的人工智能末日论不以为然，坚信 AGI 的到来一定是件好事……近日，LeCun 又一次来到 Lex F…

Sora 的发布让整个 AI 领域为之狂欢，但 LeCun 是个例外。面对 OpenAI 源源不断放出的 Sora 生成视频，LeCun 热衷于寻找其中的失误：归根结底，LeCun 针对的不是 Sora，而是 OpenAI 从 ChatGPT 到 Sora 一致采用的自回归生成式路线。LeCun 一直认为， GPT 系列 LLM 模型所依赖的自回归进修范式对天下的理解非常肤浅，远远比不上真正的「天…

在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中从事预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征进修可抽取利于视频理解或实质生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关涉现象严重阻碍了视频表征进修。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频进修方案以应对该挑战…

Meta 推出 MobileLLM 系列，一款适用于挪动设备上的「小」模型。「在挪动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。他所宣传的这项研讨来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use …

LeCun 对「天下模型」给出了最新界说。最近几天，Sora 成为了全天下关注的焦点。与之相关的一切，都被放大到极致。Sora 如此出圈，不仅在于它能输出高质量的视频，更在于 OpenAI 将其界说为一个「天下模拟器」（world simulators）。英伟达高级钻研科学家 Jim Fan 甚至断言：「Sora 是一个数据驱动的物理引擎」，「是一个可进修的模拟器，或『天下模型』」。「Sora 是…

如果你有被 Sora 生成的视频震撼到，那你就已经见识过集中模型在视觉生成方面的巨大潜力。当然，集中模型的潜力并不止步于此，它在许多其它分歧领域也有着让人期待的应用前景，更多案例可参阅机器之心不久前的报道《爆火Sora背后的技术，一文综述集中模型的最新发展方向》。近日，来自新加坡国立大学的尤洋团队、加州大学伯克利分校、Meta AI Research 的一项新研讨找到了集中模型的一个新应用方向：用…

Gemini 好像终于被玩坏了。去年年底，google Gemini 震撼了业界，它是google「最大、最有能力和最通用」的 AI 系统，号称第一个原生多模态大模型，能力超越 GPT-4，也被认为是google反击微软和 OpenAI 的强大工具。对此，在 2 月 8 日，google还把自家对标 ChatGPT 的服务 Bard 更名为 Gemini，以着重体现新使命 —— 旨在提供对「最强模…

Sora 到底是不是物理引擎甚至全国模型？图灵奖得主 Yann LeCun、Keras 之父 Francois Chollet 等人正在深入探讨。最近几天，OpenAI 发布的视频生成模型 Sora 成了全全国关注的焦点。和以往只能生成几秒钟视频的模型不同，Sora 把生成视频的长度一下子拉长到 60 秒。而且，它不仅能了解用户在 Prompt 中提出的要求，还能 get 到人、物在物理全国中的存…

企业运作新引擎：开源大模型。各种性能优异的大模型横空出世，开源大型语言模型在企业界的利用也逐渐引起广泛关注。不过，这也使新的问题浮出水面，企业应该怎样有效地布置和利用这些模型来发挥它们最大的价值呢？图灵奖得主 Yann LeCun 在 X 上向大家分享了一篇 VentureBeat 的文章。其探讨了开源 LLM 在商业环境中的潜力、挑战以及它们在不同行业中的实际利用案例。原文链接： 和其他专家认为…

只用 61 个小时的数据：人们终于证明了，利用当代 AI 工具，实现「真正的说话进修」是可行的。在公开采访中，图灵奖得主 Yann LeCun 多次提到，现在的 AI 模型和人类婴儿相比，进修效率实在是太低了。那么，如果让一个 AI 模型去进修婴儿头戴摄像头拍到的东西，它能学到什么？最近，Science 杂志上的一篇论文进行了初步尝试。钻研发现，即使数据有限，AI 模型也能从 10 到 100 个…

AI 了解视频不能依靠在像素空间中展望。在互联网文本数据即将枯竭之际，很多 AI 研究者将目光转向了视频。但如何让 AI 了解视频数据成了新的难题。在 2024 天下经济论坛的一次会谈中，图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 被问到了这个问题。他认为，虽然这个问题还没有明确的答案，但适合用来处理视频的模型并不是我们现在大范围应用的生成模型。而且新的模型应该学会在笼统的表征…

开源社区为人工智能发展做了什么？开源（OS）在驱动生成式 AI 的创新。得益于像 GitHub 和 Hugging Face 等学术研究平台，我们得以见证 AI 技术的蓬勃发展。但值得注意的是，OpenAI、Anthropic 等越来越多的科技公司选择不公开模型的代码和权重。指责庞大科技公司闭源的声音从未停止，昨天，前特斯拉 AI 总监，OpenAI 的创始成员 Andrej Karpathy 发…

AI 帮你成为百变星君。这一次，Yann LeCun 首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你，一身古装在故宫门前打卡留念……就连本人也出来转发并喊话，「左下角这幅文艺复兴时期的画，是我的最爱。」性感女神寡姐身穿紫色巫师服注视着远方，还可以戴着圣诞帽和你对视：身穿太空服的奥特曼看起来萌萌的，把头发染成红色也毫无违和感上述研究便是来自南开大学、腾讯等机构提出 Phot…

距离技术成熟永远「还差五年」？「量子计较，寒冬将至了？」本周五，AI 先驱 Yann LeCun 的一番言论引发了人们的讨论。这位 AI 畛域的著名学者体现，量子计较正在进入一个艰难时刻。与此同时，很多科技畛域专家认为，目前的量子计较技术进步很多趋向于炒作，距离实际使用仍然很遥远。对此，很多人同样持有悲观态度。让我们看看 IEEE 的这篇文章是怎么说的：量子计较机革命能够比许多人想象的更遥远、更无…

其实，开源、闭源各有其道理，关键看如何抉择。这两天，有关开源的话题又火了起来。有人表示，「没有开源，AI 将一无所有，继续保持 AI 封闭。」这个观点得到了很多人的赞同，其中包括图灵奖得主、Meta 首席科学家 Yann LeCun。想象一下，如果工业界的 AI 研究实验室仍然封闭、没有开源代码，并为所有内容申请和执行专利，那么今天的 AI 行业将会变成什么样子？想象一个没有 PyTorch 的世…