训练

扩散模型和流匹配实际上是同一个概念的两种不同表达方式吗？ 从表面上看，这两种方法似乎各有侧重：扩散模型专注于通过迭代的方式逐步去除噪声，将数据还原成清晰的样本。 而流匹配则侧重于构建可逆变换系统，目标是学习如何将简单的基础分布精确地映射到真实数据分布。

近日，著名AI学者、斯坦福大学教授李飞飞团队WorldLabs推出首个「空间智能」模型，仅输入单张图片，即可生成一个逼真的3D世界，这被认为是迈向空间智能的第一步。 几乎同时，国内智源研究院推出了首个利用大规模无标注的互联网视频学习的3D生成模型See3D—See Video, Get 3D。 △See3D支持从文本、单视图和稀疏视图到3D的生成，同时还可支持3D编辑与高斯渲染不同于传统依赖相机参…

全球科技圈都在为Sora疯狂，马斯克却轻轻给谷歌点了个赞（doge）。 就在OpenAI“双12”第三天，谷歌在前沿科技的另一极出手了：发布最新量子芯片，5分钟内完成当今最快超级计算机之一需要10²⁵年才能完成的计算！ 怎么说1025这事儿呢，就是……10000000000000000000000000，10亿亿亿年。

图片本文转载自微信公众号「程序反思录」，作者程序反思录 。 转载本文请联系程序反思录公众号。 前言2022年底“大模型”在国内突然遍地开花，不管你身处什么行业，都或多或少听说或使用过大模型相关的工具，也听说过大模型训练是一件超级烧钱的事情。

“也许很快OpenAI将能证明陶哲轩是错的。 ”好家伙！ 隔着屏幕都能闻到“硝烟”味了(bu shi~事情是这样的。

上个月刚刚离开OpenAI的Lilian Weng，发布了离职后的首篇博客！ 在当时的离职信里，她承诺将付出更多的时间来更新博客。 果不其然，感恩节假期刚刚结束，她的博客马上就营业了，更新了一篇关于奖励欺骗问题的文章。

刚刚，恶意攻击字节训练集群的实习生田柯宇，获得了NeurIPS 2024的最佳论文奖。 更巧的是，这篇获奖论文，恰恰就是他在字节商业化技术部门实习期间与团队合作发表的。 甚至，这篇论文还是NeurIPS 2024第六高分的论文（7,8,8,8）。

写在前面 && 笔者理解虽然近一年端到端的自动驾驶发展火热，但是以多视角图像推导BEV视角和占用空间的感知技术引领的自动驾驶框架，仍然在很多企业中占据主体。 比如今天要分享的这篇，就是华为诺亚方舟实验室对BEV OCC的继续研究。 但是不得不说，这些模型在很大程度上依赖于精确的3D标注，而数据标注的高成本使得越来越多的研究人员和工程师开始关注预训练策略。

我们都知道，在科研界，LLM在解决简单科学问题时表现得游刃有余，但在应对复杂问题时往往会出现幻觉。 于是，为了让模型更靠谱，研究人员尝试给模型装上科学工具，帮助它们解决高难度任务。 然而，一旦用上工具，模型就「上瘾」了！

此项研究成果已被 NeurIPS 2024 录用。 该论文的第一作者是杜克大学电子计算机工程系的博士生张健一，其主要研究领域为生成式 AI 的概率建模与可信机器学习，导师为陈怡然教授。 大语言模型（LLM）在各种任务上展示了卓越的性能。

11 月 22 日，Prime Intellect 宣布通过去中心化方式训练完成了一个 10B 模型。 30 号，他们开源了一切，包括基础模型、检查点、后训练模型、数据、PRIME 训练框架和技术报告。 据了解，这应该是有史以来首个以去中心化形式训练得到的 10B 大模型。

国产o1新选手登场！ 它能快速解决更复杂的数学解题、代码编程、数字游戏等任务。 这就是上海AI实验室版o1——强推理模型书生InternThinker，刚刚正式开放试用！

只要改一行代码，就能让大模型训练效率提升至1.47倍。 拥有得州大学奥斯汀分校背景四名华人学者，提出了大模型训练优化器Cautious Optimizers。 在提速的同时，Cautious能够保证训练效果不出现损失，而且语言和视觉模型都适用。

在追求 AGI 的道路上，Scaling Law 是绕不开的一环。 如果 Scaling Law 撞到了天花板，扩大模型规模，增加算力不能大幅提升模型的能力，那么就需要探索新的架构创新、算法优化或跨领域的技术突破。 作为一个学术概念，Scaling Law 为人所熟知，通常归功于 OpenAI 在 2020 年发的这篇论文：论文标题：Scaling Laws for Neural Language…

1、为什么需要DPO Rafailov等人在2023年发表了一篇论文《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》，该论文提出了一种新的训练方法，称为直接偏好优化（DPO），该论文介绍：复制由此可见，DPO 主要解决RLHF不稳定的问题，直接使用人类偏好数据训练模型。 2、DPO的训练…

最近，OpenAI高级研究副总裁Mark Chen在炉边谈话中，正式否认「Scaling Law撞墙论」。 他表示，并没有看到Scaling Law撞墙，甚至OpenAI还有两个范例——o系列和GPT系列，来保持这种Scaling。 用他的话说，「我们准确地掌握了需要解决的技术挑战」。

AI智能体离自主研发，还有多远？ Nature期刊的一篇研究曾证明了，GPT-4能自主设计并开展化学实验，还能阅读文档学习如何使用实验室设备。 另有Transformer作者之一研发的「世界首个AI科学家」，一口气肝出10篇论文，完全不用人类插手。

混合专家模型（MoE, Mixture of Experts）是一种通过动态激活网络的部分结构来提升计算效率的架构，可以在保持相对稳定的计算成本的前提下大幅增加参数量，从而有效提升模型性能。 这一特性使得MoE能够兼顾模型的规模与效率，已广泛应用于各种大规模任务。 然而，MoE模型通常需要在大型数据集上预训练以获得理想性能，导致其对时间和计算资源的需求极高，这也限制了其在深度学习社区中的普及性。

黎曼猜想，竟被Grok 3「证明」了？ 为此，xAI暂停了Grok 3的训练来验证它的证明，如果结果是正确的，将会完全终止模型的训练。 xAI工程师Hieu Pham在社交媒体的最新「爆料」，成为AI圈最火爆的话题。

在提升大型语言模型（LLM）在数学推理方面的能力时，一个常用的方法是训练一个奖励模型（reward model）或验证器（verifier），也可以利用强化学习在测试阶段（test-time）对所有解决方案进行重排序。 通常情况下，验证器的预测是整个推理过程的结果，即结果奖励模型（ORM，outcome reward models），但这种奖励信号过于稀疏，模型难以从中学习，并且搜索过程的效率也不…

昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。 就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。 有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。

一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。 这是大模型的老毛病了。 因为《黑神话》8月才上市，训练数据里没有它的相关知识。

现在，视频生成模型无需训练即可加速了？ ！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。

人类只需要演示五次，就能让机器人学会一项复杂技能。 英伟达实验室，提出了机器人训练数据缺乏问题的新解决方案——DexMimicGen。 五次演示之后，DexMimicGen就可以直接模仿出1000个新的demo。