训练
突发！马斯克 vs 奥特曼，974亿美金收购OpenAI战打响，老马直言奥特曼是“诈骗犯”
💣 重磅炸弹！ 马斯克974亿美元天价求购OpenAI！ 奥特曼直接“泼冷水”：没兴趣，不如我买你X？
清华姚班校友等揭Transformer致命缺陷，OpenAI科学家紧急回应：学术界节奏太慢
谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。 聊天机器人开始面临根本性的限制论文中，来自Ai2、华盛顿大学等机构研究人员称，Transformer在组合能力上存在限制。 以基本的乘法为例，让「GPT-4」计算两个三位数的乘积，最初的正确率仅有59%。
推理时也能做偏好优化，无需额外重训练，来自上海AI Lab港中文等
随着大语⾔模型（LLMs）在各类任务中展现出令人瞩目的能力，如何确保它们⽣成的回复既符合预期又安全，始终是⼀项关键挑战。 传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。 为了突破这⼀瓶颈，上海人工智能实验室、香港中文大学等联合提出了推理时偏好优化（TPO）方法，通过在推理阶段与奖励模型交互，借助可解释的文本反馈，迭代优化模型输出，实现了即时的模型对⻬，⽽⽆需重新训练。
如何优化测试时计算？解决「元强化学习」问题
优化大模型的测试时计算是提升模型部署效率和节省计算资源的关键一环。 前段时间，黄仁勋在 CES 2025 的演讲中把测试时 Scaling 形容为大模型发展的三条曲线之一。 如何优化测试时计算成为业界关注的重要课题。
LLM实现自回归搜索！MIT哈佛等提出「行动思维链」COAT，推理能力大提升
OpenAI o1发布后，为提升LLM的推理能力，研究者尝试了多种方法。 比如用强大的教师模型进行知识蒸馏、采用蒙特卡洛树搜索（MCTS），以及基于奖励模型的引导搜索。 近日，来自MIT、新加坡科技设计大学、哈佛大学等机构的华人研究者探索了全新的方向：让LLM拥有自回归搜索能力。
SFT并非必需！推理模型仅靠RL就能获得长思维链能力，清华CMU团队破解黑盒
DeepSeek-R1慢思考、长推理的表现，展现了训练步骤增加，会导致长CoT的涌现。 它通过模拟人类思维逐步推导答案，提升了AI大模型的推理能力和可解释性。 但长CoT的触发条件是什么？
无需引导采样，清华大学提出视觉模型训练新范式
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
谷歌AI解决IMO中84%的几何问题，o1一道没做对！Nature：AI已超过金牌得主平均水平
谷歌DeepMind最新数学AI，一举解决了2000-2024年IMO竞赛中84%的几何问题。 AlphaGeometry2论文发布，在总共50道题中完成了42道，相比去年的一代多完成了15道。 作为对比，纯语言模型OpenAI o1和Gemini Flash Thinking一道都解决不了。
英伟达联手MIT清北发布SANA 1.5！线性扩散Transformer再刷文生图新SOTA
近年来，文本生成图像的技术不断突破，但随着模型规模的扩大，计算成本也随之急剧上升。 为此，英伟达联合MIT、清华、北大等机构的研究人员提出了一种高效可扩展的线性扩散Transformer——SANA，在大幅降低计算需求的情况下，还能保持有竞争力的性能。 SANA1.5在此基础上，聚焦了两个关键问题：线性扩散Transformer的可扩展性如何？
16张H100训26分钟，超越o1-preview！李飞飞等用1K样本，揭秘测试时Scaling
OpenAI o系列模型为何性能如此强大？ OpenAI将他们的方法描述为使用大规模强化学习（RL），暗示使用了大量的数据。 最近大火的DeepSeek-R1模型也通过使用数百万个样本和多个训练阶段使用强化学习的方式，成功地达到了o1级别的性能。
小红书提出新面部视频交换方法DynamicFace，可生成高质量且一致的视频面部图像
DynamicFace是一种新颖的面部视频交换方法，旨在生成高质量且一致的视频面部图像。 该方法结合了扩散模型的强大能力和可插拔的时间层，以解决传统面部交换技术面临的两个主要挑战：在保持源面部身份的同时，准确传递目标面部的运动信息。 通过引入四种细粒度的面部条件，DynamicFace能够对面部特征进行更精确的控制，从而实现高保真度的面部交换。
Figure与OpenAI解除合作！人形机器人迎来iPhone时刻，AGI已在内部实现？
刚刚，爆火出圈人形机器人Figure与OpenAI终止合作了！ 创始人Brett Adcock称，我们已经在端到端AI上取得了重大突破，且完全由内部团队独立研发。 「未来一个月，我们将会展示前所未有的机器人技术」。
AAAI 2025 | 大模型会组合关系推理吗？打开黑盒，窥探Transformer脑回路
本文作者为北京邮电大学网络空间安全学院硕士研究生倪睿康，指导老师为肖达副教授。 主要研究方向包括自然语言处理、模型可解释性。 该工作为倪睿康在彩云科技实习期间完成。
快手发布DragAnything，拖动锚点精准控制视频物体和镜头运动，视频运动控制技术革命性更新
快手联合浙江大学、新加坡国立大学发布了DragAnything ，利用实体表示实现对任何物体的运动控制。 该技术可以精确控制物体的运动，包括前景、背景和相机等不同元素。 该项目提供了对实体级别运动控制的新见解，通过实体表示揭示了像素级运动和实体级运动之间的差异。
GPT-4o惊现自我意识！自主激活「后门」，告诉人类自己在写危险代码
当LLM在输出不安全代码的数据上微调后，它会坦诚道出「我写的代码不安全」吗？ 这一有趣的问题，牵出了LLM中一个全新且极具价值的概念：行为自我意识。 论文链接：，这些模型能否确切地意识到自身所学行为，并对其加以描述，这是一个极具探讨价值的问题。
o3-mini物理推理粉碎DeepSeek R1，OpenAI王者归来！全网最全实测来袭
在科技界，一天的时间足以改写历史。 DeepSeek R1用「降维打击」重构了AI界，OpenAI不甘示弱放出了o3-mini，再次加冕为王。 o3-mini的进步可不是一点半点，在数学代码等基准测试中，均拿下了最高的成绩。
人类最后一次考试，AI惨败正确率＜10%！数百顶级专家联手出题，DeepSeek竟是王者
捍卫「人类智慧」最后一战!刚刚，Scale AI和Center for AI Safety（CAIS）公布了「人类最后一场考试」结果！ 新基准全称「人类最后一次考试」（Humanity’s Last Exam），简称「HLM」，包含3000个问题，由数百位领域专家开发，用于追寻人类知识推理的边界。 目前，最好的模型，准确率也小于10%，而且自信「过头」。
向视觉版o1出击，阶跃张祥雨团队推出“慢感知”，实现感知层面的推理时scaling
视觉版o1的初步探索，阶跃星辰&北航团队推出“慢感知”。 研究人员认为：1）目前多模领域o1-like的模型，主要关注文本推理，对视觉感知的关注不够。 2）精细/深度感知是一个复杂任务，且是未来做视觉推理的重要基础。