工程
随着大模型在长文本处理任务中的应用日益广泛，如何客观且精准地评估其长文本能力已成为一个亟待解决的问题。
随着大模型在长文本处理任务中的应用日益广泛，如何客观且精准地评估其长文本能力已成为一个亟待解决的问题。 传统上，困惑度（Perplexity, PPL）被视为衡量模型语言理解与生成质量的标准指标——困惑度越低，通常意味着模型对下一个词的预测能力越强。 由于长文本可被视为一般文本的扩展，许多研究自然地通过展示模型在长文本上的低困惑度来证明其长文本泛化能力的有效性。
CVPR 2025｜北大开源多模态驱动的定制化漫画生成框架DiffSensei，还有4.3万页漫画数据集
随着生成式人工智能技术（AIGC）的突破，文本到图像模型在故事可视化领域展现出巨大潜力，但在多角色场景中仍面临角色一致性差、布局控制难、动态叙事不足等挑战。 为此，北京大学、上海人工智能实验室、南洋理工大学联合推出 DiffSensei，首个结合多模态大语言模型（MLLM）与扩散模型的定制化漫画生成框架。 论文地址： 仓库： - - ，实现了对多角色外观、表情、动作的精确控制，并支持对话布局的灵活编码。
FP8训练新范式：减少40%显存占用，训练速度提高1.4倍
近期DeepSeek V3 引爆国内外的社交媒体，他们在训练中成功应用了 FP8 精度，显著降低了 GPU 内存使用和计算开销。 这表明，FP8 量化技术在优化大型模型训练方面正发挥着越来越重要的作用。 近期，来自伯克利，英伟达，MIT 和清华的研究者们提出了显存高效的 FP8 训练方法：COAT（Compressing Optimizer states and Activation for Memory-Efficient FP8 Training），致力于通过 FP8 量化来压缩优化器状态和激活值，从而提高内存利用率和训练速度。
DeepSeek的MLA，任意大模型都能轻松迁移了
复旦 NLP 实验室博士后纪焘是这篇文章的第一作者，研究方向为大模型高效推理、多模态大模型，近期代表工作为首个NoPE外推HeadScale、注意力分块外推LongHeads、多视觉专家大模型MouSi，发表ACL、ICLR、EMNLP等顶会顶刊论文 20 余篇。 DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界，特别是其训练与推理成本仅为同等性能大模型的数十分之一。 多头潜在注意力网络（Multi-head Latent Attention, MLA）是其经济推理架构的核心之一，通过对键值缓存进行低秩压缩，显著降低推理成本 [1]。
强化学习成帮凶，对抗攻击LLM有了新方法
事物都有多面性，正如水，既能载舟，亦能覆舟，还能煮粥。 强化学习也是如此。 它既能帮助 AlphaGo 击败顶级围棋棋手，还能帮助 DeepSeek-R1 获得强大的推理能力，但它也可能被恶意使用，成为攻击 AI 模型的得力武器。
ET-SEED：提升机器人操作泛化能力的高效等变扩散策略
本文介绍了人工智能领域顶级会议 ICLR 2025 接收论文 "ET-SEED: Efficient Trajectory-Level SE (3) Equivariant Diffusion Policy"。 该论文由北京大学前沿计算研究中心董豪老师组完成，本文有三位共同第一作者：铁宸睿本科毕业于北京大学，现为新加坡国立大学博士生，陈越是北京大学硕士生，吴睿海是北京大学博士生；通讯作者董豪是北京大学助理教授，其领导的实验室主要研究方向为具身智能、大模型、计算机视觉与强化学习。 论文链接：：： SE (3) 等变的扩散策略（ET-SEED），通过将等变表示学习和扩散策略结合，使机器人能够在极少的示范数据下高效学习复杂操作技能，并能够泛化到不同物体姿态和环境中。
开启空间智能问答新时代：Spatial-RAG框架来了
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
大模型推理新范式！清华&蚂蚁：用编程思维来思考，用自然语言来表达
2024 年 9 月，OpenAI 携 o1 模型吹响推理革命的号角，以惊人的思维链长度刷新认知边界。在这场技术革命中，中国力量迅速崛起：DeepSeek R1 以极低的训练成本成功复现 o1 性能，引发全球热议。然而，在振奋的结果背后，上述「灵魂拷问」似乎并没有得到解答
上海AI Lab最新推出Mixture-of-Memories：线性注意力也有稀疏记忆了
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
北京大学彭宇新教授团队开源最新多轮交互式商品检索模型、数据集及评测基准
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
生成与理解相互促进！华科字节提出Liquid，揭示统一多模态模型尺度规律！
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
ICRA 2025｜清华x光轮：自驾世界模型生成和理解事故场景
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
中国团队首次夺魁！无问芯穹FlightVGM获FPGA'25最佳论文，峰值算力超GPU，抹平21倍
国际可重构计算领域顶级会议 ——FPGA 2025 在落幕之时传来消息，今年的最佳论文颁发给了无问芯穹和上交、清华共同提出的视频生成大模型推理 IP 工作 FlightVGM，这是 FPGA 会议首次将该奖项授予完全由中国大陆科研团队主导的研究工作，同时也是亚太国家团队首次获此殊荣。 这项工作首次在 FPGA 上实现了视频生成模型（Video Generation Models, VGMs）的高效推理，也是该团队继去年在 FPGA 上加速大语言模型 FlightLLM（FPGA’24）后的最新系列工作。 与 NVIDIA 3090 GPU 相比，FlightVGM 在 AMD V80 FPGA 上实现了 1.30 倍的性能提升与 4.49 倍的能效提升（峰值算力差距超过 21 倍）。
将越狱问题转换为求解逻辑推理题：「滥用」推理能力让LLM实现自我越狱
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
DeepSeek R1也会大脑过载？过度思考后性能下降，少琢磨让计算成本直降43％
原来，大型推理模型（Large Reasoning Model，LRM）像人一样，在「用脑过度」也会崩溃，进而行动能力下降。 近日，加州大学伯克利分校、UIUC、ETH Zurich、CMU 等机构的研究者观察到了这一现象，他们分析了 LRM 在执行智能体任务过程中存在的推理 - 行动困境，并着重强调了过度思考的危险。 论文标题：The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks论文链接：「单机模式」下，这些模型在实时互动的环境中仍是「思想上的巨人，行动中的矮子」。
大模型是否有自知之明？新研究发现LLM可以知晓自己的知识范围
对于人工智能，有一个话题总会时而冒出来：「AI 是否或能否具有自我意识」？ 对于这个问题，目前还没人能给出非常确切的答案，但近日 Chandar Research Lab 和 Mila - 魁北克人工智能研究所等机构的一项研究却揭开了这神秘问题的一角。 他们发现，大型语言模型（LLM）有自知之明，也就是说，只要规模够大，它们就能够知道自己对某个主题的了解程度。
ICLR 2025｜AI不语，只是一味根据人类意图推理3D空间定位
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
MIT三人团队：用Transformer解决经验贝叶斯问题，比经典方法快100倍
Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。 由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。 针对经典统计问题训练 Transformer 的好处有两个：可以得到更好的估计器；可以在一个有比 NLP 更加容易和更好理解的统计结构的领域中阐释 Transformer 的工作机制。