训练
微软Phi-4家族新增两位成员，5.6B多模态单任务超GPT-4o，3.8B小模型媲美千问7B
动辄百亿、千亿参数的大模型正在一路狂奔，但「小而美」的模型也在闪闪发光。 2024 年底，微软正式发布了 Phi-4—— 在同类产品中表现卓越的小型语言模型（SLM）。 仅用了 40% 合成数据，140 亿参数的 Phi-4 就在数学性能上击败了 GPT-4o。
摆脱编码器依赖！Encoder-free 3D多模态大模型，性能超越13B现有SOTA | 上海AI Lab港中文等团队新作
无编码器多模态大模型被拓展到3D领域——3D编码器的功能被融入LLM本身，无编码器3D LMM适应不同的点云分辨率，摆脱预训练编码器的依赖。 来自上海AI Lab、西北工业大学、香港中文大学、清华大学等提出ENEL，在预训练阶段探索了如何使用自监督损失将3D编码器的功能整合到LLM本身，在指令调优阶段提出了一种层次几何聚合策略，基于PointLLM首次全面研究了无编码器架构在3D多模态大模型中的潜力。 在Objaverse基准测试中，ENEL表现突出，性能上超越目前SOTA ShapeLLM-13B。
英伟达下场，首次优化DeepSeek-R1！B200性能狂飙25倍，碾压H100
当FP4的魔法与Blackwell的强大算力相遇，会碰撞出怎样的火花？ 答案是：推理性能暴涨25倍，成本狂降20倍！ 随着DeepSeek-R1本地化部署的爆火，英伟达也亲自下场，开源了首个基于Blackwell架构的优化方案——DeepSeek-R1-FP4。
DeepSeek会说话了！只要2行代码，这家公司让任意大模型秒开口
就在最近，生成式AI行业，诞生了一个新赛道——所有文本模型，可以立刻秒变多模态了！ 如今的大模型混战局势，情况已经很明显，去一味卷大模型供应商，投入产出比已经不高。 此时，这个产品的另辟蹊径，就格外显得独树一帜——他们要做的，是让任意大模型开口说话，甚至是DeepSeek！
多模态大模型对齐新范式，10个评估维度全面提升，快手&中科院&南大打破瓶颈
尽管多模态大语言模型（MLLMs）取得了显著的进展，但现有的先进模型仍然缺乏与人类偏好的充分对齐。 这一差距的存在主要是因为现有的对齐研究多集中于某些特定领域（例如减少幻觉问题），是否与人类偏好对齐可以全面提升MLLM的各种能力仍是一个未知数。 快手，中科院，南大合作从三个层面入手推动MLLM alignment的发展，包括数据集，奖励模型以及训练算法，最终的alignment pipeline使得不同基础模型在10个评估维度，27个benchmark上都取得了一致的性能增益，比较突出的是，基于本文提出的数据集和对齐算法对LLaVA-ov-7B模型进行微调后， conversational能力平均提升了19.5%，安全性平均提升了60%。
港理工OccProphet：纯视觉Occ SOTA！速度提升至2.6倍，内存占用减少60%
本文分享一篇由香港理工大学最近公开的发表于ICLR2025的论文『OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework』。 作者在文中提出了一个轻量级的观察器-预报器-细化器框架OccProphet来实现高效的未来4D占用预测。 OccProphet在nuScenes、 Lyft-Level5和nuScenes-Occupancy等多个数据集上取得最先进的4D占用预测性能，成本减少近80%！
阿里全面开源文生视频模型万相2.1：14B和1.3B双版本上线
今日，阿里巴巴官方宣布全面开源旗下视频生成模型万相2.1模型，14B和1.3B双版本上线。 其中，专业版14B，高性能，提供业界顶尖的表现力可满足对视频质量有极高要求的场景;而极速版1.3B，适合消费级显卡，8.2GB显存即可生成480P高质量视频，适用于二次模型开发和学术研究。 据官方介绍，本次开源的 Wan2.1在处理复杂运动、还原真实物理规律、提升影视质感及优化指令遵循方面展现出显著优势，能够满足创作者、开发者和企业用户的多样化需求。
通义万相开源视频生成模型Wan2.1：8.2G显存即可生成480P视频
近日，通义宣布开源其最新的通义万相大模型 Wan2.1。 Wan2.1是一款专注于高质量视频生成的 AI 模型，凭借其在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面的卓越表现，成为了创作者、开发者和企业用户拥抱 AI 时代的首选工具。 在权威评测集 Vbench 中，通义万相 Wan2.1以总分86.22% 的成绩登顶榜首，大幅领先国内外其他知名视频生成模型，如 Sora、Minimax、Luma、Gen3和 Pika 等。
官方承认系统「作弊」，世界首个「AI CUDA工程师」翻车？o3-mini 11秒发现bug
近日，获英伟达支持、已获数亿美元风投资金的Sakana AI爆出戏剧性反转。 此前，该公司宣称开发出「AI CUDA工程师」，能将特定模型训练速度提升最高达100倍，引发行业关注。 然而，网友却发现，这个系统根本不管用。
如何让大模型感知知识图谱知识？蚂蚁联合实验室：利用多词元并行预测给它“上课”
如何让大模型感知知识图谱知识？ 蚂蚁联合实验室：利用多词元并行预测给它“上课”。 大语言模型的飞速发展打破了许多自然语言处理任务间的壁垒。
单提示生成「主体一致」图像，且无需训练！已斩获ICLR 2025 Spotlight
现在的AI画图工具，比如文图生成模型，已经能根据文字描述创作出高质量的图像了。 但是，当我们需要用模型来画故事，并且希望故事中的人物在不同场景下都保持一致时，这些模型就有点犯难了。 目前，为了解决人物不一致的问题，通常需要用海量数据进行额外训练，或者对模型本身进行比较复杂的修改。
不用GAN不用扩散，无需训练解锁AI生图新境界！判别模型成神秘第三极
判别模型与生成模型长期以来彼此独立，前者专注于分类和识别，后者用于数据生成。 最近一项名为「直接上升合成」（Direct Ascent Synthesis，DAS）的独立研究，颠覆了这一传统观念，揭示出判别模型中隐藏着令人惊叹的生成能力。 论文链接：。
1/30训练步骤复刻DeepSeek-R1-Zero，沈向洋姜大昕张祥雨等开源推理模型RL训练方法
DeepSeek啥都开源了，就是没有开源训练代码和数据。 现在，开源RL训练方法只需要用1/30的训练步骤就能赶上相同尺寸的DeepSeek-R1-Zero蒸馏Qwen。 国内大模型六小强之一的阶跃星辰联与清华联合发布Open Reasoner Zero（ORZ），由AI大拿沈向洋、阶跃星辰创始人/CEO姜大昕、ResNet作者张祥雨等一众大佬亲自署名。
DeepSeek、OpenAI、Kimi视觉推理到底哪家强？港中文MMLab推出推理基准MME-COT
OpenAI o1和DeepSeek-R1靠链式思维（Chain-of-Thought, CoT）展示了超强的推理能力，但这一能力能多大程度地帮助视觉推理，又应该如何细粒度地评估视觉推理呢？ 为此，来自港中文MMLab的研究者们提出了MME-CoT。 这是一个全面且专门用于评估LMMs中视觉推理能力的Benchmark，包括了数学、科学、OCR、逻辑、时空和通用场景。
大模型扩展新维度：Scaling Down、Scaling Out
本文由悉尼大学计算机学院王云柯，李言蹊和徐畅副教授完成。 王云柯是悉尼大学博士后，李言蹊是悉尼大学三年级博士生，徐畅副教授是澳洲ARC Future Fellow，其团队长期从事机器学习算法、生成模型等方向的研究。 近年来， Scaling Up 指导下的 AI 基础模型取得了多项突破。
机器人视觉控制新范式！ByteDance Research新算法实现通过性能SOTA
世界模型（World Model）作为近年来机器学习和强化学习的研究热点，通过建立智能体对其所处环境的一种内部表征和模拟，能够加强智能体对于世界的理解，进而更好地进行规划和决策。 在强化学习领域中，世界模型通常被建模为一个神经网络，通过历史状态和动作，预测未来可能出现的状态。 其中，Dreamer 算法在多种模拟环境的成功表现让我们看到了世界模型优秀的表征和泛化能力。
再次颠覆学界想象，何恺明发表新作：扩散模型不一定需要噪声条件
一直以来，研究者普遍认为，去噪扩散模型要想成功运行，噪声条件是必不可少的。 而大神何恺明的一项最新研究，对这个观点提出了「质疑」。 「受图像盲去噪研究的启发，我们研究了各种基于去噪的生成模型在没有噪声调节的情况下的表现。
小红书等给AI图像检测上难度！数据集均通过人类感知“图灵测试” | ICLR 2025
量：图像分辨率从720P到4K不等，提供了更高质量的图像数据，增加了检测模型的挑战性。 AIDE模型：多专家融合的检测框架在AI生成图像检测领域，现有的检测方法往往只能从单一角度进行分析，难以全面捕捉AI生成图像与真实图像之间的细微差异。 为了解决这一问题，研究者们提出了简单且有效的AIDE（AI-generated Image DEtector with Hybrid Features）模型，该模型通过融合多种专家模块，从低级像素统计和高级语义两个层面全面捕捉图像特征，实现了对AI生成图像的精准检测。