训练

DeepSeek并非完美，训练过程存在“深度诅咒”

高性能大模型在训练的过程中通常需要数千个GPU，耗费数月甚至更长时间才能完成一次训练。这种巨大的资源投入使得模型的每一层都必须高效训练，才能确保算力资源最大化利用。但大连理工、西湖大学、牛津大学等研究人员对DeepSeek、Qwen、Llama和Mistral研究发现，这些模型的深层在训练过程中表现并不好，甚至可以被完全剪枝而不会影响模型性能。

2/12/2025 1:42:25 PM

AIGC开放社区

AI太强，验证码全失效？新南威尔士全新设计：GPT傻傻认不出，人类一致好评

验证码通过利用人类与机器的认知差异实现身份验证。传统的验证码方案主要依赖文本扭曲[1]、图像分类[2,3]或逻辑推理[4]来区分人类与机器，但随着多模态LLMs(Large Language Model)的发展[5]，这些方法逐渐失效，机器也能达到人类水平的认知。 GPT-4o对简单「文本验证码」的破解成功率超过90%，Gemini 1.5 Pro 2.0[6]能识别带噪声的「reCAPTCHA图像」（成功率50%）；LLMs在「推理验证码」上的表现较差（平均成功率20%），但人类用户的失败率也同样很高。

2/12/2025 1:37:56 PM

新智元

DeepSeek R1 搭建个人 AI 知识库

前言上一篇文章写到了部署本地deepseek，基于这篇文章，继续讲一下如何搭建自己的知识库。可能很多人会有疑问，本地部署有什么优势呢。其实如果不是有特别的技术研究和比较私密的数据，可以不用搭建。

2/12/2025 12:12:59 PM

cqhly

Deepseek的前世今生

DeepSeek（深度求索）引起硅谷“恐慌”，性能超越了美国的顶尖模型，且研发成本更低，使用的芯片性能也较弱。甚至有人猜测DeepSeek（深度求索）模型对美国股市都构成了威胁。中国AI公司证明了用有限的计算资源，足以做出顶尖水平的模型。

2/12/2025 11:25:39 AM

小扒

AI已学会自我复制！复旦新研究：开源LLM克隆成功率最高90%

AI已跨越关键「红线」，实现了自我复制。复旦大学的研究人员在一项新研究中，展示了两种开源的LLM具备自我克隆的能力。在没有人类帮助的情况下，AI成功实现自我复制，这不仅是它超越人类的关键一步，也是「流氓AI」出现的早期信号。

2/12/2025 10:05:00 AM

新智元

突发！马斯克 vs 奥特曼，974亿美金收购OpenAI战打响，老马直言奥特曼是“诈骗犯”

💣 重磅炸弹！马斯克974亿美元天价求购OpenAI！奥特曼直接“泼冷水”：没兴趣，不如我买你X？

2/11/2025 11:19:52 AM

AI寒武纪

清华姚班校友等揭Transformer致命缺陷，OpenAI科学家紧急回应：学术界节奏太慢

谁能想到，一篇于2023年发表的LLM论文，竟然在一年半之后又「火」了。聊天机器人开始面临根本性的限制论文中，来自Ai2、华盛顿大学等机构研究人员称，Transformer在组合能力上存在限制。以基本的乘法为例，让「GPT-4」计算两个三位数的乘积，最初的正确率仅有59%。

2/11/2025 9:15:00 AM

新智元

推理时也能做偏好优化，无需额外重训练，来自上海AI Lab港中文等

随着大语⾔模型（LLMs）在各类任务中展现出令人瞩目的能力，如何确保它们⽣成的回复既符合预期又安全，始终是⼀项关键挑战。传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。为了突破这⼀瓶颈，上海人工智能实验室、香港中文大学等联合提出了推理时偏好优化（TPO）方法，通过在推理阶段与奖励模型交互，借助可解释的文本反馈，迭代优化模型输出，实现了即时的模型对⻬，⽽⽆需重新训练。

2/10/2025 2:05:00 PM

量子位

如何优化测试时计算？解决「元强化学习」问题

优化大模型的测试时计算是提升模型部署效率和节省计算资源的关键一环。前段时间，黄仁勋在 CES 2025 的演讲中把测试时 Scaling 形容为大模型发展的三条曲线之一。如何优化测试时计算成为业界关注的重要课题。

2/10/2025 1:50:00 PM

机器之心

LLM实现自回归搜索！MIT哈佛等提出「行动思维链」COAT，推理能力大提升

OpenAI o1发布后，为提升LLM的推理能力，研究者尝试了多种方法。比如用强大的教师模型进行知识蒸馏、采用蒙特卡洛树搜索（MCTS），以及基于奖励模型的引导搜索。近日，来自MIT、新加坡科技设计大学、哈佛大学等机构的华人研究者探索了全新的方向：让LLM拥有自回归搜索能力。

2/10/2025 1:00:00 PM

新智元

SFT并非必需！推理模型仅靠RL就能获得长思维链能力，清华CMU团队破解黑盒

DeepSeek-R1慢思考、长推理的表现，展现了训练步骤增加，会导致长CoT的涌现。它通过模拟人类思维逐步推导答案，提升了AI大模型的推理能力和可解释性。但长CoT的触发条件是什么？

2/10/2025 9:35:00 AM

量子位

无需引导采样，清华大学提出视觉模型训练新范式

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。

2/9/2025 2:30:00 PM

机器之心

谷歌AI解决IMO中84%的几何问题，o1一道没做对！Nature：AI已超过金牌得主平均水平

谷歌DeepMind最新数学AI，一举解决了2000-2024年IMO竞赛中84%的几何问题。 AlphaGeometry2论文发布，在总共50道题中完成了42道，相比去年的一代多完成了15道。作为对比，纯语言模型OpenAI o1和Gemini Flash Thinking一道都解决不了。

2/8/2025 2:00:00 PM

量子位

英伟达联手MIT清北发布SANA 1.5！线性扩散Transformer再刷文生图新SOTA

近年来，文本生成图像的技术不断突破，但随着模型规模的扩大，计算成本也随之急剧上升。为此，英伟达联合MIT、清华、北大等机构的研究人员提出了一种高效可扩展的线性扩散Transformer——SANA，在大幅降低计算需求的情况下，还能保持有竞争力的性能。 SANA1.5在此基础上，聚焦了两个关键问题：线性扩散Transformer的可扩展性如何？

2/7/2025 2:01:20 PM

新智元

16张H100训26分钟，超越o1-preview！李飞飞等用1K样本，揭秘测试时Scaling

OpenAI o系列模型为何性能如此强大？ OpenAI将他们的方法描述为使用大规模强化学习（RL），暗示使用了大量的数据。最近大火的DeepSeek-R1模型也通过使用数百万个样本和多个训练阶段使用强化学习的方式，成功地达到了o1级别的性能。

2/6/2025 2:28:16 PM

新智元

小红书提出新面部视频交换方法DynamicFace，可生成高质量且一致的视频面部图像

DynamicFace是一种新颖的面部视频交换方法，旨在生成高质量且一致的视频面部图像。该方法结合了扩散模型的强大能力和可插拔的时间层，以解决传统面部交换技术面临的两个主要挑战：在保持源面部身份的同时，准确传递目标面部的运动信息。通过引入四种细粒度的面部条件，DynamicFace能够对面部特征进行更精确的控制，从而实现高保真度的面部交换。

2/6/2025 10:45:00 AM

AIGC Studio