数据
闲来无事，我测了测国产大模型的RAG能力 新智元 新智元 2025年01月27日 12:25 北京
最近，AI界被推理模型刷屏了。 国内各家的推理模型，在新年到来之际不断刷新我们的认知。 不过，当我们在实际应用中考量大模型，衡量好不好用的标准，就绝不仅仅局限于其性能和规模了。
在2025年初，浅浅聊一聊世界模型 World Models
Update 1月10日:感谢评论区补充world model在RL中的定义！ 感觉在RL中的定义，world model是针对一个具体子任务的模型，最近上述公司提到的World Model的尺度似乎更大、更加通用，更多从：Language Generation Model (ChatGPT)-Image Generation Model(StableDiffusion)-Video/3D Geneartion Model (二者各有侧重因此平级)-World Generation Model(同时具备时序和空间序建模)这么一个趋势。 当然这个World似乎想要包容一切，于是也并不清晰到底是什么样的表征：是否是video sequence?
鄂维南李航领衔造高级论文搜索Agent，召回率和精准性超谷歌学术等，磕盐党狂喜
中科院院士鄂维南、字节AI实验室总监李航领衔，推出高级论文搜索Agent。 名为PaSa，两个Agent分别执行多轮搜索和判断论文是否满足查询要求的任务，模仿人类复杂学术搜索行为。 现在就有Demo可玩。
解密FedDAT：首个多模态异构联邦学习高效微调框架，突破数据异构与通信瓶颈！
FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning一、 一眼概览FedDAT提出了一种创新的双适配器教师框架（Dual-Adapter Teacher, DAT），结合参数高效微调和互知识蒸馏，解决了多模态异构联邦学习（FL）中的数据异构性问题，并在多个视觉-语言任务基准上取得了最优表现。 二、核心问题如何在多模态联邦学习环境中，在数据异构性和通信预算限制下，实现基础模型的高效分布式微调，以提升视觉-语言任务的性能，是本研究的核心问题。 三、 技术亮点1.
DeepSeek-R1持续震撼硅谷：跻身竞技榜前三，创始人梁文锋采访被“拿放大镜”看
“神秘东方力量”DeepSeek给硅谷带来的影响，还在不断泛起涟漪——刚刚，DeepSeek-R1跻身大模型竞技榜前三。 以开源、便宜20倍的“身价”与ChatGPT-4o（2024.11.20）并列。 在复杂提示词/风格控制榜单上，R1位列第一。
颠覆LLM格局！AI2新模型OLMo2，训练过程全公开，数据架构双升级
最近，非营利研究机构AI2上新了OLMo2系列模型，他们称之为「迄今为止最好的完全开源模型」。 OLMo 2系列包含7B和13B两个型号，相比如Llama 3.1和Qwen 2.5等开源模型达到了同等甚至更优的性能，同时FLOPS计算量更少，在性能和计算效率之间取得了极佳的平衡，为开源LLM开辟了新的可能性。 不同大小开源模型的性能对比，OLMo 2的表现优于同参数规模模型在多个下游任务上，OLMo 2展现出了强大的泛化能力和适应能力。
史上最难大模型测试集，千名专家铸成！没有模型得分超过10%，但DeepSeek-R1超o1
史上最难的大模型测试集来了！ 包括o1在内，没有任何一个模型得分超过10%。 题目来自500多家机构的1000多名学者，最终入围的题目有3000多道，全部都是研究生及以上难度。
阿里云通义大模型新技术：MoE模型训练专家平衡的关键细节
本周，在阿里云通义千问 Qwen 团队提交的一篇论文中，研究人员发现了目前最热门的 MoE（混合专家模型）训练中存在的一个普遍关键问题，并提出一种全新的方法——通过轻量的通信将局部均衡放松为全局均衡，使得 MoE 模型的性能和专家特异性都得到了显著的提升。 论文：《Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models》论文链接： 模型训练中的关键问题混合专家模型（MoEs）通过路由机制动态并稀疏地激活模型参数，使得能高效地增大模型参数规模。 基于 TopK 机制的稀疏激活会在训练中会遇到专家激活不均衡的问题：少数被频繁选择的专家会被优化得更多，进一步使得这些专家被更频繁地选择，最终导致只选择少数专家，造成剩余专家的冗余。
中国AI太强，Meta工程师吓疯？自曝疯狂熬夜复制DeepSeek，天价高管心虚了
今天，Meta员工在匿名社区TeamBlind上的一个帖子，在业内被传疯了。 DeepSeek，真实地给了美国人亿点点「震撼」。 DeepSeek R1是世界上首个与OpenAI o1比肩的AI模型，而且与o1不同， R1还是开源模型「Open Source Model」，比OpenAI还Open!更有人曝料，DeepSeek还只是个「副项目」，主业根本不是搞大模型！
小模型也能玩转RAG！性能仅降1%，存储省75%，边缘设备轻松跑
检索增强生成（RAG）虽好，但一直面临着资源消耗大、部署复杂等技术壁垒。 近日，香港大学黄超教授团队提出MiniRAG，成功将RAG技术的应用门槛降至1.5B参数规模，实现了算力需求的大幅降低。 这一突破性成果不仅为边缘计算设备注入新活力，更开启了基于小模型轻量级RAG的探索。
20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式
仅使用20K合成数据，就能让Qwen模型能力飙升——模型主观对话能力显著提升，还能实现模型自我迭代。 最近，来自上海AI Lab的研究团队针对合成数据技术展开研究，提出了SFT数据合成引擎Condor，通过世界知识树（World Knowledge Tree）和自我反思（Self-Reflection）机制，探索合成海量高质量SFT数据的方案。 结果，他们还意外发现，在增大合成数据量的情况下，模型性能持续提升。
Anthropic CEO惊人预警：27年AI超越人类！Claude今年更新全剧透
失踪人口终于回归了！ 在互联网消失一段时间后，Anthropic首席执行官Dario Amodei一上来就接受了WSJ、CNBC两家采访，连曝AI大瓜。 他坚定地认为，「2027年之前，AI完全可以超越人类智能！
仅用25%数据实现性能超越！MapGS：解决特定传感器配置的在线建图模型训练问题
本文经3D视觉之心公众号授权转载，转载请联系出处。 避免传感器配置差异近年来，多模态传感器融合的新进展推动了自动驾驶应用中感知方法的发展。 这些进展涵盖了 3D 目标检测、在线地图生成与推理、占用预测，以及端到端框架的形式。
看破不可见数据集，自我监督学习成为细胞组学新的复杂系统处理利器
编辑丨&自我监督学习 SSL 是一个概念，即数据及其固有的成对关系足以学习有意义的数据表示。 监督学习依赖于成对的观察值和标签 ，而 SSL 仅依赖于输入和样本间关系 。 SSL 已成为一种强大的方法，用于从庞大、未标记的数据集中提取有意义的表示，从而改变计算机视觉和自然语言处理。
人大、东北大学联合开发「图机器学习库」Jittor Geometric！性能超越PYG、DGL
近日，中国人民大学与东北大学联合开发了图机器学习库Jittor Geometric，其1.0版本近日已正式发布。 Jittor Geometric以国产深度学习框架Jittor为基础技术架构，聚焦图数据，在图存储、图计算、图学习等方面作了细致优化，整合、加速了现有多类图神经网络模型，模型运行时间在多种图学习任务上较Pytorch Geometric（PyG）、Deep Graph Library（DGL）等同类型框架提升10%~50%。 同时，Jittor Geometric简洁、易用、跨平台通用性强、用户学习成本低，目前已用于研究生课程教学。
追平满血版o1的国产多模态模型终于来了！训练细节全部公开
春节前最后一周，能媲美 Open AI 满血版 o1（Full Version，而非 preview）的模型终于出现了！ 刚刚，月之暗面公布了他们的 Kimi k 系列模型最新版本 ——k1.5 多模态思考模型。 新模型在数学、代码、多模态推理能力等方面全面对标 Open AI 满血版 o1，而且是 OpenAI 之外首个多模态 o1。
多活十年！OpenAI为研究长寿推出GPT-4b，联手清华大牛丁胜搞“细胞重编程”，奥特曼本人投资
OpenAI要研究人类长寿问题了？ ？ 推出新模型GPT-4b micro。
阶跃公开了自家新型注意力机制：KV缓存消耗直降93.7%，性能不减反增
随着当前大语言模型的广泛应用和推理时扩展的新范式的崛起，如何实现高效的大规模推理成为了一个巨大挑战。 特别是在语言模型的推理阶段，传统注意力机制中的键值缓存（KV Cache）会随着批处理大小和序列长度线性增长，俨然成为制约大语言模型规模化应用和推理时扩展的「内存杀手」。 虽然业界已有 MQA、GQA、MLA 等多种注意力机制变体试图解决这一问题，但这些方案要么难以在严格的显存限制下保持理想性能，要么在模型结构上引入额外复杂度，带来巨大的工程挑战和生态兼容性问题。