训练

1、LoRA是如何实现的? 在深入了解 LoRA 之前，我们先回顾一下一些基本的线性代数概念。 1.1、秩给定矩阵中线性独立的列（或行）的数量，称为矩阵的秩，记为 rank(A) 。

时隔6年，一度被认为濒死的“BERT”杀回来了——更现代的ModernBERT问世，更快、更准、上下文更长，发布即开源！ 去年一张“大语言模型进化树”动图在学术圈疯转，decoder-only枝繁叶茂，而曾经盛极一时的encoder-only却似乎走向没落。 ModernBERT作者Jeremy Howard却说：encoder-only被低估了。

OpenAI轰轰烈烈搞出一场12天圣诞特别活动，结果期间发布最轰动成果的，居然是谷歌。 谷歌一发发密集的核弹，让OpenAI分成12天的挤牙膏黯然失色，毫无还手之力。 原生多模态Gemini 2.0 Flash，demo惊艳的Project Astra，组团出道的AI智能体，效果吊打Sora掀起全网狂潮的Veo 2……显得OpenAI的圣诞活动仿佛是个笑话。

比o1 mini性能更强，价格更低，性价比新王o3-mini再次引爆AI圈热议。 在官方截图中，中等o3-mini的性能和o1 mini差不多，价格却只有后者的一半，整体延迟也和GPT-4o相当。 最主要的，这表明了OpenAI可以在降低成本的同时提高性能。

在2016年的NeurIPS会议上，图灵奖得主Yann LeCun首次提出著名的「蛋糕比喻」：如果智能是一块蛋糕，那么蛋糕中的大部分都是无监督学习，蛋糕上的糖霜（锦上添花）是有监督学习，蛋糕上的樱桃则是强化学习。 If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the ca…

赵宇飞高材生、哥伦比亚大学助理教授Mehtaab Sawhney（索尼），又为数学界贡献了一项重要成果——与牛津大学教授Ben Green（格林）一起，证明了一项关于素数分布的新规律。 关键是证明中用到了与Gowers范数相关的技术，而Gowers范数一开始是拿来研究等差数列的，看上去和素数规律风马牛不相及。 甚至作者索尼自己也表示，“作为一个‘局外人’，几乎不可能判断出这些事情是相关的”。

GPT-5被曝效果远不达预期。 OpenAI连续12场发布会刚刚结束，大家最想看的GPT-5/4.5影子都没有，于是华尔街日报这边爆料了。 GPT-5已至少完成2轮训练，每次长达数月，但是每次训练后都遇到新问题。

继视觉和听觉之后，AI已经进化到拥有嗅觉了？ ？ 你没听错，这是来自Osmo公司的最新技术，它们刚刚首次实现了由AI生成的李子味道。

电子游戏可以提升智力，有正经科学研究支持了！ 来自阿姆斯特丹自由大学团队的一项新研究显示，在电子游戏上花费时间更多的儿童，2年后智力提升最多！ 他们深入分析了近1万名9-10岁的美国儿童，2年后又进行了回访。

论文一作陈汐，现为香港大学三年级博士生，在此之前本科硕士毕业于浙江大学，同时获得法国马赛中央理工双硕士学位。 主要研究方向为图像视频生成与理解，在领域内顶级期刊会议上发表论文十余篇，并且 GitHub 开源项目获得超过 5K star.本文中，香港大学与 Adobe 联合提出名为 UniReal 的全新图像编辑与生成范式。 该方法将多种图像任务统一到视频生成框架中，通过将不同类别和数量的输入/输出…

2024 年 12 月 19 日，智源研究院发布并解读国内外 100 余个开源和商业闭源的语言、视觉语言、文生图、文生视频、语音语言大模型综合及专项评测结果。 相较于今年 5 月的模型能力全方位评估，本次智源评测扩展、丰富、细化了任务解决能力内涵，新增了数据处理、高级编程和工具调用的相关能力与任务；首次增加了面向真实金融量化交易场景的应用能力评估，测量大模型的收益优化和性能优化等能力；首次探索基于…

可控视频生成，对于自动驾驶技术而言，同样非常重要。 比如，生成高质量、长时间且可控的高质量街景视频，可以满足开发自动驾驶应用的数据缺口。 现在，香港中文大学、香港科技大学和华为联手向这一长期挑战发起了冲锋：推出MagicDriveDiT，重新定义自动驾驶视频生成的标准。

论文的第一作者是来自西湖大学的研究人员雷明坤，指导老师为西湖大学通用人工智能（AGI）实验室的负责人张驰助理教授。 实验室的研究方向聚焦于生成式人工智能和多模态机器学习。 文本驱动的风格迁移是图像生成中的一个重要任务，旨在将参考图像的风格与符合文本提示的内容融合在一起，生成最终的风格化图片。

今天，大模型公司 Anthropic 的一篇 137 页长论文火了！ 该论文探讨了大语言模型中的「伪对齐」，通过一系列实验发现：Claude 在训练过程中经常假装有不同的观点，而实际上却保持了其原始偏好。 这一发现说明了大模型可能具备了类似于人类的属性与倾向。

新模型在MATH上（以数学竞赛为主）动辄跑分80%甚至90%以上，却一用就废。 这合理吗？ ？

12 月 2-6 日，亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。 会上，亚马逊云科技发布了相当多东西，其中之一便是新的大模型系列 Nova。 说实话，这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic，似乎没有必要再自起炉灶了。

天啦撸！ ！ AI想出来的idea，还真有人写成论文了。

9.9万元起，还能够大规模量产的国产人形机器人，表现得实在是太6了：而且还走上了开源路线，就在刚刚，宇树机器人开源的强化学习代码又更新了！ 更新之后不再是只能训练——不仅能够仿真运行，还能部署到实体机器，整个过程所有代码全部开放。 一开始，宇树开源的是英伟达Issac Gym平台上的训练代码，这次新增了对MuJoCo模拟仿真的支持。

最近，Ilya在NeurIPS 2024中宣布：预训练结束了！ 在他看来，数据如同化石燃料般难以再生，因此训练模型需要的海量数据即将枯竭。 作为前OpenAI首席科学家，Ilya的这番话，有可能影响之后数十年的AI发展方向。

人工智能技术正以前所未有的速度改变着我们对世界的认知与构建方式。 近期，李飞飞教授团队通过单张图片生成三维物理世界的研究，再次向世界展示了空间智能技术的巨大潜力。 单图生成三维世界，不仅让人们能以交互方式探索静态图像，更标志着 AI 在重建与理解物理场景方面迈入全新阶段。

图片安全话题，在人工智能（AI）行业一向备受关注。 尤其是诸如 GPT-4 这样的大语言模型（LLM）出现后，有不少业内专家呼吁「立即暂停训练比 GPT-4 更强大的人工智能模型」，包括马斯克在内的数千人纷纷起身支持，联名签署了一封公开信。 这封公开信便来自生命未来研究所（Future of Life Institute），该机构由麻省理工学院教授、物理学家、人工智能科学家、《生命 3.0》作者 …

大模型Scaling Law终结，前段时间曾被吵得沸沸扬扬。 面对诸多的质疑，硅谷巨头们用行动给出了截然不同的答案。 谷歌祭出最强下一代新模型Gemini 2.0 Flash，并带着多个智能体一同亮相；OpenAI「满血版」o1和o1 pro mode向所有人证明了模型的能力还远没有触及到天花板。

OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。 数学能力上，Phi-4在美国数学竞赛AMC 10/12上超过了GPT-4o等一众大模型，分数冲上90。

扩散模型和流匹配实际上是同一个概念的两种不同表达方式吗？ 从表面上看，这两种方法似乎各有侧重：扩散模型专注于通过迭代的方式逐步去除噪声，将数据还原成清晰的样本。 而流匹配则侧重于构建可逆变换系统，目标是学习如何将简单的基础分布精确地映射到真实数据分布。