泛化
字节跳动发布 GR-2 机器人 AI 大模型：任务平均完成率 97.7%，模拟人类学习处理复杂任务
字节跳动研究团队最新推出了第二代机器人大模型 GR-2（Generative Robot2.0），其亮点在于创新构建“机器人婴儿期”学习阶段，模仿人类成长学习复杂任务，具备卓越的泛化能力和多任务通用性。 GR-2 模型和其它很多 AI 模型一样，包括预训练和微调两个过程。在预训练阶段，GR-2“观看”了多达 3800 万个来自各类公开数据集的互联网视频以及 500 亿个 tokens，涵盖了家庭、户外、办公室等多种日常场景，让 GR-2 具备在后续策略学习中跨越广泛机器人任务和环境的泛化能力。在微调阶段，团队使用机
ICML 2024 | 特征污染：神经网络会学习不相关特征而泛化失败
论文标题：Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize论文链接：：，深度神经网络 SGD scaling的机器学习范式再次证明了其在AI领域的主导地位。为什么基于深度神经网络的范式能够取得成功？比较普遍的观点是：神经网络具有从海量的高维输入数据中自动学习抽象而可泛化的特征的能力。遗憾的是，受限于当前分析手段和数学工具的不足，目前我们对于“（深度）神经网络如何实现这样的特征学习过程”这
了解「目标错误泛化」
目标错误泛化（goal misgeneralization）是一种分布外泛化失败，智能体在分布外保留了能力但追求了错误的目标。
ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法
在领域泛化 (Domain Generalization, DG) 任务中，当领域的分布随环境连续变化时，如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此，来自 Emory 大学的赵亮教授团队，提出了一种基于贝叶斯理论的时间域泛化框架 DRAIN，利用递归网络学习时间维度领域分布的漂移，同时通过动态神经网络以及图生成技术的结合最大化模型的表达能力，实现对未来未知领域上的模型泛化及预测。本工作已入选 ICLR 2023 Oral (Top 5% among accepted papers)。
Creator 面对面 | 大规模预训练模型的新思考：效率和泛化
自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）……
对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低模型训练门槛和壁垒，同时兼顾性能和表现，在未来模型的训练上又会有怎样的思考呢？
ICLR 2022 | 基于心智理论的多智能体通信与合作
本文是 ICLR 2022入选论文《ToM2C: Target-oriented Multi-agent Communication and Cooperation with Theory of Mind》的解读。该论文由北京大学王亦洲课题组完成。文章提出了一种基于心智理论的多智能体通信与合作方法。每个智能体基于对他人心理状态的推测独立地选择通信对象和个体行动，进而实现分布式的合作。实验表明该方法提高了多智能体合作的成功率，大幅降低了通信代价，并且具有良好的泛化性能。
Judea Pearl推荐，UC伯克利研究者合著机器学习新书，可当研究生教材
前段时间，加州大学伯克利分校 Moritz Hardt 和 Benjamin Recht 合著的新书受到了广泛关注。这本书主要阐述了机器学习的模式、预测以及实现，并面向研究生使用。
- 1