泛化

字节跳动研究团队最新推出了第二代机器人大模型 GR-2（Generative Robot2.0），其亮点在于创新构建“机器人婴儿期”学习阶段，模仿人类成长学习复杂任务，具备卓越的泛化能力和多任务通用性。 GR-2 模型和其它很多 AI 模型一样，包括预训练和微调两个过程。在预训练阶段，GR-2“观看”了多达 3800 万个来自各类公开数据集的互联网视频以及 500 亿个 tokens，涵盖了家庭、…

论文标题：Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize论文链接：：，深度神经搜集 SGD scaling的机器进修范式再次证明了其在AI领域的主导地位。为什么鉴于深度神经搜集的范式能够取得成功？比较普遍的观点是：神经搜集具有从海量的高维输入数据中自动进修抽象而可泛化…

宗旨搭档泛化（goal misgeneralization）是一种分布外泛化失利，智能体在分布外保留了威力但追求了搭档的宗旨。

在范围泛化 (Domain Generalization, DG) 任务中，当范围的散布随环境连续变革时，如何准确地捕捉该变革以及其对模型的影响是非常重要但也极富挑战的课题。为此，来自 Emory 大学的赵亮教授团队，提出了一种鉴于贝叶斯实际的光阴域泛化框架 DRAIN，利用递归搜集进修光阴维度范围散布的漂浮，同时通过动静神经搜集以及图生成技术的结合最大化模型的表达能力，实现对现在未知范围上的模型…

自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）…… 对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低…

本文是 ICLR 2022入选论文《ToM2C: Target-oriented Multi-agent Communication and Cooperation with Theory of Mind》的解读。该论文由北京大学王亦洲课题组完成。文章提出了一种鉴于心智理论的多智能体通讯与分工方法。每一个智能体鉴于对他人心理状态的猜测独立地抉择通讯对象和个体行动，进而实现分布式的分工。试验表明该方…

前段时间，加州大学伯克利分校 Moritz Hardt 和 Benjamin Recht 合著的新书受到了广泛关注。这本书次要阐述了机械进修的模式、预测以及实现，并面向研究生使用。