NeurIPS 2023（Neural Information Processing Systems）神经信息处理系统大会是当前全球最负盛名的AI学术会议之一，将于12月10日在美国新奥尔良召开。根据官网邮件显示，本届会议共有12343篇有效论文投稿，接收率为 26.1％，高于 2022 年的 25.6％。
今年腾讯 AI Lab 共有18篇论文入选，包含一篇 Spotlight，内容涵盖机器进修、计算机视觉、自然语言处理等方向，以及AI在科研、游戏等领域的融合探索。
以下为论文概览。
机器进修
1. GADBench: Revisiting and Benchmarking Supervised Graph Anomaly Detection
GADBench：重新审视和基准测试监督图异常检测
论文链接：https://arxiv.org/abs/2306.12251
本文由AI Lab主导，和香港科技大学（广州）竞争实现。传统的图异常检测（GAD）算法和最近流行的图神经网络（GNN）有着悠久的历史，但目前尚存在三个问题：1）它们在标准综合设置下的功能如何；2）GNN是否优于传统的算法，如树集成；3）它们在大规模图上的效率如何。
鉴于此，本文引入了GADBench——一个专门用于静态图中监督异常节点检测的基准工具。GADBench有助于在10个真实世界的GAD数据集上进行29种不同模型的详细比较，包括数千到数百万(~ 6M)个节点。本文的主要发现是，具有简单邻域聚合的树集成可以优于为GAD工作量身定制的最新GNN。本文阐明了 GAD 当前的进展，并系统地评价了图异常检测算法，为后续图异常检测研究提供了系统的基准测试标准。
不同法子的决策边界比较。 蓝点代表异常节点，红点代表正常节点。 同样，蓝色/红色区域对应于异常/正常类的模型预测
2. Does Invariant Graph Learning via Environment Augmentation Learn Invariance?
图不变进修真的学到了不变性吗？
论文链接：https://openreview.net/forum?id=EqpR9Vtt13
本文由腾讯AI Lab主导，与香港中文大学和香港浸会大学竞争实现。不变图表示进修旨在进修来自不同环境/域的图数据之间的不变性，以便于图上的分布外泛化。由于图环境划分通常难以获得，因此现有的法子大多通过增强环境信息来弥补这一缺陷。然而，现有各类算法增强得到的环境信息的有效性从未得到验证。
在这项工作中，作者团队发现通过环境增强来进修不变图表示，在没有额外假设的情况下根本是不可能的。为此，本文开发了一套最小假设，包括变化充分性和变化一致性。然后，本文提出了一个新框架——图不变进修助手（GALA）。GALA包含一个需要对图环境变化或分布变化敏感的助手模型，助手模型的代理预测的正确性因此可以区分杂散子图中的变化。
通过提取对代理预测最大限度不变的子图，该法子可以在建立的最小假设下证明地识别出成功的分布外泛化所需的基础不变子图。在包括DrugOOD在内的各种图分布变化的数据集上进行的广泛实行证实了GALA的有效性，可以解决AI辅助制药中的分布变化问题。
3. Understanding and Improving Feature Learning for Out-of-Distribution Generalization
理解并提升分布外泛化中的特性进修
论文链接：https://openreview.net/forum?id=eozEoAtjG8
本文由腾讯AI Lab主导，与香港中文大学、RIKEN AIP、香港浸会大学竞争实现。对于分布外（OOD）泛化失败的常见解释是，采用经验风险最小化（ERM）训练的模型进修了虚假特性而不是不变特性。然而，最近的几项研究对这一解释提出了挑战，并发现深度网络可能已经进修了足够好的特性以进行OOD泛化。
尽管乍一看似乎存在矛盾，但本文理论上展示了ERM本质上进修了虚假特性和不变特性，而如果虚假相关性更强，ERM倾向于更快进修虚假特性。此外，当使用ERM进修的特性进一步进行使用OOD目标进行训练时，不变特性进修的质量显著影响最终的OOD功能，因为OOD目标很少进修新特性。因此，ERM特性进修可能成为OOD泛化的瓶颈。
为了减轻这种依赖，本文提出了特性增强训练（FeAT），以促使模型进修更丰富的特性，为OOD泛化做好准备。FeAT迭代地增强模型以进修新特性，同时保留已经进修的特性。在每一轮中，保留和增强操作在捕获不同特性的训练数据的不同子集上进行。广泛的实行证明，FeAT有效地进修了更丰富的特性，从而提高了各种OOD目标的功能。
4. Retaining Beneficial Information from Detrimental Data for Neural Network Repair
鉴于有益信息提纯的模型修复算法
论文链接：https://openreview.net/pdf?id=BJ1vOqh3hJ
本文由腾讯AI Lab 主导，与香港中文大学竞争实现。深度进修模型的表现很大程度上取决于训练数据的质量。训练数据的不足之处，如损坏的输入或带有噪声的标签，可能导致模型泛化能力不佳。近期的研究提出，通过找出导致模型失效的训练样本并消除它们对模型的影响，可以修复模型。然而，被识别出的数据可能同时包含有益和有害信息。简单地从模型中删除被识别数据的信息可能会对其功能产生负面影响，尤其是当正确的数据被误认为是有害的并被移除时。
为了应对这一挑战，本文提出了一种新颖的法子，利用保留下来的干净数据集中的知识。该法子首先利用干净数据集来识别有害数据，然后在被识别的数据中区分有益和有害信息。最后，本文利用提取出的有益信息来提升模型的功能。通过实证评价，该法子在识别有害数据和修复模型失效方面优于基准法子；特别是在识别困难且涉及大量良性数据的场景中，该法子在保留有益信息的同时提高了功能，而基准法子由于错误地删除有益信息而功能下降。
5. Secure Out-of-Distribution Task Generalization with Energy-Based Models
鉴于能量模型的元进修算法
论文链接：https://openreview.net/pdf?id=tt7bQnTdRm
本文由腾讯AI Lab与香港城市大学，麻省理工大学竞争实现。元进修在处理现实中的分布外（OOD）工作时，其成功率并不稳定。为了确保元进修中获得的先验知识能够有效地应用到 OOD 工作上，特别是在注重安全的应用时，往往需要先检测出 OOD 工作，然后再将这些工作调整以适应先验知识。然而，现有的贝叶斯元进修法子在评价 OOD 工作的不确定性时，由于特性分布偏移的覆盖不全和元进修先验的表达能力不足，其可靠性受到了限制。此外，这些法子在调整 OOD 工作时也面临困难，这与跨领域工作调整解决方案的情况相似，后者容易出现过拟合的问题。
因此，本文构建了一个统一的框架，既可以检测和调整 OOD 工作，又可以与现有的元进修框架兼容。本文提出的鉴于能量的元进修（EBML）框架，通过两个表达能力强的神经网络能量函数的组合，进修描述任意元训练工作分布。本文将这两个能量函数的和作为检测 OOD 工作的可靠评分；在元测试阶段，通过最小化能量来将 OOD 工作调整为分布内的工作。在四个回归和分类数据集上进行的实行证明了该法子的有效性。
6. Simplifying and Empowering Transformers for Large-Graph Representations
用于大图表示进修的简化且强大的 Transformer 架构
论文链接： https://openreview.net/forum?id=R4xpvDTWkV
本文由腾讯AI Lab与上海交通大学，伊利诺伊大学厄巴纳-香槟分校和纽约大学竞争实现。由于海量数据点之间存在相互依赖的性质，进修大型图上的表示是一个长期存在的挑战。Transformer 作为一类新兴的图结构数据基础编码器，由于其全局注意力能够捕获相邻节点之外的所有对影响，因此在小图上表现出了良好的功能。即便如此，现有的法子倾向于继承 Transformer 在语言和视觉工作中的特点，并通过堆叠深度多头注意力来拥抱复杂的模型。
本文批判性地证明，即使使用单层注意力也可以在节点属性预测基准上带来令人惊讶的功能，其中节点数量范围从千级到十亿级。这激发作者重新思考大图上 Transformer 的设计理念，其中全局注意力是阻碍可扩展性的计算开销。本文将所提出的方案设计为Simplified Graph Transformers（SGFormer），它由一个简单的注意力模型支持，可以在一层中的任意节点之间有效地传播信息。SGFormer 不需要位置编码、特性/图预处理或增强损失。根据实行，SGFormer 成功扩展到网络规模图 ogbn-papers100M，并在中型图上比 SOTA Transformer 产生高达 141 倍的推理加速。除了当前的结果之外，本文所提出的法子本身预计将启发在大图上构建 Transformer 的独立兴趣的新技术路径。
7. Deep Insights into Noisy Pseudo Labeling on Graph Data
深入理解图形数据中噪声伪标签
论文链接：https://openreview.net/pdf?id=XhNlBvb4XV
本文由腾讯AI Lab与香港科学大学（广州）竞争实现。伪标签（PL）是一种广泛应用的训练政策，通过在训练过程中对潜在样本进行自我标注，从而扩大标记数据集。许多研究表明，这种法子通常可以提高图进修模型的功能。然而，本文作者注意到错误的标签可能对图训练过程产生严重影响。不恰当的 PL 可能导致功能下降，尤其是在噪声可以传播的图数据上。令人惊讶的是，文献中很少对相应的错误进行理论分析。
本文旨在深入探讨 PL 在图进修模型中的作用。首先，本文通过展示 PL 阈值的置信度和多视图预测的一致性来分析 PL 政策的误差。接着，本文从理论上阐述了 PL 对收敛性质的影响。鉴于这些分析，本文提出了一种谨慎的伪标签法子，且为具有最高置信度和多视图一致性的样本添加伪标签。最后，大量实行表明，本文所提出的政策改进了图进修过程，并在链接预测和节点分类工作上优于其他 PL 政策。
计算机视觉
8. Inserting Anybody in Diffusion Models via Celeb Basis
在扩散模型中插入任何人
论文链接：https://openreview.net/pdf?id=OGQWZ3p0Zn
本文由腾讯AI Lab主导，与中山大学、香港科技大学竞争实现。精美的需求存在于定制预训练的大型文本到图像模型，以生成创新概念，如用户自身。然而，在训练期间给定几张图像后，与原始概念相比，先前定制法子中新增加的概念往往显示出较弱的组合能力。
因此，本文提出了一种新的个性化法子，允许使用一个面部段落和仅1024个参数在3分钟内无缝集成独特个体到预训练的扩散模型中。该法子可以毫不费力地从文本提醒中生成这个人在任何姿势或位置、与任何人互动和做任何可想象的事情的惊人图像。为实现这一目标，本文首先分析并从预训练的大型文本编码器的嵌入空间中构建一个明确的名人基础。然后，给定一张面部照片作为目标身份，通过优化该基础的权重并锁定所有其他参数来生成其自身的嵌入。在该定制模型中，由所提议的名人基础赋予的新身份展示出比以前的个性化法子更好的概念组合能力。此外，该模型还可以一次进修多个新身份并相互交互，而以前的定制模型无法实现这一点。
9. DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection
DeepfakeBench：深度伪造检测的全面基准测试
论文链接：https://openreview.net/forum?id=hizSx8pf0U
本文由腾讯AI Lab主导，与香港中文大学（深圳）、美国纽约州立大学布法罗分校竞争实现。 在深度伪造检测（Deepfake）领域，一个关键但经常被忽视的挑战是缺乏一个标准化、统一、全面的基准。这个问题导致了不公平的功能比较和可能产生误导的结果。具体来说，数据处理流程缺乏一致性，导致检测模型的数据输入不一致。此外，实行设置存在明显差异，评价政策和指标缺乏标准化。
为了填补这一空白，本文提出了第一个全面的深度伪造检测基准，称为DeepfakeBench，它提供了三个关键贡献：1)一个统一的数据管理系统，以确保所有检测器的输入一致；2)一个集成的最先进法子实现框架；3)标准化的评价指标和协议，以促进透明度和可重复性。DeepfakeBench具有可扩展、鉴于模块的代码库，包含15种最先进的检测法子、9个深度伪造数据集、一系列深度伪造检测评价协议和分析工具，以及全面的评价。此外，本文还从各种角度（如数据增强、主干网络）对这些评价进行了广泛分析，提供了新的见解，以期在该关键的领域推动创新。
基准测试代码、评价和分析已开源：https://github.com/SCLBD/DeepfakeBench。
10 .GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction
GPT4Tools: 鉴于自指引教授大语言模型使用工具
论文链接：https://openreview.net/pdf?id=cwjh8lqmOL
本文由腾讯AI Lab主导，与清华大学深圳研究生院、香港中文大学竞争实现。这篇论文的目的是为了高效地使大型语言模型（LLMs）能够使用多模态工具。像ChatGPT和GPT-4这样的高级专有LLMs已经通过复杂的提醒工程显示出了使用工具的巨大潜力。然而，这些模型通常依赖于高昂的计算成本和公众无法获取的数据。
为了解决这些挑战，本文提出了鉴于自我指导的GPT4Tools，使开源LLMs（如LLaMA和OPT）能够使用工具。该法子通过向一位高级教师提醒多种多模态情境，生成了一个指令跟随数据集。通过使用低秩适应（LoRA）优化，该法子帮助开源LLMs解决一系列视觉问题，包括视觉理解和图像生成。此外，本文提供了一个基准测试来评价LLMs使用工具的能力，这种测试既包括零次射击方式，也包括微调方式。广泛的实行表明，该法子对各种语言模型都有效，不仅显著提高了调用已见工具的准确性，还实现了对未见工具的零次射击能力。
代码和演示链接：https://github.com/AILab-CVC/GPT4Tools
11. Meta-Adapter: An Online Few-shot Learner for Vision-Language Model
Meta-Adapter: 面向视觉语言模型的在线小样本进修网路
论文链接：https://openreview.net/pdf?id=Ts0d8PvTeB
本文由腾讯AI Lab主导，与西安交通大学竞争实现。本文介绍的对比式视觉语言预训练，即CLIP，显示出在理解开放世界视觉概念方面的显著潜力，使得零样本图像识别成为可能。然而，鉴于CLIP的少样本进修法子通常需要在少量样本上离线微调参数，这导致推理时间延长和在某些领域过拟合的风险。
为了应对这些挑战，本文提出了一种轻量级的残差式适配器——Meta-Adapter，通过少量样本在线方式指导优化CLIP特性。只需少量训练样本，该法子就能有效开启少样本进修能力，并在未见数据或工作上实现无需额外微调的泛化，取得了具有竞争力的功能和高效率。该法子无需额外复杂操作，在八个图像分类数据集上平均超过最新的在线少样本进修法子3.6%，且具有更高的推理速度。此外，该模型简单灵活，可作为直接适用于下游工作的即插即用模块。在无需进一步微调的情况下，Meta-Adapter在开放词汇目标检测和分割工作中取得了显著的功能提升。
自然语言处理
12. Fairness-guided Few-shot Prompting for Large Language Models
公平引导的大语言模型上下文提醒法子
论文链接：https://arxiv.org/abs/2303.13217
本文由腾讯AI Lab主导，与天津大学，新加坡科技研究局（A*STAR）竞争实现。大型语言模型展示了惊人的能力，可以进行上下文进修，即这些模型可以通过依据少量输入-输出示例构建的提醒来直接应用于解决众多下游工作。然而，先前的研究表明，由于训练示例、示例顺序和提醒格式的变化，上下文进修可能会遭受高度不稳定的问题。因此，构建适当的提醒对于提高上下文进修的功能至关重要。
本文从预测偏差的角度重新审视这个问题。具体而言，本文引入了一个度量标准来评价固定提醒相对于标签或给定属性的预测偏差。通过实行证明，具有更高偏差的提醒总是导致不令人满意的预测质量。鉴于这一观察，本文提出了一种鉴于贪婪搜索的新型搜索政策，用于识别接近最优的提醒，以提高上下文进修的功能。通过对包括GPT-3在内的最先进的主流模型进行了全面实行（涉及各种下游工作），结果表明，该法子可以以一种有效且可解释的方式增强模型的上下文进修功能，使大语言模型的表现更加可靠。
13. Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective
Repetition In Repetition Out: 从数据角度理解神经网络文本生成中的退化问题
论文链接：https://openreview.net/pdf?id=WjgCRrOgip
本文由腾讯AI Lab与奈良先端科学技术大学院大学、剑桥大学、Cohere竞争实现。关于神经网络文本生成中的退化问题（即语言模型倾向于生成重复和陷入循环）存在许多不同的假设，使得这个问题既有趣又令人困惑。本文从数据的角度理解这个问题，并提供了一个简单而基本的解释。研究显示，退化问题与训练数据中的重复的相关性很强。实行表明，通过在训练数据中有选择地减少对重复的关注，可以显著减少退化。此外，以往从不同立场（如高流入词、最大似然目标和自我强化）出发的假设可以用本文提出的简单解释来统一。也就是说，惩罚训练数据中的重复是它们有效性的共同基础。实行表明，即使在更大的模型尺寸和指令微调后，惩罚训练数据中的重复仍然至关重要。
游戏AI
游戏AI14. A Robust and Opponent-Aware League Training Method for StarCraft II
一种鲁棒且具有对手认知的星际争霸2联盟训练法子
论文链接：https://openreview.net/pdf?id=tDAu3FPJn9
本文由腾讯AI Lab独立实现，已被会议接收为Spotlight。在星际争霸2（星际2）这种大型RTS游戏中训练一个超乎常人水平的AI是极其困难的。受博弈论法子启发，AlphaStar提出了一种联盟训练框架（league training framework），成为首个在星际2中击败人类职业玩家的AI。
本文从两个重要的方面对AlphaStar的联盟训练进行改进。该项工作使用了目标趋向的利用者（goal-conditioned exploiters）来增强AlphaStar中的无目标的利用者（unconditioned exploiters），大大提升了利用者发现主代理（main agent）和整个联盟弱点的能力；此外，为联盟中的代理增加了对手建模能力，使代理能更加迅速地响应对手的实时政策。鉴于这些改进，作者团队用比AlphaStar更少的资源训练出了一个更鲁棒的超越人类玩家水平的AI，与多位顶级职业玩家分别进行的20局比赛中均保持了50%以上的胜率。该研究为大型复杂的两人零和非完美信息博弈场景求解鲁棒政策提供了有价值的参考。
15. Policy Space Diversity for Non-Transitive Games
非传递性博弈游戏中的政策空间多样性
论文链接：https://arxiv.org/pdf/2306.16884.pdf
本文由腾讯AI Lab独立实现。在多智能体非传递博弈中，PSRO是一个影响力强大的算法框架，能够较高效地寻找博弈中的纳什均衡政策。许多先前的研究试图在PSRO中提升政策多样性，然而，大多数此类工作的一个主要不足是，一个更多样（按照他们的定义）的政策集合并不一定意味着（如本文中证明的）更高的强度。
为了解决这个问题，本文从政策空间上定义一个新的多样性指标，在训练中通过优化该指标能使模型产生的政策更好地接近NE。同时，本文推导了一种可实践的，鉴于状态-动作样本的法子来优化多样性指标。结合本文提出的多样性指标和原始PSRO算法，可以得到一个新的PSRO变体，政策空间多样性PSRO（PSD-PSRO）。本文在理论上分析了PSD-PSRO的收敛性质，并且通过实行验证PSD-PSRO更能有效地产生低可被利用性的政策。
16. Automatic Grouping for Efficient Cooperative Multi-Agent Reinforcement Learning
通过自动分组实现高效协作的多智能体强化进修
论文链接：https://openreview.net/pdf?id=CGj72TyGJy
本文由腾讯AI Lab与中国科学院自动化研究所、清华大学竞争实现。分组在自然系统中无处不在，其对于提升团队协调效率至关重要。本文提出了一种新的面向群体的多智能体强化进修，它能够在没有领域知识的情况下进修自动分组以实现有效的竞争。与现有的直接进修联合行动价值和个体效用之间复杂关系的法子不同，本文将分组作为桥梁来连接各组智能体，并鼓励他们之间的竞争，从而提高整个团队的进修效率。
具体来说，该法子将联合行动的价值拆解为每一组的价值，这些价值指导智能体以更细粒度的方式提升他们的政策。本文提出了一种自动分组机制来生成动态的分组以及组行动价值。进一步，本文引入了一种用于政策进修的分层控制，该控制驱动同一组中的智能体专门研究类似的政策，并在组间产生多样化的政策。在StarCraft II微管理问题和谷歌足球场景上的实行验证了该法子的有效性，并且揭示了分组的工作方式以及如何提高功能。
17. Act As You Wish: Fine-Grained Control of Motion Diffusion Model with Hierarchical Semantic Graphs
行动如你所愿：鉴于层次语义图的精细可控运动扩散模型
论文链接：https://arxiv.org/pdf/2311.01015.pdf
本文由腾讯AI Lab和北京大学竞争实现。人体运动生成是游戏影视制作、虚拟现实和人形机器人等领域的所必须的关键技术，其目标一般是生成尽可能拟真的人体运动序列。传统的生成管线一般需要专业演员来捕捉运动，并辅以专业动画师细致繁杂的手工精修才能实现。近年，鉴于状态机或者Motion Matching的动画技术极大推动了人体运动的自动化生成，但仍然存在需人工收集动作片段，内存消耗大，只能做动作片段的组合，可控性有限等问题。因此，鉴于进修（以神经网络为主流）的解决方案，尤其是鉴于文本的人体运动生成获得了特别的关注并刚刚取得了显著进步。
本文提出了一种新的鉴于层次化语义图的精细化可控文本生成运动方案GraphMotion。它可根据文本中所指定的运动类别，运动路径，运动风格等信息，生成相应的3D人体骨骼序列。与现有相关方案相比，GraphMotion将输入文本解析为一种新的控制信号：层次语义图，能从粗到精的从三个语义级别来分别捕获与生成人体的整体运动、局部动作和动作细节。GraphMotion在提高结果生成质量（文本匹配准确度、运动逼真度等）的同时也保证了结果的多样性，不仅刷新了SOTA功能，还具备通过调节语义图（改变节点间的权重以及增减修改节点等）来实现前所未有的精细调控生成结果的额外能力。
开源链接：https://github.com/jpthu17/GraphMotion .
AI for Science
18. Equivariant Spatio-Temporal Attentive Graph Networks to Simulate Physical Dynamics
模拟物理动态的等变时空注意力图网络
论文链接：https://openreview.net/pdf?id=35nFSbEBks
本文由腾讯AI Lab与中国人民大学竞争实现。进修如何表示和模拟物理系统的动态是一项至关重要且富有挑战性的工作。现有的等变图神经网络（GNN）法子已经捕捉到了物理学的对称性，例如平移、旋转等，从而具有更好的泛化能力。然而，这些法子在处理工作时逐帧进行，忽略了主要由环境中未观察到的动态引起的非马尔可夫特性。
在本文中，该法子通过利用过去一段时间的轨迹来恢复非马尔可夫交互，将动态模拟改进为一个时空预测工作。为此，本文提出了一种等变时空注意力图网络（ESTAG），它是一种等变的时空 GNN。在其核心，本文设计了一种新颖的等变离散傅立叶变换（EDFT），用于从历史帧中提取周期性模式，并构建了一个等变空间模块（ESM）来实现空间信息传递，以及一个具有前向注意力和等变池化机制的等变时间模块（ETM）来整合时间信息。在分别对应于分子、蛋白质和宏观层次的三个真实数据集上的评价表明， ESTAG 与典型的时空 GNN 和等变 GNN 相比具有更高的有效性。
