ICML 全称是 International Conference on Machine Learning，由国际机器进修学会（IMLS）举办，是计算机人工智能畛域的顶级会议。今年的 ICML 大会已是第 40 届，于 2023 年 7 月 23 日至 29 日在美国夏威夷会议中心举行。
今年，ICML 共收到 6538 份投稿，其中 1827 份被吸收，吸收率约为 27.9%。相较于 2022 年，本届的投稿、吸收论文数量以及吸收率都有所增加（投稿 5630 篇、吸收短论文 1117 篇、长论文 118 篇、吸收率 21.9%）。
ICML 官方表示，每一份投稿都由畛域主席和高级畛域主席进行评审，以确保每一份投稿都得到适当的评估。
今日，ICML 官方放出了杰出论文奖获奖论文。
六篇杰出论文奖
本届会议共评出了 6 篇杰出论文，研讨覆盖了无进修率、为 LLM 加水印、未见过域泛化、不完全信息零和博弈的近优战略、MCMC 和频率顺序进修的贝叶斯设计原则等课题。
论文 1：Learning-Rate-Free Learning by D-Adaptation
机构：Meta AI、Inria Sierra
作家：Aaron Defazio、Konstantin Mishchenko（现为三星人工智能中心研讨科学家）
论文地点：https://openreview.net/forum?id=GXZ6cT5cvY
该研讨旨在为非光滑随机凸优化获取无进修率的最优界限，所提要领克服了优化此类课题时传统进修率选择的限制，为优化畛域做出了有价值且实际的贡献。
该研讨还提出了新要领的 SGD 和 Adam 变体，将用于大规模 CV 和 NLP 课题。
论文 2：A Watermark for Large Language Models
机构：马里兰大学
作家：John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
论文地点：https://openreview.net/forum?id=aX8ig9X2a7
论文简介：该论文提出了一种对大型语言模型的输出添加水印的要领 —— 将信号嵌入到生成的文本中，这些信号对人类来说是不可见的，但可以通过算法检测到。无需重新训练语言模型即可生成水印，无需访问 API 或参数即可检测水印。
为了检测水印，该论文还提出了一种具有可解释 p 值的统计测试要领，以及用于分析水印敏感度的信息论框架。该研讨所提要领简单新颖，并提供了彻底的理论分析和扎实的实验。鉴于检测和大型语言模型（LLM）生成的文本正面临严峻的挑战，该研讨可能会对机器进修社区产生重大影响。
论文 3：Generalization on the Unseen, Logic Reasoning and Degree Curriculum
机构：EPFL、苹果
作家：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk
论文地点：https://openreview.net/forum?id=3dqwXb1te4
论文简介：该论文在布尔函数的进修方面取得了重要进展，尤其是针对未见过域的泛化（Generalization on the Unseen, GOTU），这是一个具有挑战性的分布外泛化课题。该论文深入探究了这一课题，提出了一种结构良好的要领，并有充足的理论分析和大量实验支撑。此外该论文还概述了深度神经网络畛域的一个关键研讨方向。
具体而言，研讨者探究了具有 holdout 的函数进修课题，其中部分分布支持在训练中几乎或从来没有见过，并使用布尔目标函数来捕捉各种推理任务（如算术、决策树和逻辑电路）的离散和组合属性。
最终，研讨者对长度泛化课题给出了自己的解释，并提出了一种名为「Degree-Curriculum」的课程式进修算法，该算法通过增加支持更高效地进修单项式。算法如下所示：
论文 4：Adapting to game trees in zero-sum imperfect information games
机构：CREST、ENS Lyon、Omron Sinic X、Deepmind 等
作家：Côme Fiegel、Pierre MENARD、Tadashi Kozuno、Remi Munos、Vianney Perchet、Michal Valko
论文地点：https://openreview.net/forum?id=O1j4uFuSVW
论文简介：该论文介绍了不完全信息零和博弈的近优战略。研讨者建立了一个新颖的下界，并提出了两种算法 — 平衡 FTRL 和自适应 FTRL。这些贡献极大地推动了不完全信息博弈优化畛域的发展。论文的多项实验证实了这些说法，为研讨结果提供了充分的支持。
论文 5：Self-Repellent Random Walks on General Graphs – Achieving Minimal Sampling Variance via Nonlinear Markov Chains
机构：IQVIA Inc、北卡罗来纳州立大学
作家：Vishwaraj Doshi、Jie Hu、Do Young Eun
论文地点：https://openreview.net/forum?id=450iImFM4U
论文简介：该论文解决了一组具有挑战性的开放课题，提出了具有自排斥随机游走的马尔可夫链蒙特卡洛（MCMC）。给定任何对应目标概率分布的马尔可夫链，这种自排斥随机游走（SRRW）不太可能过渡到过去高访问量的节点，而更有可能过渡到很少访问的节点。
该要领超越了传统的无回溯要领，并为 MCMC 采样的新研讨方向铺平了道路。研讨者为 MCMC 研讨做出了原创性和重大的贡献，更值得一提的是过程可以被严格地分析和证明。结果也非常全面，令人信服。
这篇论文的作家之一 Jie Hu，现为北卡罗来纳州立大学博士生，他在武汉理工大学获得了本科学位，在美国西北大学获得了硕士学位。
论文 6：Bayesian Design Principles for Frequentist Sequential Learning
机构：哥伦比亚大学
作家：Yunbei Xu、Assaf Zeevi
论文地点：https://openreview.net/forum?id=tRhQsHnoFw
论文简介：该论文探讨了设计 bandit 和其他顺序决策战略这一非常普遍的课题。论文提出使用一种称为算法信息比的新量对任何战略的遗憾进行约束的要领，并推导出优化该约束的要领。该约束比早期类似的信息理论量更为严格，而且这些要领在随机性和对抗性的 bandit 设置中都表现出色，实现了全局最优。
特别有趣的是，除了众所周知的 Thompson Sampling 和针对 bandit 的 UCB 之外，这篇论文可能为全新的 exploration-exploitation 战略打开了大门。事实上，这一原理如果扩展到强化进修畛域是非常有前途的。该论文得到了专家评审的一致大力支持。
论文一作 Yunbei Xu 为哥伦比亚大学商学院博士，现为 MIT 博士后研讨员，并将于 2024 年秋季开始任职 NUS 助理教授。他本科毕业于北京大学数学系。
参考链接：https://icml.cc/Conferences/2023/Awards
*封面图来源：https://twitter.com/icmlconf/status/1683917404689305600?s=20