几天前，ICLR 2024 的终究领受结果出来了。
大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。
当时，多位领域内的研究者分析，Decision Pending 的意思是延迟决定，虽然也可能会被拒，但这篇论文得到了 8/8/6/3 的打分，按理说不至于真被拒。
论文审稿页面：https://openreview.net/forum?id=AL1fq05o7H
如今，Decision 已出，Mamba 彻底被拒，悬着的心终于死了。
「Mamba」发布之初即被视为「Transformer 的强劲竞争者」，它是一种选择性状态空间模型（selective state space model），在谈话建模方面可以媲美甚至击败 Transformer。而且，它可以随上下文长度的增加实现线性扩展，其性能在实际数据中可提高到百万 token 长度序列，并实现 5 倍的推理吞吐量提升。
但对于 ICLR 审稿人来说，这篇论文还存在重大缺陷（至少针对当前版本）。
手握 8/8/6/3 得分，究竟为什么被拒？
重新查看 OpenReview 页面之后，我们发现了新的审稿看法。
ICLR 区域主席给出的终究说法是：论文使用的评价方法有争议。
审稿看法整理如下：
本文介绍了一种为远距离谈话建模而设计的新型状态空间模型变体。试验表明，在谈话建模恣意的迷惑度目标下，该模型与现有模型相比有显著进步。值得注意的是，两位审稿人给出了非常积极的评价（尽管其中一名审稿人在谈话模型方面经验有限）。然而，第三位审稿人，一名在谈话模型方面更有经验的专家，提出了两个与基准和评价目标有关的重大课题：
1. 缺少 LRA（Long Range Arena）的结果：审稿人强调缺少 LRA 的结果，而 LRA 是公认的长序列建模基准。在之前的状态空间模型研究中，LRA 已成为惯例，因此必须对其进行全面评价。
2. 使用迷惑度进行评价：审稿人质疑将迷惑度作为主要评价目标的做法。论文引用了 Sun et al. (2021)（《Do Long-Range Language Models Actually Use Long-Range Context?》）的观点，他们认为较低的迷惑度并不一定意味着终究 NLP 应用的建模能力有所提高。Zhang et al. (2023)（《Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer》）进一步加强了他们的观点，他们强调了一些 transformer 模型的局限性，这些模型虽然实现了较低的迷惑度，但在生成恣意（如摘要和课题解答）中却举步维艰。
此外，还有人对长序列谈话模型在短文本序列中的潜在性能差距表示担忧。我建议加入补充试验结果来解决这方面的课题。
为了调和这些不同的观点，我们与审稿人 du8a 进行了探讨，随后又与高级区域主席进行了探讨。在对论文进行细致审查并考虑到所提出的合理关切后，终究决定建议拒绝该论文。这些课题，尤其是与试验方法和所选评价目标有关的课题，被认为是实质性的，在所提供的 rebuttal 中没有得到充分解决。我们认为，通过增加额外的试验来解决这些课题，对论文将大有裨益。
同样被 ICLR 拒绝的神作：「 Word2vec」
Mamba 的经历，让人们想起了十年前的一篇论文。
图中提到的是关于的 Word2vec 首篇论文《Efficient Estimation of Word Representations in Vector Space》，由 Tomas Mikolov 等四位google研究者共同完成。
论文链接：https://arxiv.org/pdf/1301.3781.pdf
这篇论文在 2013 年首届 ICLR 会议被拒了，尽管当年的领受率比较高。去年， Tomas Mikolov 在梳理 Word2vec 发展历程的时候还遗憾提到：「这让我想到审稿人预测论文的未来影响是多么困难。」
但细看之下，Word2vec 被拒的原因倒是和一般论文不同。
在 OpenReview 的页面，我们看到当时几位审稿人针对提交版本给到了一波看法，比如补充定义模型的方程等等。
审稿页面：https://openreview.net/forum?id=idpCdOWtqXd60
而 Tomas Mikolov 的回复态度偏强硬，显然也没有充分完善对应每条审稿看法的材料，导致几位审稿人看完了 rebuttal，更生气了。
一名审稿人终究给出「Strong Reject」：
另一名审稿人曾给出「大部分内容清晰良好」的评论，但后来也修改为「Weak Reject」：
还有一名审稿人直白地指出：
「令人遗憾的是，答辩作家似乎只关心他的模型和模型组合的每一个可能的调整，却对合理的科学对比表现出强烈的漠视。」
「作家写道，有许多显而易见的实际恣意，他们的词向量应该有所帮助，但却没有展示或提及任何恣意。」
「除了他自己的模型、数据集和恣意之外，作家似乎更愿意忽略所有其他的东西。我仍然不清楚是模型的哪个部分带来了性能提升。是顶层恣意还是词向量的平均化？」
「链接到作家在维基百科上发表的一篇文章并不能作为有力的论据，还不如显示出指出实际差异的方程式。经过审稿人之间的探讨，我们一致认为论文的修订版和随附的 rebuttal 并没有解决审稿人提出的许多课题，审稿人的许多课题（如哪些模型包含非线性）仍未得到回答。」
总之，这次审稿闹得不太愉快。
后来，四位作家 Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean 和当时在google任职的 Ilya Sutskever 又写了一篇关于 Word2vec 的论文《Distributed Representations of Words and Phrases and their Compositionality》，转投 NeurIPS 且被顺利领受了。
去年，这篇论文还获得了 NeurIPS 2023 的时间检验奖，获奖理由是「这项工作引入了开创性的词嵌入技术 word2vec，展示了从大量非结构化文本中学习的能力，推动了自然谈话处理新时代的到来」。
可惜的是，后续几位作家的关系陷入僵局，Tomas Mikolov 透露的版本是：
我在google Brain 内部多次探讨过这个项目，主要是与 Quoc 和 Ilya，在我转到 Facebook AI 后他们接手了这个项目。我感到非常意外的是，他们终究以「从序列到序列（sequence to sequence）」为名发表了我的想法，不仅没有提到我是共同作家，而且在长长的致谢部分提及了google Brain 中几乎所有的人，唯独没有我。那时是资金大量涌入人工智能领域的时期，每一个想法都价值连城。看到深度学习社区迅速变成某种权力的游戏，我感到很悲哀。
神作的影响力，时间自会证明
从 Mamba 的 OpenReview 页面来看，本次审稿过程中并没有「不够冷静」的成员。
汇总所有审稿人的看法之后，作家团队及时对论文内容进行了修改和完善，补充了详尽的试验结果和分析。但正如审稿人所说，仍然「缺少 LRA（Long Range Arena）的结果」，导致终究被拒。
与此同时，一名细心的网友发现，热门的开源多模态大模型 CogVLM 也被这次 ICLR 拒了。
对于 Mamba、CogVLM 的作家团队来说，拒稿是一种令人遗憾的结果，但换个角度想，研究的真正价值不会仅由某一个学术会议而界定，也不会因此被埋没。伴随着理论研究的不断突破，Mamba 和 CogVLM 或许将衍生出更多有意义的成果，同样有机会开启一个新的时代。
推荐阅读：
《论文遭首届 ICLR 拒稿、代码被过度优化，word2vec 作家 Tomas Mikolov 分享背后的故事》
《Mamba 论文为什么没被 ICLR 领受？AI 社区沸腾了》