再也不怕大会投稿被占坑了?
对于自然语言处理畛域的研究人员,最近有一条好消息。
近日,计算语言学协会年会(ACL)正式宣布,该系列聚会论文投稿已取消匿名期,同时允许作家在投稿期间传播自身工作。新规定直接适用于下一个审稿周期。
今年的 ACL 是第 62 届,将于 2024 年 8 月 11 日至 16 日在泰国曼谷举行。自 2022 年起,ACL 启用了滚动审稿机制(ACL Rolling Review,ARR),每月设 deadline。需要注意的是,在上一个截止日期之前提交给评审流程的论文仍受旧匿名策略的约束。
大会声明链接:https://www.aclweb.org/portal/
据了解,ACL 会方是在最新一期工作组报告的建议下实行了新规的,新的策略也会对奖项产生影响。这一调整立即获得了研究社区的欢迎:
在报告《Report of the ACL Committee on the Anonymity Policy》中,工作组指出自 2017 年起 ACL 实行的双盲评审规则成功地减少了匿名审稿期间可作为预印本的论文数量。ACL 2023 上有预印本的提交比例为 13.8%,而 ICML 和 ICLR(均对预印本没有任何限制)等机器学习聚会的相应比例通常在 30% 以上。
虽然匿名在 arXiv 上提交预印版并不会破坏双盲评审,但根据 ACL 2023 审稿过程中收集的信息,91% 的投稿保持完全匿名,即审稿人无法猜测作家身份,可猜测作家身份的投稿(有预印本)比例为 4% 左右,相当于所有带预印本提交的论文的 30% 左右。
工作组认为,原有双盲评审策略显然已经产生了一些负面影响。作家可能会急于在匿名截止日期之前发布预印本,这会破坏预印本的质量。此外,由于作家必须等到论文接收后才能更新预印本,因此他们无法在匿名期间纠正错误或添加新结果,包括改变工作结论的结果。
禁止作家更正公共记录与科学研究的价值观格格不入。另一方面,选择不提交 arXiv 预印版的作家可能需要等待很长时间才能宣布论文。在某些情况下,这会导致他们的工作被在此期间宣布或预印的其他论文(通常是非 ACL 论文)抢先。
由于 AI 畛域,特别是 NLP 畛域研究节奏的加快,维持当前评审方式正在变得越来越困难。许多 ACL 作家指出,相对于许多不认同 ACL 方式的机器学习聚会(如 ICML、ICLR、NeurIPS 和 AAAI),以及相对于自行宣布的有影响力的行业实验室,当前的双盲评审使他们经常处于不利地位。这使得 NLP 社区变得支离破碎,ACL 聚会面临着失去优秀作家、审稿人以及声誉下降的巨大风险。
新的策略旨在促进科学交流,作家仍然被鼓励在论文接收之前不要过度传播工作(因为这可能会导致审稿人成见而影响论文评分)。此外,不提交预印版或在交际媒介上提前传播也可以提升论文获奖的机会。
此前,CVPR 的「交际媒介禁令」也出现了松动的迹象。
2023 年 11 月 25 日,作为 CVPR 2024 Publicity Co-chair 的 Kosta Derpanis 教授曾在个人推特上透露,CVPR 2024 关于投稿交际媒介传播的立场有一些变化。
根据 CVPR 2023 聚会的投票结果,只要不提及 CVPR,作家可以在交际媒介上评论辩论他们已提交给 CVPR 的研究成果。因此,无论你是否向 CVPR 投稿,都可以在交际网络上评论辩论研究。你可以传播自己发布的 arXiv 论文、在线进行演示等。但是,作家不得评论辩论研究目前正在 CVPR 审稿阶段。这既适用于交际媒介发布,也适用于与媒介的公开讨论。
鉴于 CVPR 2024 官方推特账号随后转发了这条动态,新规则变动的可信度大大提升。
CVPR 的交际媒介禁令起始于 2021 年。禁令颁布的背景,是马普智能系统研究所所长 Michael Black 提出的一项动议:审稿期间禁止在交际媒介上传播论文,在 arXiv 上自动发布的预印本论文除外。
当时,这一动议引发了众多研究者的不满。图灵奖获得者 Yann LeCun 也公开表示:「这种行为会限制科学信息的交流,损害技术进步且违反道德规范。简而言之就是疯了。」
不过这项动议最终还是高票通过。大会官方宣布,面向所有 CVPR 2022 的投稿作家,从 2021 年 10 月 19 日到 2022 年 3 月 2 日为交际媒介静默期。在此期间,任何由作家主动发起的对论文的交际媒介传播都被视为违反策略。
值得注意的是,将论文放在 arXiv 上供专家进行早期分析,与在交际媒介上向广大受众进行传播有本质不同,投 CVPR 的论文放在 arXiv 上还是被允许的。原因是 arXiv 论文并不是「已宣布」,而应该被理解为「预宣布」的状态。
这项操作的目的是解决同行评审中的成见问题,但打击社区内交流会带来很多消极后果,而且同行评审中的成见问题未必能真正改善。
或许是引发了太多反对的声音,如今机器学习畛域,对于禁止交际媒介传播的规定已有所缓和。