作为计算机视觉领域三大会议之一的 ICCV(IEEE International Conference on Computer Vision)每年都会吸引众多 AI 研究人员参会。在谷歌的学术指标榜单 Scholar Metrics 上,ICCV 目前名列总榜第 29 位,是计算机视觉领域排名第二的大会。
ICCV 2021 原定的主办地点是加拿大蒙特利尔,由于疫情的关系已改为线上举行,时间定为 10 月 11 到 17 日。
6 月 11 日,参加 ICCV 2021 的同学们纷纷收到了论文评审结果。
虽然比计划日期延迟了一天,目前投稿的作者们已经可以看到结果,着手写 rebuttal 了,Deadline 是 6 月 17 日晚 24 点(美国西海岸时间,UTC-7)。
根据大会统计的数据,今年的 ICCV 接收到了 6236 篇论文有效投稿,在首轮 desk rejects 之后还有 6152 篇。最终在 6 月 11 日,这些论文收到了 20195 个评审反馈,其中 4501 篇论文收到了 3 条反馈,1575 篇收到了 4 条反馈,还有两篇论文集齐了 7 个审稿意见,一篇论文收到了多达 8 个审稿意见。
大会官方表示,今年的论文评审过程中出现了 4129 名审稿人,其中包括仅审 1 篇论文的「紧急审稿人」,以及完成 9 篇审稿的资深人士。还有 233 名区域主席负责审查审稿评价的内容和完整性。
虽然已经有所准备,但在结果刚放出后微软的 CMT 系统仍然无法承受如此多的内容推送宣告宕机。
和以往的 AI 顶会一样,在评审结果出炉的第一时间,人们纷纷开始对自己的结果展开评论。有很多人在抱怨遭遇不公:
「审稿人认为论文 X 和 Y 已经使用了我提出的方法,但问题在于我就是论文 X 和 Y 的第一作者,我怎么不知道?这就有点摸不着头脑了。」
当然也有对于考官打分感到满意的:
「这可比 CVPR 的评审好多了,这是我收到的最认真细致的反馈,所以是时候写一篇强力的反驳出来了。」
是的,对于投稿人来说,接下来最重要的事情就是好好写 rebuttal 了。
这里有一份关于 rebuttal 写作方法的攻略,有需要的同学可以自取,但请记住一个总的原则:rebuttal 的内容要让审稿人或 RAC 直接、透彻、轻松地理解你所提供的答案。
写好 Rebuttal 的 18 条建议
首先我们明确 rebuttal 的目标:
1. 面向审稿人:澄清疑问、回答问题、纠正误解、反驳错误描述,努力整合反馈并改进工作本身。
2. 面向 RAC:让他们相信你已经做出了努力,提供一份审稿总结,帮助他们了解审稿人的担忧是否得到了解决,还可以反对恶意审查,最终帮助 RAC 做出决定。
建议 1: 从积极评价写起
提供一个对于审稿意见的总结,首先突出审稿人的积极评价。rebuttal 的其余部分则主要集中回应消极方面,别让 RAC 在这个过程中忘了研究的长处。
建议 2:顺序很重要
先写那些比较好回答的问题,再写不太明确和次要的问题。
建议 3:直接回复审稿人的问题
简洁、完整地引用审稿人的问题或关注的核心。在表达自己的观点之前,先直接回应问题,再给出细节、描述背景或解释你的立场。可以深入解释,但需要先给出 Yes、No 或者 Not quite。
「是否在现实环境中进行评估?」
「我们不同意问题的前提。虽然这些环境是模拟的,但它们非常逼真。」
「为什么不与 GMAP 进行比较?」
「GMAP 在我们的环境中成本比较高。我们的环境有……」
建议 4:口语化
如下图所示,内容风格是相对口语化的,这样更容易理解,也不会被认为有明显的对立气场。
建议 5:回应问题的核心指向
不要纠结于讨论引用的关注点,主要解决审稿意见的指向问题。例如「你为什么不对 GLORP3 进行评估?」通常这个意思是质疑你的实验,回答问题,然后指出你已经对 X、Y 和 Z 进行了评估,这应该就足够了。请注意,提醒其他 RAC 你进行了广泛的实验评估很有用,否则他们乍一看审稿人的评论,可能会留下错误的印象。
建议 6:不要害怕强调某一点
「表 4 中的第 2 行正好说明了这一点。」「我们在测试时不需要 human-in-the-loop。」 请注意,类似这样的许多回复不仅直接,而且还能突出重点。
建议 7:主动创造条件
如果所有审稿人似乎都错过了一个中心点,那么对主要观点进行简明扼要的回顾会有所帮助。
建议 8:保持完备性
你需要假设 RAC 不太记得你的论文,并且估计也不会再详细阅读它了。你可以重新介绍一下那些首字母缩略词,提醒他们实验设置的相关细节。请注意,即使你不熟悉这些论文(并且在某些情况下,名称和详细信息都是编造的),这种操作可能仍有意义。
建议 9:如果论文本就包含所需细节,请申明
也就是说,如果审稿人想要的内容已经在论文中,请说出来,给出行 / 表 / 图的编号。引用论文内容是为了向所有 RAC 赢得信任:研究本身并不缺少重要细节(倒不一定要让 RAC 回去查看论文)。
建议 10:整理共同的关注点
如果多个审稿人提了相关的问题,可以一起回复,从而节约空间。
建议 11:彩色代码
注意上图中彩色代码标注审稿人的小技巧,让对应的审稿人尽可能轻松地发现与其相关的回复——即使内容是合并的或者未按审稿人的顺序排列。
建议 12:数据胜于雄辩
与其和 RAC 争论,不如向他们提供统计数据来支撑观点,或者用额外的实验结果来回应他们的担忧(如果条件允许)。每次发现自己与审稿人有不同的意见,问问自己是否可以用数据来证明这一点,因为这样可以提供直观的论据。
建议 13:别光承诺,要做到
不要在说「We will discuss Singh et al. in the paper.」,而是直接在 rebuttal 说明白;不要说「We will explain what D_{RT} stands for in the paper」,而是在 rebuttal 中解释它代表什么。补充一点,如果你表示将会把这些添加到论文中,RAC 会更容易相信你。
建议 14:善于倾听,通情达理
大多数 RAC 都会欣赏这一点。
同样地,与其争论为什么审稿人的建议行不通,不如尝试一下,也许会行得通。
建议 15:坦白吧
审稿人表示要进行额外的实验,但条件不允许?那就如实告知。他们询问有关趋势的判断,但你没有任何判断?那就直接说你思考过,但没有什么好的想法,之后会继续研究。没有足够的 GPU 算力来运行他们要求的实验?也可以坦白说出来。
建议 16:关注审稿人的不诚信行为
在某些情况下,审稿人可能没有认真对待自己的角色。确保其他 RAC 意识到这一点,并适当地减少这些审稿人评论的影响程度。指出不合理或未经证实的评论,参考其他意见相左的审稿人评论,都会有所帮助,此外还可以包括向 AC 提交未公开的评论。
建议 17:正视审稿人的付出
另一方面,如果审稿人给出了了建设性意见、错别字列表、相关研究指导、关于未来工作的思考,都要表示感谢。至少写一个简短的介绍,表达自己的谢意。
建议 18:审稿人也是人,这一点不能忽略
请记住,这不仅是科研,而且是与其他人的社交互动。因此,请决定你是否想坚持争辩,冒着让审稿人采取强硬立场的风险?还是说努力寻找一个共同点?
希望大家最终都能获得满意的结果。
参考链接:https://deviparikh.medium.com/how-we-write-rebuttals-dc84742fece1