浅谈学术论文rebuttal

转自 知乎 魏秀参

学术论文是发布自己或团队最新研究进展正式且最快捷的途径，也是和同行交流想法最方便、高效的方式。当同行评议（Peer review）作为学术成果正式发布的必经之路已运行200余年[1]时，用正确的姿势进行review rebuttal便成为提高论文录用机率甚至扭转乾坤的最后一搏。本文从“What is peer review？”、“How to rebuttal?”及“Does rebuttal matter?”三部分来聊聊学术论文（主要针对人工智能领域会议和期刊）rebuttal的那些事。

What is peer review？

要想写好rebuttal，必然要先了解peer review是怎么一回事。

Peer review是一种学术成果审查程序，即作者的学术著作或proposal被同一领域的其他专家学者评审，并根据评审意见决定是否予以录用（Accept）和后续正式发表（Publish）。对于计算机学科特别是人工智能领域的学术会议和期刊，其均有相对成熟和流程化的同行评议（即审稿）机制。

【会议审稿】

对于会议审稿流程而言，由于会议论文往往有比较严格的截止日期（Deadline），作者们通常会根据这一时间来rush自己的paper（关于论文写作的一些tips请戳笔者早年的《LaTeX写作新手须知》），所谓“Deadline就是第一生产力！”。待deadline一过，大会的程序委员会主席（Program Committee Chair或Program Chair）首先会剔除一批不符合会议投稿政策的论文，如：篇幅不合要求、一稿多投、未匿名、未注明Conflict Domain等，这些论文会直接作“Desk Reject”处理。处理之后的投稿（Submission）便为有效投稿。

这些稿件会由PC Chair根据一定规则（如TPMS[2]或bidding[3]）分配给高级程序委员会委员（Senior PC，IJCAI/AAAI一般是这个叫法）或领域主席（Area Chair，CVPR/ICCV/ECCV一般用此称谓），这些人便是论文最终命运的判决者，也是在审稿最后时刻书写meta review的meta reviewer——一般会由领域内颇有建树、有判断力的专家学者担任。而后，这些meta reviewer会继续分配稿件给到实际操刀审稿、给出具体审稿意见的审稿人（Reviewer）。对于CVPR/ICCV/ECCV等CV领域会议，近几年每个AC负责的文章大约在30-50篇左右，而普通审稿人分配的稿件一般不超过10篇/人。以CVPR 2019为例，针对5160篇有效投稿，全球共召集了132位AC和2887位审稿人[4]，一共提交了超过15000条审稿意见，做到了平均一篇文章至少3条，其中一篇文章甚至有7条审稿意见之多。

在reviewer各自独立提交审稿意见并经由AC检查质量之后，绝大多数会议会将首轮意见开放给作者（目前Data Mining领域的KDD、ICDM等仍保持不设rebuttal环节的传统），作者可根据意见内容进行rebuttal来更正审稿人理解的错误、解释/澄清审稿人的疑虑、提供更多方法和实验细节等信息。在收回作者rebuttal之后，同一篇文章的首轮意见、作者rebuttal信息均会开放给所有审稿人和责任AC，进入paper discussion环节。

Discussion时，AC会主持每篇文章的讨论，每位审稿人根据其他审稿人意见和作者rebuttal会留言给其他审稿人。经过几天系统线上讨论，所有审稿人需更新自己最终意见。更新的意见以及整个讨论过程，再加上AC自己的判断会作为AC给予每篇论文生杀予夺的重要依据：若多数审稿人在rebuttal后提高了论文得分或保持accept认为可以接收，则文章有较大概率可被录用；若多数审稿人在rebuttal后降分或保持reject，则这篇文章命运便岌岌可危。可以看到，rebuttal在整个论文录用过程中起到了举足轻重的作用——优秀的rebuttal能力挽狂澜；无力的rebuttal则于事无补甚至会画蛇添足、过犹不及。

特别的，CV领域的会议如CVPR/ICCV/ECCV等在AC给予最终决定时，有开线下AC meeting的传统，即在paper discussion之后会选在某个城市线下召集所有AC共同决定了投稿的最终命运。一般而言，一篇文章是否录用由三位（有时两位）没有conflict domain的AC共同决定，称作“AC Triplet”。到此，每篇会议论文最终结果（录用与否以及oral、poster、spotlight）便盖棺定论，等待着PC Chair公布给如坐针毡的作者们。

【期刊审稿】

与会议论文相似，期刊论文也是由其他研究者进行同行评议之后决定是否予以录用。不过期刊审稿由于没有deadline（期刊的special issue除外），通常不会在较短时间集中接收到的非常多稿件。一般而言，接收到的稿件会由期刊主编（Editor-in-Chief）分配给副主编（Associate Editor），之后副主编会聘请一些相关的研究者作为审稿人进行评审，有时副主编本身也会负责论文的评审意见和推荐等工作。而最终决定论文是否录用的仍然是期刊主编。

与会议论文不同的是，正是由于没有明确的deadline，期刊审稿意见的“出炉”时间往往极不确定且普遍周期较长（3-8个月不等），第一轮评审之后审稿人一般会给出如下四种推荐意见之一：1）接收（Accept）；2）接收但需要微幅修改（Accept with a minor revision）；3）接收但需要大幅修改（Accept with a major revision，有些期刊如TNNLS则称作Reject & Resubmit）；4）拒稿（Reject）。之后，副主编会根据若干审稿人的结果综合评定给出meta review，若meta review意见为2）和3）中其一，作者便需要准备一个详尽的revision list来对每位审稿人的意见逐条进行response和rebuttal，同时还需要提供修改过的文章供审稿人进行下一轮评审。同样，和会议论文不同的是，会议论文这一的rebuttal过程最多只有一次。而期刊论文如此过程可以反复多次，更像一场你一言我一语的“交谈”，最终直到全部审稿人均认为达到“Accept”的程度。但需注意，有的期刊major revision只有一轮，若经过一次major revision后的文章仍未达到录用或minor revision标准，有时便会做拒稿处理。可见，有效的rebuttal/response对于期刊论文的录用仍很关键。

How to rebuttal?

以上过程可看出，正规的会议和期刊同行评议过程非常严格、专业。更显然的是，从论文提交时开始，作者们便处于弱势，文章的主动权则全部移交给审稿人和AC听凭其“处置”。Rebuttal作为整个peer review过程中少有甚至唯一的发声机会，作者们可要牢牢把握！

【知彼解己原则】

不论会议还是期刊，笔者以为，「知彼解己」——“首先去了解对方，然后再争取让对方了解自己”，是整个rebuttal过程中最为重要的一条原则。

作者在收到审稿意见后，通常情况不应将情绪和注意力完全放在抱怨和吐槽审稿人上（遇到不专业的审稿人除外，但更多情况中肯地讲多为自己文章的问题），且不应站在审稿人的对立面，相反，更多的应去领会审稿人某句话背后的意图，体会其心意，应试图站在ta的角度去揣摩提出意见时的想法和心境，同时不要局限在可见审稿意见中写的那么寥寥几笔。只有练就这样的“同理心”，才能在rebuttal时据理力争，答在点子上，为自己扳回一城。

而且，从第一节的同行评议过程的描述可以看到，一个审稿人面对的稿件（尤其会议稿件）非常之多，需要ta在短短几周且不影响本职工作的情况下完成高质量评审，这对于每位审稿人都是个不轻松的任务。事实上，许多审稿人（约50%以上[5]）会在审稿意见提交deadline的最后三天内完成评审，每篇工作在审稿人处花费的时间一定非常有限。如此，我们便需要根据有限的审稿意见来“管中窥豹“，对审稿人的喜好和倾向一探究竟、琢磨一二，这对于作者如何在rebuttal时“排兵布阵”、“设定应对战略”尤为重要。

比如，若某期刊审稿人说“文章相对会议版本唯一区别仅在于增加了xxx，而xxx这部分带来的性能增益非常有限”，实际背后含义是“嫌弃”作者仅incremental式增加不多的新东西就投递到期刊，显然不是审稿人没有看懂新加的xxx部分内容的价值，或不了解作者的技术做法；对此，可以澄清“我们工作并不是trivial/simply的增加了xxx，它有自己的intuition和insight，基于这样的独特设计blabla“，同时还要针对性能质疑有所回应，做到有问必答：“增加xxx之后效果提升也较显著，并不有限，blabla（列出证据说明增益是significant的，并不marginal）”。再比如，若某会议审稿人简单指出“novelty有限”，同时并没有提出更多细节性缺点，则说明可能ta挑来挑去并没有找到非常明显的“硬伤”。要知道每位审稿人预设的身份全是paper killer，他们总在千方百计寻找论文的漏洞和不足，找够了便足以写出review来宣判文章“死刑”。对于上述情况，便说明文章可能就是不对该审稿人的胃口，找不到具体的不足，只好拿novelty来说事。

【Rebuttal形式】

如今众多会议提供了非常多样的rebuttal形式，会议rebuttal形式主要分为以下三种：

  1. 提交PDF文档作为rebuttal（有页数和模版限制，方便提交新表格和插图，如CVPR/ICCV/ECCV）；
  2. 提交一段文本作为rebuttal（有字符数限制，不方便提交新表格和插图，如AAAI/IJCAI）；
  3. 提交PDF文档作为rebuttal，同时提交修改后的论文（重提交的文件有类似的政策限制，如WACV）。

其中，第三种rebuttal形式更像期刊，只是rebuttal轮数也仅控制在了一轮。作者需根据不同会议的政策规定提前调研和熟悉rebuttal形式，从而在rebuttal时应对自如。

【具体实操】

本节提供一些针对具体问题和情况的实操建议，供君参考：

  • Rebuttal时，针对不同review类型：
    • 喷「novelty」：这类最为麻烦但也是作者们遇到可能最多的意见，作此类rebuttal时不妨重新梳理和强调文章的重要贡献，然后澄清并不是trivial的简单combine，再强调一下motivation和intuition，用另一种方式将文章亮点表达出来。同时，可以尝试“围魏救赵”，即：若审稿人针对方法的某个部件提出novelty不足，可强调其他部件或整个方法的范式是前所未有的；或claim说方法简单有效，思路全然不同；
    • 喷「factual error」：审稿人一旦找出文章的事实性错误，作者不妨大方承认，并表示感谢，同时表示会在final version中更正错误；另一种情况是，可能就是因为作者自己没写明白，才使得审稿人错误理解，如此，也可大方承认，说“我们已经修改了这部分描述，实际上是这样做的，并不是你理解的那样，blabla”；
    • 喷「涨点不足」：此类一般有两种，一则无证据的裸喷涨点不足；二则有证据（提供了reference）喷涨点不足或喷没有对比reference中结果。针对一，可找些证据（如列reference）论证自己方法的涨点幅度和其他state-of-the-art的涨点幅度是可比的，“你看，别人发在顶会的结果相比baseline也是涨这么多”；针对二，可试着找出这些“证据”方法和自己方法的不同之处或实验细节的不公平之处，比如图像分辨率不同、backbone不同等；
    • 喷「实验不足」：有条件做实验的，rebuttal中补上即可；若实验规模太大，rebuttal期间无条件做出，可在rebuttal中承诺final version中补上（这样力度会相对较弱）；而对于要求不合理的实验意见，可实事求是的说明为何无需做实验；
  • Rebuttal时不要漏点，要逐点回应做到有问必答。若因篇幅有限，可将类似的意见合成一点，万不可因篇幅有限擅自删除一些要点或遗漏要点，以免造成含糊不清、浑水摸鱼之嫌，一旦被审稿人发现会在paper discussion阶段当作硬伤来“置于死地”；此外，除非基本上全是positive评价，要充分利用rebuttal file的空间，充分表达自己观点，力图将所有评分均拉到positive区间确保十拿九稳；
  • Rebuttal时需要揣摩审稿人倾向，“一切可以团结的力量都要团结，不中立的可以争取为中立，反动的也可以分化和利用”。有的审稿人会在意见中明确表示，“如果解决了xxx，我就会提升评分”，对此一定要充分争取；对于某些审稿人提出的不足（如novelty），可能刚巧是另一位审稿人提出的优点（“This paper is interesting and novel”），一定要为我所用，让两位审稿人在paper discussion中“短兵相接”；对于borderline的审稿人，一定要充分“拉拢腐蚀”；对于初审给了positive分数的审稿人，一定要巩固基础；对于初审给了negative分数的审稿人，一定要放绝大多数的精力和rebuttal篇幅来解释澄清，争取“冰释前嫌”；
  • Rebuttal是“一盘棋”，整篇rebuttal需要统筹协调，与正文、review配合的相得益彰，同时还需注意rebuttal篇幅资源的分配和优化。哪位审稿人应多分配笔墨、哪个问题应多着力回应都需要根据整体审稿意见情况深入思考、统筹安排；
  • Rebuttal中能缩写的尽量缩写，如约定俗成的PCA、CNN等不必展开，从而节省空间，将资源留给更需要的回应；
  • Rebuttal时若发现审稿人的factual error，如ta提出的某个观点有显然错误、提出需要对比的数据集显然不是该领域常用的数据等，作者可在rebuttal回应此人时首先指出其错误，先下一城，赢得主动。要知道rebuttal除了该审稿人之外，其他审稿人以及AC都会看到。此外，这一问题还可以在AC message（见下文）中指出，降低该审稿人意见在AC心中的置信度；
  • ……

【AC Message】

还记得上文中提到的只喷novelty而没有其他细节问题的审稿人吗？还记得在审稿意见中暴露factual error的审稿人吗？……针对这些情况，作者手中仍有一件利器应对，即AC message（或Confidential comments to AC）。

Rebuttal时除了作者提交的rebuttal file之外，多数会议和期刊还为作者提供了一个直接与senior reviewer（如AC和AE）对话的渠道，在AI会议中通常被称为“AC message”，这部分内容对普通reviewers是不可见的。作者如果在审稿意见中发现了审稿人的“问题”，如不专业、对文章涉及领域不熟悉、自我矛盾等，均可指出，从而引起AC注意。在期刊审稿过程中，遇到类似的问题还可通过AC message来尝试更换审稿人。

以下列举一些可能的AC message的写法：

  • Please note that Assigned Reviewer #id has made some statements that are either against the common-sense in our field or self-contradictory (ironically his/her own confidence rating is “very confident”). blabla
  • We want to bring to your attention the very flawed review #id. This reviewer is self-contradictory, cf. Comment #id1, Comment #id2, and Response #id. blabla
  • We would like to raise attention to AC that unfortunately Reviewer #id holds a very biased view towards the contributions of our paper. blabla

【常用句式】

以下列举一些rebuttal中的常用句式，供大家选择使用：

  • 开头
    • Thank you for your suggestion.
    • Thank you for the positive/detailed/constructive comments.
    • We sincerely thank all reviewers and ACs for their time and efforts. Below please find the responses to some specific comments.
    • We thank the reviewers for their useful comments. The common questions are first answered, then we clarify questions from every individual review.
    • We thank the useful suggestions from the reviewers. Some important or common questions are first addressed, followed by answers to individual reviews.
  • 表达同意
    • We thank the reviewer for pointing out this issue.
    • We agree with you and have incorporated this suggestion throughout our paper.
    • We have reflected this comment by …
    • We can/will add/compare/revise/correct … in our revised manuscript/our final version.
    • Due to the rebuttal policy, “authors should not include new experimental results in the rebuttal”, additional results may not be included. However, we will add these mentioned experiments and discussions in our final version. Thank you for the constructive comment.（对于CVPR/ICCV/ECCV rebuttal不能提供新结果的政策）
  • 表达不同意
    • We respectfully disagree with Reviewer #id that …
    • The reviewer might have overlooked Table #id …
    • We can compare … but it is not quite related to our work …
    • We have to emphasize that …
    • The reviewer raises an interesting concern. However, our work …
    • Thank you for the comment, but we cannot fully agree with the comment. As stated/emphasized …
    • You have raised an important point; however, we believe that … would be outside the scope of our paper because …
    • This is a valid assessment of …; however, we believe that … would be more appropriate because …
  • 解释澄清
    • We have indeed stated/included/discussed/compared/reported/clarified/elaborated … in our original paper … (cf. Line #id).
    • As we stated in Line #id, …
    • We have rewritten … to be more in line with your comments. We hope that the edited section clarifies …
  • 额外信息与解释
    • We have included a new figure/table (cf. Figure/Table #id) to further illustrate…
    • We have supplemented the xxx section with explanations of …
    • Thank you for the comment. We will explore this in future work.

Does rebuttal matter?

废了好大功夫写好了rebuttal，大家一定很忐忑这玩意儿到底能否奏效？

下图是CVPR 2019总计超过15000条review在rebuttal前后的状态对比统计。

很显然：

  • 「逆天改命」：首轮Strong Reject改为positive评分的仅占所有review的0.8%；
  • 「强势逆转」：首轮Weak Reject改为positive评分的占所有review的6.9%；
  • 「力挽狂澜」：首轮Borderline改为positive评分的有33.6%；
  • 「错失良机」：首轮Borderline改为negative评分的约56%；
  • 「画蛇添足」：首轮Weak Accept改为negative评分的有15.5%；
  • 「弄巧成拙」：首轮Strong Accept改为negative评分的有5.2%；

可见，rebuttal也乃尽人事听天命之谓也。但小概率事情（如「逆天改命」）发生在自己身上那就是100%的奖赏，因此，下次拿到review后还是一门心思的想着怎么好好rebuttal吧:)