这项由慕尼黑大学的Amir Hossein Kargaran、慕尼黑工业大学的Nafiseh Nikeghbal等人领导的研究发表于2025年11月的arXiv预印本平台，论文编号为arXiv:2511.15462v1。有兴趣深入了解的读者可以通过该编号查询完整论文。
在学术界，有一个让无数研究者既爱又恨的环节——同行评议。这就像是一场学术界的"选秀比赛"，你的研究论文需要通过几位专家评审员的"火眼金睛"，才能登上顶级会议的舞台。而在这场比赛中，还有一个特殊的环节叫做"反驳"，就像选手可以为自己的表演进行一次申辩。但这个申辩真的有用吗？它能改变评审员的心意，让一篇原本可能被拒绝的论文起死回生吗？
慕尼黑大学的研究团队就像是学术界的"数据侦探"，他们深入挖掘了国际学习表征会议(ICLR)2024年和2025年的海量评审数据，试图解开这个困扰学术圈多年的谜团。ICLR是人工智能领域最顶级的会议之一，每年都有数万篇论文投稿，竞争异常激烈。研究团队分析了超过19000篇论文、74000多份评审意见，以及无数次的反驳交流，这个数据规模就像是分析了一个中等城市所有居民的购物记录一样庞大。
他们的发现颇为有趣。反驳确实能够发挥作用，但效果主要集中在那些处于"生死边缘"的论文上——也就是评分在中等水平的论文。这就好比在一场激烈的体育比赛中，那些比分胶着的选手通过最后的努力表现，确实有机会逆转局面，而那些遥遥领先或明显落后的选手，即使再努力申辩也很难改变最终结果。
更有趣的是，研究团队还发现了评审员之间存在一种微妙的"从众效应"。当一位评审员看到其他人的评分后，往往会不自觉地向平均分靠拢，就像在一个陌生的餐厅点菜时，我们总是倾向于选择那些看起来受欢迎的菜品一样。这种现象在高质量论文中尤其明显，评审员们更容易在好论文上达成共识。
一、评审分数的变化究竟有多普遍？
当我们谈论学术评审时，很多人可能会认为评审员一旦给出分数就不会改变了。但实际情况远比想象中复杂。研究团队发现，在ICLR的评审过程中，分数变化是一个相当普遍的现象，就像我们在网上购物时经常会修改购物车里的商品一样平常。
具体来说，在2024年，大约有17%的评审意见在反驳阶段后提高了分数，而只有1%降低了分数，其余82%保持不变。到了2025年，提高分数的比例上升到了23%，降低分数的比例保持在1%左右，76%保持不变。这个趋势就像是评审员们变得越来越"慷慨"了，或者说反驳环节变得越来越有效。
更令人惊讶的是分数变化对论文排名的影响。研究团队发现，即使是微小的分数调整也能造成排名的巨大波动。在顶尖5%的论文中，竟然有超过40%的论文在反驳后被其他论文"挤下"了原本的位置。这就好比一场马拉松比赛，即使你一直跑在前面，但在最后冲刺阶段，仍然可能被后来居上的选手超越。
这种现象背后的原因很好理解。那些已经确定能够被接收的高分论文作者，往往没有强烈的动机去进一步提升分数，他们就像已经拿到心仪大学录取通知书的学生，不会再花费过多精力刷分。而那些分数稍低但仍有希望的论文作者，则会全力以赴地进行反驳，试图获得更好的评分。
从数字上看，这种努力是有回报的。在那些分数提升的论文中，2024年有57.6%最终被接收，2025年有55.7%被接收，这远远高于分数保持不变（分别为12.4%和7.8%）或下降（分别为6.4%和8.0%）的论文接收率。这就像是一个励志故事：通过努力申辩，确实能够改变命运。
然而，即使在那些分数提升的论文中，仍然有相当比例最终没有被接收。在2024年，42%的分数提升论文最终还是被拒绝了；2025年这个比例更是达到了44%。这提醒我们，反驳虽然有用，但并非万能药，论文的根本质量仍然是决定性因素。
二、时间的艺术：什么时候提交反驳最有效？
在学术评审的世界里，时机的选择往往和内容本身同样重要。研究团队深入分析了反驳提交的时间模式，发现了一些令人意外的规律，就像发现了一个隐藏的时间魔法。
首先，让我们看看评审员的行为模式。数据显示，评审员们有着明显的"拖延症"倾向，大多数评审意见都是在截止日期前的最后几天才提交。这种现象在ICLR 2025年尤其明显，评审员活动在11月3-4日达到高峰，正是评审截止日期前夕。这就像学生们在考试前临时抱佛脚一样，虽然不是最理想的做法，但却是人之常情。
更有趣的是，那些提交较晚的评审意见往往给出了稍高的分数。这可能是因为晚提交的评审员能够看到其他人的评分，受到了某种程度的影响，就像在群体投票中，后投票的人往往会受到已知结果的影响一样。当然，这种影响是微妙的，不足以显著改变整体评分格局。
对于作者们来说，反驳的时机选择同样关键。研究发现，在反驳期的中间阶段提交第一次回应最为有效。具体而言，在ICLR 2025年，11月18-24日期间提交的首次反驳中，有近三分之一最终导致了评分的提升。这个时间段可以称为反驳的"黄金时间"。
过早或过晚的反驳都不太理想。过早提交的反驳可能显得匆忙和缺乏深度，就像在别人刚刚提出问题时就急于回答，往往不够充分。而过晚提交的反驳则可能错过了评审员的注意力窗口期，或者给人一种不够重视的印象。最晚提交的反驳效果最差，这很可能是因为评审员们已经形成了固定印象，或者时间紧张无法仔细考虑作者的回应。
研究还发现，那些能够引起评审员积极参与讨论的反驳往往更成功。当评审员愿意花时间回应作者的反驳时，这通常预示着积极的结果。这就像在一场辩论中，如果对方愿意认真回应你的论点，说明你的观点至少引起了他们的重视。平均而言，那些导致分数提升的反驳会产生更多轮次的讨论，作者和评审员之间的互动也更加频繁。
这种时间模式的发现为作者们提供了实用的指导。理想的策略似乎是：花费足够的时间准备一份深思熟虑的反驳，在反驳期的中段提交，然后积极参与后续的讨论。这就像烹饪一道精美的菜肴，既不能操之过急，也不能拖延太久，恰到好处的时机配合精心的准备，才能达到最佳效果。
三、评审员之间的微妙博弈：从众效应的力量
在学术评审的过程中，一个经常被忽视但极其重要的现象是评审员之间的相互影响。研究团队将这种现象称为"同行评审员影响"，就像社交媒体上的点赞会影响其他人的行为一样，评审员的评分也会受到其他评审员意见的潜移默化影响。
这种影响的存在可以通过一个简单的观察来证实：在反驳期结束后，评审员们的分数往往会更加趋于一致。研究团队通过计算评审员之间的分歧程度发现，反驳后的分歧程度平均减少了9-10%。这就好比一群人在讨论晚餐去哪家餐厅时，最初大家的意见可能五花八门，但经过一番交流后，往往会向某个方向集中。
这种趋同效应在不同类型的论文中表现得并不相同。对于那些最终获得口头报告或聚光灯展示的高质量论文，评审员之间的分歧减少幅度最大，分别达到了29%和26%的降幅（2024年数据），以及41%和48%的降幅（2025年数据）。这说明当面对明显优秀的工作时，评审员们更容易达成共识，就像面对一件公认的艺术精品时，专家们更容易形成一致的正面评价。
相比之下，对于那些被拒绝或撤回的低质量论文，评审员分歧的减少幅度要小得多，通常低于7%。这可能是因为对于明显有问题的工作，评审员们即使互相看到了彼此的意见，也很难改变基本的负面判断。这就像面对一道明显失败的菜肴，即使听到了其他食客的评价，你也很难改变自己的味觉感受。
这种同行影响的机制是复杂的。它可能包括多种心理因素：从众心理让评审员倾向于向平均分靠拢；权威效应使得资深评审员的意见更有说服力；确认偏差让评审员寻找支持其他人观点的证据。当然，也有积极的一面：集体讨论确实能够帮助评审员发现自己可能忽略的问题，或者重新审视某些过于严苛或宽松的判断。
研究团队还注意到一个有趣的现象：这种影响在评审发布的第一个小时内就开始显现。许多评审员会在看到其他人的意见后立即调整自己的评分，这种快速反应表明同行影响是一种几乎本能的行为。这就像在会议中，当第一个人发表意见后，后面的发言者往往会有意无意地受到影响，调整自己原本的想法。
值得注意的是，这种影响并不总是负面的。在许多情况下，它帮助纠正了个别评审员可能存在的偏见或误判。当一位评审员因为某种原因给出了明显偏离常理的评分时，其他评审员的意见能够起到"校准"的作用。这就像GPS导航系统会综合多个卫星的信号来提供更准确的定位一样，多个评审员的集体判断往往比单个人的意见更加可靠。
四、评分背后的故事：什么样的论文更容易获得青睐？
通过大语言模型的帮助，研究团队深入分析了评审意见的文本内容，试图理解不同评分背后的具体原因。这就像是为学术评审建立了一个"情感分析系统"，能够识别出评审员在称赞或批评时最关注的要点。
对于那些获得低分的论文，评审员的批评往往集中在几个核心问题上。写作和表达问题是最常见的批评点，包括措辞不清、问题定义模糊、结构混乱等。这就像是一道美味的菜肴，如果装盘和摆设不当，即使味道不错也会影响整体印象。实验和评估方面的缺陷也是低分论文的常见问题，比如基准测试不够充分、数据集覆盖面太窄、缺乏关键的对比实验等。
方法论和技术可靠性的问题同样频繁出现在负面评价中。评审员可能会质疑算法描述不够清晰、理论基础不够扎实、或者设计选择缺乏充分的理由。这就像建房子时地基不牢固，无论上层建筑多么精美，都会让人担心整体的稳定性。
新颖性和贡献度的不足也是低分论文的典型问题。评审员可能会指出工作缺乏原创性、与已有工作重叠过多、或者贡献不够明确。在竞争激烈的顶级会议中，仅仅是"还不错"的工作往往难以脱颖而出，就像在才艺比赛中，平庸的表演很难给评委留下深刻印象。
相反，那些获得高分的论文则在这些方面表现出色。新颖性和贡献度是高分论文最显著的特征，评审员经常使用"原创想法"、"重要贡献"、"超越前人工作"等表达来称赞这些工作。方法论的严谨性也是获得好评的关键因素，包括理论基础扎实、设计选择合理、算法描述清晰等。
有趣的是，实验结果的显著性在高分论文中也占据重要地位。评审员不仅关注实验是否充分，更看重结果是否令人信服、是否具有实际意义。这就像科学实验不仅要设计巧妙，更要能产生有价值的发现。
写作和表达质量在高分论文中同样重要，但表现为积极的评价：结构清晰、表达准确、逻辑严密、图表精美等。这提醒我们，优秀的学术写作不仅是内容的载体，更是提升论文影响力的重要工具。
通过机器学习模型的分析，研究团队发现词汇数量本身也是一个有趣的指标。高质量论文的评审意见中，优点部分通常更长，而缺点部分相对较短；相反，低质量论文的评审中缺点描述往往更加详细。这种模式反映了评审员的心理状态：面对好工作时，他们更愿意详细阐述亮点；面对问题多多的工作时，他们则需要花更多篇幅来指出不足。
五、反驳的艺术：什么样的回应更有效？
在分析了大量的作者-评审员对话后，研究团队发现了一些关于有效反驳的有趣规律。这就像是总结出了一套"学术辩论的制胜法宝"，对于那些希望在反驳环节中表现出色的作者来说，具有重要的指导意义。
最有效的反驳策略是提供"有证据支持的澄清"。当作者能够用具体的数据、实验结果、技术细节或者引用文献来回应评审员的质疑时，成功率显著提高。这就像在法庭上，带来确凿证据的辩护总是比空洞的辞令更有说服力。具体而言，这类回应可能包括：提供新的实验数据回应质疑、用详细的技术描述解释方法、引用相关文献支持观点、展示新的图表来证明效果等。
相反，"泛泛而谈的防御"往往效果不佳。当作者仅仅是重复之前的说法，使用模糊的表述，或者给出没有具体支撑的宽泛声明时，很难改变评审员的看法。这就像用"我的方法很好"这样的表述来回应具体的技术质疑，显然缺乏说服力。
作者的态度和立场选择也很重要。研究发现，"明确的同意或反对"比模糊的回应更容易产生积极结果。当作者能够坦率地承认某个问题的存在并提供解决方案，或者明确地反驳某个误解并提供证据时，往往能赢得评审员的尊重。这种直接而诚实的沟通方式就像面对面的坦诚对话，比绕弯子的外交辞令更有效果。
另一个有效的策略是"回避或缓解"，但这需要技巧。当面对一些确实难以完全解决的问题时，优秀的作者会承认限制的存在，但同时说明为什么这些限制不会根本影响工作的价值。这就像承认一道菜可能缺少某种调料，但解释为什么它仍然美味可口。
评审员的参与度是反驳成功与否的重要指标。当评审员愿意花时间详细回应作者的反驳时，这通常预示着积极的结果。数据显示，那些最终导致分数提升的反驳平均产生了更多轮次的对话，说明双方都投入了更多精力进行深入交流。这就像一场优质的学术讨论，参与者越投入，产生的洞察就越深刻。
然而，评审员的参与也可能带来负面结果。一些情况下，激烈的讨论可能暴露更多问题，或者让分歧变得更加明显。这提醒我们，反驳是一把双刃剑：它既可能挽救一篇论文，也可能让问题变得更加突出。
研究团队还发现了一些令人意外的模式。例如，那些在反驳中提供"未来工作承诺"的回应往往效果有限。虽然承诺在相机就绪版本中改进某些方面听起来很积极，但评审员似乎更重视当前版本的质量。这就像在考试中，承诺下次会更努力的表态远不如当前答案的质量重要。
同样，过度的"礼貌客套"也并不总是有效。虽然礼貌的交流态度很重要，但空洞的感谢和客套话不能代替实质性的回应。评审员更希望看到对具体问题的深入思考和有效解决方案，而不是表面的礼貌表达。
六、数据背后的深层洞察：什么因素真正决定反驳的成败？
在深入分析了所有这些因素后，研究团队试图找出哪些要素对反驳成功最为关键。通过复杂的统计模型，他们发现了一些令人深思的结果，就像破解了学术评审的"密码"一样。
最强的预测因子是论文的初始评分。这个发现或许并不令人意外，但其影响程度却超出了许多人的预期。分数较高的论文更容易在反驳后进一步提升，而分数很低的论文即使反驳得再好，翻身的机会也相对有限。这就像在体育比赛中，虽然逆转确实可能发生，但起点优势仍然是决定性因素。
同样重要的是其他评审员的评分情况。当一篇论文的其他评审员给出了较高分数时，剩余评审员更容易在反驳后提高自己的评分。这反映了前面提到的同行影响效应：评审员会不自觉地向群体共识靠拢，就像在群体决策中个人往往会受到多数意见的影响。
评审员的参与程度也是重要因素。那些愿意与作者进行多轮对话的评审员更可能调整自己的评分。这种参与度既可能导致分数提升，也可能导致分数下降，但总体而言，积极的互动更有利于正面结果。这提醒我们，反驳不仅仅是单向的申述，更是一个双向的学术交流过程。
论文的贡献度和技术可靠性得分在预测反驳成功方面也扮演重要角色。这些更具体的评价维度往往比总体评分更能反映论文的实际质量，也更容易在反驳过程中得到澄清和改善。当作者能够有效回应关于方法论或贡献度的质疑时，评审员往往愿意重新考虑自己的判断。
有趣的是，评审员的信心水平也会影响反驳的效果。那些对自己评价更加确信的评审员，反而更不容易在反驳后改变分数。这可能看似矛盾，但实际上反映了一个心理学现象：过度自信的人往往更难接受不同观点。相反，那些在初始评审中表现得更加谨慎的评审员，往往更愿意在获得新信息后调整判断。
反驳本身的策略选择效果也得到了量化验证。数据显示，"有证据支持的澄清"策略的系数为正，意味着它确实能够提高分数改善的概率。而"泛泛而谈的防御"策略的系数为负，证实了其低效性。这为作者们提供了明确的行动指南：投入精力准备有实质内容的回应，避免空洞的辩护。
模型还揭示了一些反直觉的发现。例如，反驳的长度并不总是与成功率成正比。过长的反驳可能会让评审员失去耐心，而过短的反驳又可能显得不够重视。最有效的反驳往往在长度上适中，但在内容上密度很高，每个段落都包含实质性的信息。
时机的重要性也得到了数据支持。那些在反驳期中段提交首次回应的论文，确实显示出更高的分数提升概率。这个发现为作者们提供了实用的时间管理建议：给自己充分的时间准备高质量的反驳，但也不要拖延到最后一刻。
七、学术评审的未来：这些发现意味着什么？
这项大规模的研究不仅揭示了同行评审过程的内在规律，也为改进这个系统提供了宝贵的洞察。就像医生通过大数据分析来改善医疗流程一样，这些发现可能会推动学术评审体系的优化和改革。
对于作者而言，这些发现提供了清晰的行动指南。首先，反驳确实有用，但主要对那些处于边缘状态的论文有效。如果你的论文已经获得了很高的评分，过度的反驳可能没有必要；如果分数很低且问题根本性，反驳也难以挽回局面。但对于那些分数适中的论文，精心准备的反驳可能真的能够改变命运。
其次，反驳的质量远比数量重要。与其写一份冗长但内容空洞的回应，不如集中精力针对核心问题提供有力的证据和澄清。每个回应都应该包含具体的信息：新的数据、详细的解释、相关的引用，或者承认问题并提供解决方案。
时间管理也很关键。最佳策略似乎是在反驳期的中段提交首次回应，这样既有足够时间准备高质量内容，又能确保评审员有足够关注度来考虑你的观点。避免过早匆忙回应或过晚错失时机。
对于评审员来说，这项研究也提供了有价值的反思。同行影响的存在提醒评审员要意识到自己可能受到其他人观点的影响，既要保持开放的心态听取不同声音，又要坚持独立的判断。参与反驳讨论不仅是职责所在，也是提高评审质量的重要途径。
对于会议组织者而言，这些发现为优化评审流程提供了依据。例如，是否应该调整反驳期的长度？如何设计系统来促进更有效的作者-评审员互动？如何培训评审员更好地处理同行影响？这些都是值得深入思考的问题。
研究也揭示了学术评审系统的一些内在限制。完全客观的评审可能是不现实的期望，因为评审员作为人类，不可避免地会受到各种心理和社会因素的影响。认识到这一点，我们或许应该把注意力转向如何管理和优化这些影响，而不是试图完全消除它们。
更广泛地说，这项研究体现了数据驱动方法在理解和改进学术过程中的巨大潜力。通过大规模分析真实的评审数据，我们能够发现仅凭直觉或小样本观察难以察觉的规律。这种方法学可能会被应用到学术界的其他方面，比如课程设计、研究资助分配、或者学术职业发展等。
当然，这些发现也有其局限性。研究主要基于ICLR这一个会议的数据，不同领域、不同会议可能存在不同的模式。此外，评审过程只是学术质量评估的一个环节，论文的长期影响和价值可能与短期的评审结果存在差异。
说到底，学术评审就像是一个复杂的社会系统，涉及人类心理、群体动力学、时间压力、质量标准等多个维度。这项研究为我们理解这个系统提供了前所未有的深度洞察，但也提醒我们，真正的改进需要所有参与者——作者、评审员、编辑、会议组织者——的共同努力。反驳环节确实能够发挥作用，但它只是这个复杂生态系统中的一个组成部分。最终，提高学术评审质量的关键仍然在于提升每个环节的专业水平和参与者的责任意识。
通过这项研究，我们不仅更好地理解了反驳的作用机制，也为构建更加公平、有效的学术评审体系奠定了实证基础。在学术竞争日益激烈的今天，这样的洞察尤其珍贵，因为它们帮助我们在保持严格学术标准的同时，也为优秀工作提供了更多被认可的机会。毕竟，学术进步的本质是思想的碰撞和交流，而一个运行良好的同行评审体系正是促进这种交流的重要平台。
Q&A
Q1：ICLR会议的反驳环节对论文评分有多大影响？
A：根据研究数据，反驳确实能产生影响，但主要集中在中等评分的论文上。在ICLR 2025年，约23%的评审在反驳后提高了分数，只有1%降低分数。然而，反驳的效果因论文初始质量而异——分数很高或很低的论文较难通过反驳改变结果，而处于边缘状态的论文最有可能受益。
Q2：什么时候提交反驳回应效果最好？
A：研究发现在反驳期的中间阶段提交首次回应最有效。具体来说，在ICLR 2025年的11月18-24日期间提交的反驳中，有近三分之一最终导致评分提升。过早提交可能显得匆忙缺乏深度，过晚提交则可能错过评审员的注意力窗口期。最理想的策略是给自己充分时间准备高质量回应，但不要拖延到最后一刻。
Q3：什么样的反驳策略更容易成功？
A：最有效的策略是"有证据支持的澄清"，包括提供新的实验数据、详细技术说明、相关文献引用等具体证据来回应质疑。相反，"泛泛而谈的防御"效果很差，比如仅仅重复之前的说法或使用模糊表述。作者还应该采取明确的同意或反对立场，坦率承认问题并提供解决方案，或者明确反驳误解并提供证据，这种直接诚实的沟通方式更有说服力。
热门跟贴