最新研究用AI审查的论文更容易被接受通过率提高49

在读的计算机博士 Manoel Ribeiro 推特分享：AI辅助评审可能增加论文接受率。

其研究了AI辅助同行评审对论文评分和接受率的影响，研究发现：

1. AI辅助同行评审的广泛应用 ：研究中使用@GPTZeroAI工具检测到约15.8%的ICLR会议论文评审得到了AI的协助。这个比例与早期斯坦福的估计相近。

2. 评分和接受率的提高： 相比于纯人工评审，AI辅助的评审得分通常更高（平均高出0.14分，相对于对数几率的14.4%增加）。此外，接收AI辅助评审的论文接受率也有小幅但统计显著的提高， 特别是那些处在边缘的论文，接受几率提高了4.9个百分点 。

3. 对同行评审流程的影响： 研究结果表明，LLMs（大型语言模型）在同行评审过程中的使用不仅仅是作为语法检查工具，其实际影响是显著的，可能会改变论文的接受与否。

4. 公共工具的支持： 研究团队还提供了一个检测工具：http://aireviewlottery.com，供人们检查自己的论文是否接收到了AI的辅助评审。

该研究也引来了一众热议：

Mingmeng GENG：“有趣的想法！但是你选的类似LLM风格的预测词汇是不是更‘积极’呢？”

TAWSIF AHMED 回复到： （呃！ ）“我既支 持也反对使用这种方法。 同行评审不应涉及人工智能。 因为人类可以有相当有创造性的论证和接受或拒绝的理由。 尽管如此，使用这些程序可以处理更多的论文。 ”

Steven Salzberg 💙💛：“那么，让我们来看看：AI 辅助的同行评审增加了论文被接受的机会。不久我们是否会看到完全由 AI 撰写并由 AI 评审的论文，完全排除人类？或许未来只有 AI 会阅读这些论文 😅”

Pablo Aragón：“有趣！考虑到你的发现以及 @munmun10、@srijankedia 和其他人在多语种健康查询评估 LLMs 时的发现，我好奇是否有人研究过 AI 辅助同行评审是否会增加对非英语母语者的偏见🤔”

TAWSIF AHMED 则回复：“必要之恶 😶‍🌫️”

Manoel Ribeiro 分享的原文如下：

Manoel Ribeiro：AI辅助评审可能增加论文接受率

最近在顶级 AI 会议 ICLR 上进行的一项研究显示，使用 AI 辅助进行同行评审可能会提高论文的接受几率。这项由 @russogiusep 领导的研究测量了 AI 辅助评审对论文评分和接受率的影响。

论文地址：https://arxiv.org/abs/2405.02150

更多细节我们利用 @GPTZeroAI 识别 AI 辅助的评审，并通过与较早时期的数据对比进行验证。结果显示，约 15.8% 的评审得到了 AI 的协助，这与斯坦福的早期估计相匹配。

参考早期研究

https://arxiv.org/abs/2403.07183

但我们还发现：“AI 辅助”的评论是否与“人类”评论明显不同？

是的！AI 辅助的评审分数通常高于人类评审（平均高出 0.14 分；对数几率相对增加 14.4%）。

此外，我们发现那些接受 AI 辅助评审的论文，其接受率有小幅但显著的提高，尤其是那些处于边缘的论文，其 接受率提高了约 4.9 个百分点 。