同行评审被誉为科学的"守门人"。

但如果守门人经常看漏眼呢？一项新研究显示，在找出临床研究论文中的错误这件事上，人工智能的表现已经远远超过了人类审稿人。

据《科学》（Science）杂志报道，研究人员测试了15个大语言模型，看它们能否识别故意植入临床研究论文中的方法学错误。

结果显示，表现最好的模型几乎找出了所有植入的错误，而表现最差的模型也找到了大约一半。

这项研究以预印本形式于10月28日发布在医学预印本平台medRxiv上，其中包括4个开放权重模型。

一场跨越18年的"人机对决"

这项研究建立在2008年的一项经典实验之上。

当年，研究人员把三篇临床试验论文故意"做了手脚"，植入了各种类型的错误，比如采用有偏差的方式对受试者进行随机分组。

随后，607名不知情的审稿人对这些论文进行了评审。

结果令人担忧。这些审稿人平均只找出了27%的植入错误。

18年后，研究团队用同样的三篇被篡改的论文测试了15个大语言模型。据报道，各模型找出的主要错误比例在53%到96%之间，全部超过当年人类审稿人的水平。

即便是表现最差的模型，找出的错误数量也大约是人类审稿人的两倍。

研究团队共获得了1796份评审意见，并由两个"盲评"的大语言模型裁判进行打分。

据报道，研究负责人拉斯特在社交媒体上列举了人类最容易漏看的错误类型。比如正文与表格数据不一致，人类只有7%的时候能发现；对比方向写反，人类的发现率也只有10%。

这类错误往往不会引起审稿人的警觉，却可能彻底改变读者对试验结果的理解。

会不会是"背过答案"？

一个合理的质疑是，那三篇被篡改的论文及其错误清单自2008年以来一直是公开的。大语言模型会不会在训练过程中"见过答案"？

研究人员对此也有所考虑。他们另外准备了58篇今年发表的临床研究论文，同样植入错误后进行测试。

这些论文大多发表于模型训练完成之后。结果显示，大语言模型在这批新论文上的表现同样出色，找出错误的比例在58%到99%之间。

不过，需要注意的是，这58篇新论文并没有对应的人类审稿人成绩，因此无法直接进行人机比较。

研究还有一个有趣的"副产品"。模型在审阅论文时，除了找出植入的错误，还标记出一些其他问题。

这些论文中有的发表在《美国医学会杂志》和《新英格兰医学杂志》等知名期刊上。

但研究并未确定，这些被标记的问题中有多少是真实存在、却在发表前被人类审稿人漏掉的错误。

AI审稿：利器还是隐患

据报道，这项研究的负责人表示，他今后不会再在没有人工智能辅助的情况下审稿，并认为纯人工的临床试验审稿是危险的。

一位未参与研究的专家则认为，这些发现对临床研究界是"非常有用的贡献"。

《科学》杂志指出，这项研究为人工智能审稿的利弊之争增添了新的证据，而此前的大部分相关证据来自计算机科学论文。

临床研究论文的质量直接关系到患者的生命健康。医生依据研究结论制定治疗方案，一个未被发现的统计错误，可能导致错误的治疗决策。

当然，人工智能审稿也并非万能。其他研究发现，大语言模型可能会对已经通过严格评审的论文提出不必要的修改意见，也就是所谓的"误报"问题。

过多的误报不仅会增加作者的负担，也可能让真正重要的问题淹没在大量无关紧要的意见之中。

此外，模型的表现在不同类型的错误、不同的提示方式下差异很大。如何确保AI审稿的可靠性和一致性，仍是需要解决的问题。

更深层的问题在于责任归属。如果AI漏掉了一个关键错误，或者错误地否定了一篇好论文，责任应该由谁来承担？

此外，期刊和出版机构也需要建立相应的规范。比如明确AI在审稿中的使用范围，以及如何向作者和读者披露AI的参与程度。

比较理想的模式，或许是人机协作。让AI承担初步筛查和细节核对，人类专家则聚焦于判断研究设计的合理性、结论的科学意义以及伦理问题。

在科学论文数量爆炸式增长、审稿人日益短缺的今天，人工智能或许正在成为同行评审体系中不可或缺的"第二双眼睛"。