在过去的几十年里，证据综合大大提高了医学和其他领域的有效性。将多项研究的结果系统地组合成综合综述的过程有助于研究人员和政策制定者从全球文献中汲取见解1.AI 有望加快部分过程，包括搜索和过滤。它还可以帮助研究人员发现有问题的论文2.但在我们看来，人工智能的其他潜在用途意味着正在开发的许多方法不足以确保证据综合保持可靠和响应性。事实上，我们担心部署人工智能生成假论文会给该领域带来生存危机。

我们需要的是一种截然不同的方法——一种可以随着时间的推移而对论文的更新和撤回做出反应的方法。

我们提出了一个不断更新的证据数据库网络，由不同的机构托管为“活”的馆藏。AI 可用于帮助构建数据库。每个数据库都将包含与广泛主题或主题相关的调查结果，为无限数量的超快速和强大的个人评论提供资源。

目前，证据综合的黄金标准是系统评价。这些标准是全面、严谨、透明和客观的，旨在纳入尽可能多的相关高质量证据。他们还使用可用的最佳方法来减少偏见。在某种程度上，这是通过让多个审稿人筛选研究来实现的;声明使用的任何条件、数据库、搜索词等;以及详细说明任何利益冲突或潜在的认知偏差。

科学家们正在建立巨大的“证据库”，以制定真正有效的政策

然而，这些评论需要大量资源。一些研究表明，Cochrane 综述——对医疗保健和卫生政策中特定主题的系统评价，符合国际公认的循证医疗保健最高标准标准——通常花费超过 140,000 美元，需要两年多的时间才能完成3,4.

综述作者越来越难以跟上快速增长的论文数量。科学文献是估计的5自 1952 年以来每 14 年翻一番。

由于每个评价者往往可以访问不同的出版物，并且由于数据库不断更新，因此系统评价受到可重复性问题的困扰。去年发表的一项研究得出结论，只有 1% 的评论报告了完全可重复的搜索策略6.此外，许多系统评价无意中引用了已被撤回的出版物，包括那些由于方法或伦理问题和欺诈而从文献中删除的出版物7.

我们同意 AI 可以成为这些问题解决方案的一部分。它可以帮助研究人员更全面、更高效地进行综述——比如，通过过滤更多的论文，或者评估论文的全部内容，而不仅仅是标题和摘要，就像人工审稿人往往作为第一步所做的那样。但有一个方面似乎被低估了：人工智能——尤其是大型语言模型 （LLM）——可能在多大程度上加剧一些问题。

在这一点上，人们对有多少完全由 AI 生成的科学论文正在发表知之甚少。正如 3 月份宣布的那样，一篇科学论文8由 AI Scientist（由东京的 Sakana AI 公司及其合作者开发的 AI 工具）通过了同行评审，被纳入关键 AI 会议的研讨会。审稿人没有检测到 AI 模型制定了假设、设计和运行实验、分析结果、生成图表并制作了手稿。

在 arXiv 上发布的预印本估计，10 年出版的所有 PubMed 摘要中至少有 2024% 是在 LLM 的帮助下撰写的，其依据是某些单词频率的突然增加与对 LLM 的广泛访问相吻合9。几乎可以肯定，此后这一比例一直在上升。

决策者需要不断更新的证据综合

即使 LLM 被广泛使用，也很难将它们用于撰写论文的情况与作者简单地使用它们来改进写作的情况区分开来10。然而，生成式 AI 可能会使假手稿的制作变得更加容易，无论那些使用 LLM 的人是恶意这样做是为了进一步发展他们的职业生涯，还是因为特定的商业或政策目标而纵证据综合的结论，或者仅仅是为了破坏。使用多个 LLM 也会使人类更难检测与一个特定模型相关的文本指纹。

换句话说，生成式 AI 的使用可能会加剧造纸厂已经日益严重的问题，造纸厂向寻求期刊出版物以促进其职业生涯的研究人员出售虚假作品和作者身份。它甚至可以取代造纸厂市场，因为现在可以在几分钟内免费生成假论文。

Campbell Collaboration（一组致力于为经济和社会政策决策生成证据综合的研究人员和政策制定者）和 Cochrane 已经就如何识别引起关注或已被撤回的研究提供了指导11.这包括根据 Retraction Watch 数据库检查研究，该数据库列出了从出版商网站收集的撤稿内容，以及使用 CENTRAL 数据库，这是一个标记被撤稿研究的临床试验报告存储库11.Cochrane 指南还指出，已发表的包含已撤回研究的综述的作者应重新计算所有结果，在此过程中，用编者按标记综述或撤回它，然后发布更新版本11.

即使是现在，这种再分析也经常失败，这可能是因为原始综述作者的资源有限，动力不足。在一项对临床试验中测试的药物化合物的系统评价的评估中，在综述作者被通知撤稿一年后，89% 的综述继续引用被撤稿的论文7.随着合法和虚假科学文献的不断增加，研究人员保持对数据显示的准确了解的能力可能会被超越（参见“更多论文，更多撤稿”）。