评估研究的可信性：3 个误解

撰写背景部分或综述需要综合大量的网上文献来确定最相关的先前工作。但是，除了相关性，原始资料必须可信，这常常不仅是依据高质量的研究设计，还依据在领域内的声誉。期刊的地位、主要作者和文章本身常常是三个主要考虑的方面。

用这种方法来评估一个研究者和他/她的研究的可信性看起来很简单：期刊的名称和主要作者的名字及单位印在文章的标题页上，文章的被引用次数也很容易在网络上找到（比如通过Google 学术搜索）。即使你是个年轻的研究者，你可能也已经对哪些期刊、高级研究者和机构是在你的领域里有好的声誉有所了解，你也知道高的引用次数被认为是最好的。

当你急着提交文稿或标书或者当你初进一个领域时，这些简单的标准就特别有用。根据这三个特点来判断一个研究者和他/她的工作的可靠性也比仔细检查样本大小、控制、逻辑和其它有关研究设计的详细方面要简单得多。

但是，这个方法有一些缺陷：

1. 一个期刊的声誉不总能代表其可信性。

仅仅因为一个期刊在你的领域里很有名、录用率低和/或经过同行评审，并不能保证它发布的文章都可信。与特定出版社、协会或机构的关系也不是可靠性的确定指标。甚至非掠夺性的、“好”期刊也可能误判可信性，这点我们从欺骗性论文录用1 和撤稿通告就能看出来。事实上，具有高影响力因素的期刊被发现有更高的撤稿率2。同时，质量好的研究由于其利基性或作者的时间或语言局限性，也可能发表在不太出名的期刊上，比如地区期刊、专门期刊或新的期刊。

2. 一个作者的声誉和他/她的机构关联并不总能代表可信性。

一个作者的资历、声誉、发表记录、教育、所属著名研究机构，和/或参与著名研究者的培训可能掩饰马虎或偏见。这可能是由于资深研究者对他们实验室里的日常研究的管理监督很有限。同时，一个年轻的研究者、新进入领域的人或来自较小或不太出名的机构的研究者可能代表新颖且正确的想法。

3. 一篇文章的网上引用次数并不总能代表可信性

当然，引用次数可能由于以上两个误解而被虚增或虚减。

可惜的是，这些依靠期刊、作者和文章的名声来判断可信性方法的局限性可能导致假阳性和假阴性，换句话说，你可能最终引用了有疑问的研究而漏掉了可信的研究。发生前一个错误时，如果你没有明确地批评那个研究，那就可能破坏你自己研究的可信性，还会使误差在理解和以后的研究中延续。而后一个错误可能通过令你忽略可能支持或反驳你的研究的相关发现而削弱你的研究。

现在，评估一个作者或一篇文章的可信性可能看起来无法做到。虽然你永远无法对可靠性完全确定，超越以上标准可能会帮助你提高信心。

特别是，除了评估研究设计，论文之外的信息也可能有用，虽然这会需要一些网上调查：

• 这个研究相关吗？（有没有有关这篇文章的撤稿通告或勘误？这篇论文是在怎样的背景下被引用的？）
• 论文中的引用是否可信和恰当诠释？
• 引用列表是否完整？
• 发表后的同行评论（如果有的话）是怎样评估这个研究的质量的？

当然，你可能没有时间或资源来调查所有这些方面，但是即使只是深入调查一个或两个方面也能最终提升你自己对文献的理解以及你自己的可信性。