“同行评议”并不是黄金法则
2016年2月6日 讯 /生物谷BIOON/--20世纪80年代早期,科研界对科学期刊实行的同行评议规则关注颇高。于是,来自North Dakota大学的两名研究人员对此展开了一项研究。
同行评议的原理其实很简单:通过专业人士把关,清除质量较低的科研成果。评议人员通过审查提交到某一杂志的研究草稿,决定是否可以正式发表,或者需要改进。理论上,评议人员都是该论文相关领域的专家,他们会提供专业的建议,帮助指出研究中的漏洞与不足,或者直接拒绝质量太差的研究。这两名研究人员:Douglas Peters 与Stephen Ceci,希望了解同行评议这一过程是否真正公平与可靠。因此,他们选择了最近三年来发表在难度极高的《American psychology journals》杂志上的12篇文章,之后,作者将该文章的作者名字与联系方进行了修改,并重新向该杂志提交发表。理论上,这些文章的质量都是很高的,如果同行评议规则可靠,那么这些修改了作者信息的文章应该再次被接受发表。然而结果令人惊讶:90%的评议人员反对这些再次提交的文章的发表。大部分理由是“具有严重的方法学漏洞”。这一结果引发了种种猜想。那到底是之前这些文章就有漏洞,而评议人员没有好好把关?还是不同的评议人员标准不一?作者的信息对于文章的接收与否具有决定性作用?至少,这一结果表明同行评议并不是那么可靠。
这一研究虽然在30年前就已经发表,但与我们今天的科研成果发表仍息息相关。从那以后,越来越多的研究人员开始发现同行评议的问题所在。对此做过研究的科学家们也都发现同行评议规则对于清除低质量研究成果的效果并不明显。究其原因,这与人工活动本身的局限性有很大关系。一般情况下,审查文章的评议人员仅有很少的数位,他们并不会获得报酬,而是出于对自己专业的热爱以及作为某一领域专家的责任感坚持进行评审工作。不管如何,他们在阅读文章时会比较匆忙,因此并非能够很好地抓住文章的中心思想与具体细节。另外,不同的评议人员对于作者或者作者所属的研究机构有一定的偏爱。由于同行评议过程一般是不透明的,至少作者不会知道评议人员的信息,因此这可能会滋生评议人员的懒惰思想。
那我们就应该完全抛弃同行评议吗?对此《新英格兰医学杂志》的现任编辑Jeff Drazen认为同行评议规则确实不够完美,因此他并不会完全依赖这一评议结果。在他主管的杂志中,同行评议结果仅仅是构成文章是否接受的考量因素之一。当文章通过同行评议之后,会被交到一群专业编辑手中,他们有充足的时间与空间将文章内同从头看到尾。因此高质量的编辑是杂志的守门人。尽管如此,如此高质量的杂志还是会出现一些细微的漏洞。那是因为少量的读者很难发现文章中的所有问题,他们也没有足够的时间调研文章中所有的数据。找到这些漏洞需要数年时间,多双眼睛以及具有不同观点的人参与。最好的例子就是发表在《柳叶刀》杂志上的一篇关于麻疹疫苗的文章,这篇文章也是在发表之后才被发现不仅结论不正确,而且方法也很粗糙,因而紧急撤回。对于一些专业人士来说,这使得同行评议不再成为有效的文章评审机制。PubPeer Foundation是一家新型的文章评议机构,该机构的主要业务是进行文章的“发表后同行评议”。该组织的负责人Brandon Stell认为发表后的文章会受到全球所有读者的反馈,这有助于寻找更多的文章漏洞。然而,仅仅将传统的“发表前同行评议”改变为“发表后同行评议”并不能完全解决这一问题。还没有证据表明像“PubPeer Foundation”这样的机构能够做到更好。
尽管有很多缺陷,同行评议还是起到了一定的作用,如果没有同行评议的存在,将会有更多的低质量,粗制滥造的科研结果出现。那么如何解决这一难题呢?Biorxiv网站提供了一个解决方案。该网站允许研究人员将已完成但未提交发表的科研成果进行预注册并接受网友的评价,这使得同行评议又多了一重保障。医学杂志的记者Ivan Oransky认为,发表后的同行评议也很重要。“并不是所有发表的文章都是无懈可击的”。如果将所有评议机制都结合起来,相信我们能够得到一个更公平,更可靠的科学文章审查环境。(生物谷bioon.com)