Nature:引用多的论文水平高?
《自然》调查了有多少论文一次都未被引用过。
2017 年 1 月,91 岁的遗传学家、诺贝尔奖获得者奥利弗·史密斯 (Oliver Smithies) 去世。他生前为人处事谦逊有加,一个典型的例子就是他曾毫不避讳地讲述了自己最大的一次失败:1953 年发表了一篇关于测量渗透压的论文,但是按他原话所说,“可能从来没有被引用过”。
在 2014 年于德国林道举行的一次会议上,他对现场的学生说:“从未有人引用过这篇论文,也从未有人使用过文中介绍的方法。”
事实上,这篇论文受到的关注比他想象的要多:在发表后的十年内,共有 9 篇文章引用了它。不过,他的错误可以理解。许多科学家都对无引用的论文抱有错误的印象,无论是其对学术的影响范围还是深度,都存在错误的认知。
1990 年《科学》发表了一篇具有争议的文章,里面包含的一项预估被反复广泛地提及,即超过一半以上的学术论文在发表后的 5 年内一直无人引用。从事学术文献大尺度格局研究的华盛顿大学信息科学家 Jevin West 表示,这个问题确实让科学家们头疼。毕竟,被引次数被广泛视为衡量学术影响力的标准之一:它不仅表明论文有人看过,而且证明论文对后来的研究有用。研究人员担心,大量论文无人引用意味着存在一堆无用或不相关的研究。“我记不清有多少人在饭桌上问我:‘多少文献从来没被引用过?’”West 说。
加拿大蒙特利尔大学的信息科学家 Vincent Larivière 表示,事实上,无人引用并不一定意味着无用。更重要的是,无人引用的论文其实没有那么多。
为了更准确地展示这些被遗忘在角落里的论文的真实情况,《自然》求诸数据,调查究竟有多少论文确实无人引用。当然,由于引用数据库不完整,要知道确切情况是不可能的。不过,至少就 Web of Science(科睿唯安拥有的一个大型数据库)收录的约 12,000 种核心期刊而言,零引用论文并没有大家所认为的那么普遍。
Web of Science 的数据显示,可能一直无人引用的科学论文占总量比例不到 10%。而真正的数值可能更低,因为大量被该数据库记为无引用的论文其实已在别的地方被某个人引用过。
不过,这并不一定意味着低质量研究不足为虑:成千上万的期刊没有被 Web of Science 收录,科学家们用无意义的论文滥竽充数装点简历,依然是一个切实存在的忧患。
告诉你大量研究论文无人问津的报告层出不穷,如果你为此感到沮丧落寞,那么再看一下相关新数据,或许能让你稍感安慰。进一步地研究未被引用的论文后可以发现,虽然它们被忽略了,但是也自有其用处,而且也被人读过。“缺少引用不应该被解读为论文无用或无价值。”科睿唯安的资深分析师 David Pendlebury 说。
无引用之谜
无引用论文泛滥的观点要追溯至《科学》发表的两篇文章——一篇发表于 1990 年,另一篇于 1991 年。1990 年的论文报告称,在 1981 年至 1985 年发表的论文中,55% 在发表后的 5 年内从未被引用过。但是这种分析具有误导性,主要因为他们将信件、勘误、会议摘要和其它编辑材料计入出版物之列,而这类文件一般都不会被引用。如果剔除它们,而只保留研究论文和综述文章,则无引用论文比例便急剧下降。如果将时间范围扩大至 5 年之外,则该比例还会进一步下降。
2008 年,Larivière 与同事重新研究了 Web of Science 的数据,表明不仅无引用论文比例低于预期,而且该比例已经连续几十年呈下降趋势。《自然》请 Larivière 和印第安纳大学布卢明顿分校的 Cassidy Sugimoto 一起为我们做进一步的详细解读。
新的数字 (统计研究论文和综述文章) 表明,就大部分学科而言,零引用论文比例在论文发表后 5 -10 年内趋于平稳,具体比例因学科而异 (见“未被引用的论文”)。在 2006 年发表的全部生物医学论文中,只有 4% 至今无人引用;化学学科的这一数字为 8%,物理学科接近 11%。(剔除自引论文后,这些比例会上升;在某些学科中,可能上升一半)。工程技术领域的未被引用比例为 24%,比自然科学领域高出很多。Larivière 认为这可能是因为这类报告的技术性质,它们解决的是具体问题,没有为他人提供可以之为基础不断推进的研究。
来源:V. LARIVIERE & C. SUGIMOTO/WEB OF SCIENCE
就全部文献而言,即 Web of Science 收录的 1900 年至 2015 年底覆盖所有学科的 3900 万篇研究论文,其中有 21% 左右从未被引用过。毫不意外,大部分未被引用的论文发表于不知名的期刊;而知名期刊发表的所有论文几乎都获得了引用。
不完备的测算
这些数据只能反映部分情况。而要填补所有文献的空白是一件不可能的事。
事实上,只检查一小部分论文都非常有难度。曾有一篇论文提出了一个听来荒谬的观点:约 10% 的诺奖得主论文没有被引用过。2012 年,为了辨明真伪,布拉格查理大学的生物学家 Petr Heneberg 决定统计一下 13 名诺奖得主收录在 Web of Science 中的论文。基于 Web of Science 得出的初步结果是接近 1.6%。之后,Heneberg 又在 Google Scholar 上检查一遍,发现在这些未被引用的论文中,许多其实已被 Web of Science 所收录的其它论文引用,但是由于论文中的数据录入错误或拼写错误而被遗漏。另外,在未被 Web of Science 收录的期刊和书籍中,也有额外引用。Heneberg 搜索了差不多 20 个小时后,决定到此为止,这时他得到的结果比最初数值又减小 5 倍——最终数字只有 0.3%。
这类缺陷可以解释为什么无法知道从未被引用过的论文的真实数字:像 Heneberg 那样手动检查所有文献,耗时不可想象。在实际测算中,这些缺陷对于不同学科的影响程度也不一样。根据 Web of Science 的收录数据,2006 年发表的人文学科论文,有 65% 至今未被引用过。许多人文科学文献无引用是事实,这在一定程度上是因为与自然科学相比,人文科学的新研究较少依赖于前人的研究成果。尽管如此,Web of Science 仍没有准确反映人文科学领域的趋势,因为它忽略了许多该领域的期刊和书籍。
在进行国别比较时,也存在同样的问题。据 Web of Science 显示,中国、印度和俄罗斯科学家所写的论文比欧美科学家的更有可能被忽视。Larivière 表示,Web of Science 没有跟踪许多地方性语言期刊,如果将它们也纳入在内,则国别差距会缩小。
尽管难以获得绝对数字,但是 Web of Science 无引用论文比例切切实实地呈现出下降趋势。他说互联网使寻找和引用相关论文变得容易多了。(论文开放获取模式可能也在其中发挥了作用。)不过,他也提醒不要过度解读这个趋势。他与同事在 2009 年发表的一项研究中指出,无引用论文比例下降的原因是科学家们发表的论文体量扩大了,里面引用的参考文献增多了。在荷兰莱登大学从事文献计量学研究的 Ludo Waltman 表示同意,“我不会将这些数字解读为越来越多的科研论文对后续研究有用。”
Waltman 表示,许多论文只是勉强逃脱无引用的境地:Waltman 和 Larivière 开展的独立测算表明,Web of Science 中只有 1 - 2 次引用的论文数量多于零引用论文。他说:“我们知道许多引用都是浮于表面的。”纽约市立大学巴鲁克学院公共事务学院的健康经济学家 Dahlia Remler 表示,这或许也标志着研究人员相互引用,“互帮互助”。“即使是高引论文也有可能是研究人员之间的一种把戏,这对任何人都没好处。”
并非百无一用
部分研究人员可能仍倾向于认为无引用的论文没有价值。毕竟,如果它们真有价值,哪怕只是一丝一毫的价值,怎么会没有人引用呢?
有一定道理,但这不是绝对的。路易斯安那州立大学的植物学家 Michael MacRoberts 表示,对研究人员产生影响的论文远远超过他们实际引用的论文。2010 年,MacRoberts 发文谈论论文引用分析的不足,并在文中引用了他自己 1995 年发表的一篇关于在德克萨斯州发现垂穗石松的论文。这是这篇论文第一次,也是唯一一次被引用,但是文中的信息已被收录进植物图集和大型在线数据库;使用这些数据库的人依赖这篇论文以及成千上万类似的其它植物学报告。他说:“这些所谓的无引用论文的信息虽然没有被引用,但是却以其他形式得到利用。”
无人引用的论文其实仍有人读。2010 年,纽约市健康与心理卫生局的研究人员发表了一篇论文,其中使用软件分析了基于唾液的 HIV 检测的不足。更早几年的时候,相关检测试剂盒在诊所中被叫停 (虽然后来恢复了使用)。这项研究的作者希望利用这些诊所做一个案例研究,了解是否可以在出现问题的时候,使用软件分析试剂盒的效果。
他们的论文发表在 PLoS ONE 上,至今无人引用。但是,其中一名共同作者、现就职于杜克大学全球健康研究所的 Joe Egger 表示,这篇论文已经被浏览了 1500 多次,被下载了近 500 次。他说:“这篇论文的目的是改善公共卫生实践,并不是真的要撼动一个科学领域。”
不过还有一些论文可能因为它们终结了无结果的研究方向而一直无人引用,英国卡迪夫大学的化学家 Niklaas Buurma 称。2003 年,Buurma 与同事发表了一篇论文谈论“等容争议”,即阻止溶剂在反应期间收缩或膨胀(一般在温度发生变化时出现)是否有用。理论上,这个具有技术挑战性的实验可能会揭示溶剂如何影响化学反应速率。但是,Buurma 的测试表明化学家们不会从这类实验中获得任何新信息。“我们就是要证明有些事情不值得做——我们做到了,”他说,“这篇论文完全无法被引用,但是它让我引以为豪。”
回到 Oliver Smithies 的故事,他在林道会议上说,尽管他认为自己 1953 年的那篇论文无人引用,但是仍知道它自有其价值。他告诉在场的观众,论文背后的工作帮助他获得了博士学位,让他成为了一名成熟的科学家。从本质上来说,它代表了未来诺奖得主的一个蜕变阶段。“我乐在其中,”他说,“我学会了如何去做优秀的研究。”Smithies 确实至少有一篇论文无人引用:他在 1976 的一篇论文里表明,有一个特别的免疫系统基因位于人类的 15 号染色体上。论文共同作者、哈佛医学院遗传学家 Raju Kucherlapati 表示,即便如此,在某些方面,它也具有重要意义。他说那篇论文标志着自己与 Smithies 实验室长期合作的开始,他们有关小鼠遗传学的研究最终让 Smithies 获得了 2007 年的诺贝尔生理学或医学奖。“对我而言,”Kucherlapati 说,“那篇论文的重要意义在于它让我认识了 Oliver。”