六年前,《自然》杂志发表一篇报道《Begley and Ellis 2012》(以下简称 BE 文),宣称 89% 的肿瘤生物学研究不可重复,53 篇中只有 6 篇可重复。BE 文强调,这是制药工业界普遍的经验。
这个问题的严重性不言而喻。一来在学术上,“CNS”类(Cell, Nature 和 Science,统称 CNS)的明星期刊几乎掌控了全球的科学评估。公认的顶级论文难道真的只有 11% 的重复率?二来在临床上,如果肿瘤研究的数据不可重复,治疗方案如靶向治疗恐怕需要彻底重新评估了。
基于这个问题的严重性,后起之秀的 eLife 期刊用了很大篇幅发表“肿瘤生物学重复性研究”(RP:CB)的结果。RP:CB 严格地重复了 30 项研究,首批结果在 2017 年发表。中国科学院出版的《国家科学评论》最新一期也发表了 4 位进化生物学家对 eLife 结果的重新分析(以下简称 WWHW 文)。他们如此总结:5 个被重复的研究中有 4 个未能再现其主要结论,剩余一个则难以判读。WWHW 文由此确认了重复性“不足两成”的看法。WWHW 文也对 eLife 有所批判。譬如 eLife 把两篇对照组不能重复的论文归纳为“无法判断”。一般而言,对照组与实验组不能重复的严重性是对等的。也因此 eLife 的结论看起来似乎比 BE 文稍稍好一些。
BE 文与 eLife 的核心结论是:“CNS 级别期刊的肿瘤生物学论文”可重复性低于 20%。本文只谈 CNS 级别期刊与“学术学会期刊”论文可靠性的比较。后者以 Genetics 为例;Genetics 为 1916 年出刊的美国遗传学会刊,到 20 世纪末仍是遗传学的核心期刊。肿瘤生物学研究暂不谈。
一般人可能认为如果 CNS 论文重复性如此低,那引用率不及 CNS 级别的期刊论文是否更难信服人?关于这一点 BE 文提到了一个有趣的现象——不可重复性高的结果其引用率比可重复的研究论文高很多。我们也因此推测学会期刊的论文重复率应该会比 CNS 级别论文提高不少。这倒也不难理解。CNS 之类的期刊要的论文是“新奇”的发现,“新奇”的东西又往往有“巧遇”的因素。不能重复也就不那么奇怪了。
我们学术界对于 CNS 论文的重视已经到不可思议的地步。CNS 论文带来的特殊优惠,包括奖金、升等、项目支持,几乎是“检验科学的唯一标准”了。西方对 CNS 的依赖过去没中国严重,但最近也有点“见贤思齐”了。我们不该再执迷于“出刊两年内引用率”的所谓影响因子(Impact Factor)。11% 的重复率实在不高明。要想对世界科研有所贡献的话,现在是中国提出一套新的“科研贡献因子”的时候了。
最后笔者得强调,虽然 eLife 的 RP:CB 结果有一定的普遍性,但小于 20% 的重复率是肿瘤生物学特有的现象。问题不在于肿瘤科研工作不严谨,这点大家不用特别担心。更重要的是肿瘤发生与一般医学现象在本质上有很大的不同。进化过程的生命现象本身就没多大的重复性,但偏偏与癌症的治疗策略息息相关。