The Project Twins

原文以Stat-checking software stirs up psychology为标题

发布在2016年11月25日的《自然》新闻上

原文作者：Monya Baker

在用statcheck程序检验心理学文献的过程中，Michèle Nuijten和她的同事发现了大量相互不一致之处。这个程序能扫描论文的统计结果，并重复论文中的计算，以检查数据是否一致。他们检验了30717篇论文，其中有16695篇使用了统计量来检验假设，在其中一半的论文中，statcheck都发现了至少一个潜在的错误。

Nuijten没有通知这些论文的作者。但今年八月，她的合作者，荷兰蒂尔堡大学的方法论学者Chris Hartgerink将关注点从科研文献整体转移到了具体的论文上。他用statcheck检验了50000多篇论文，并将报告结果发表在了一个科学家在线探讨论文争议的论坛PubPeer上。这一做法引发了有关应如何使用这类工具的热议。

Hartgerink预测，这些帖文能将潜在的错误告知给读者和作者，且“相较于直接公布数据集，能为学科带来更为直接的收益。”并不是所有人都同意他的看法。10月20日，德国心理学协会警告，发布错误的纠错信息可能会损害研究者的声誉。10月底，美国心理科学协会的一位前任主席也谴责了在博客和社交媒体上发布“未经筛查的诋毁言辞”的上升苗头，言外之意是类似statcheck这样的程序发布的内容可被视为一种骚扰。

其他人则认为这种程序将会为学术界带来积极的改变。Hartgerink 和Nuijten都收到了开放科学倡导机构所授予的奖项。在PubPeer论坛针对statcheck原论文的一则评论中，荷兰格罗宁根大学的心理学研究者Nick Brown写道，如果研究者不再假设论坛上的帖文说明论文“有问题”，而是换种思维方式——“PubPeer论坛上有关于这篇论文的帖文，我会要像个科学家一样去看一下并加以评估”的思维方式，科学界或许就能从中获益。

在加州大学戴维斯分校研究自我认知的研究者Simine Vazire认为，自动化检查工具的出现会让研究者们更有可能复查自己的研究结果，这对心理学来说是件好事。“这样的工具能揪出错误，更重要的是，它会让研究者们更加仔细，” Vazire说。

这一点似乎说得在理。迄今为止，已经有数千人免费下载了用R语言编写的statcheck程序，或访问了不需要编程知识的statcheck.io网站。（若研究者想检查部分统计结果而不是整篇论文，则可以使用ShinyApps这样的在线计算器。）

大多数心理学论文都以标准化格式报告统计测试结果，其中包括可用于检验不一致性的相关参数。目前，Statcheck只适用于使用这种格式的论文，它会识别并检查几种常见的计算P值的检验方式（P值检定在假设两组数据间没有实际差异的情况下，统计量观测值偶然出现的概率；见“Statcheck检验什么”一图）。虽然统计学家反对这种做法，但P值小于0.05往往会被人为选作“统计显著”的标志，对应的结果往往会被接受，乃至得到发表。

荷兰埃因霍温理工大学的认知心理学家Daniel Lakens表示，Statcheck检验出的大多数错误似乎都是笔误或复制-粘贴时产生的错误。在阅读statcheck论文后，他决定分析这个程序找出的改变了研究结果统计显著性的错误。他发现，这些错误主要分为三类：研究者常常会用错符号，比如P<0.05，而不是P=0.05。在另一些情况下，论文中的计算只关注特定的统计关系，比如正相关性或负相关性，而一些作者没有明确声明这一点。过于宽松的四舍五入也很常见：在改变了研究结果统计显著性的错误中，有10%是将0.055的P值报告为P≤0.05。Lakens认为这种情况出现的频率高得令人沮丧。

但statcheck本身也会出错——德国凯撒斯劳滕工业大学的实验心理学家Thomas Schmidt说。在statcheck将他的两篇论文标为有错后，Schmidt写作了一篇批评这个程序的评论文章。举例来说，statcheck并不是总能辨认出必要的统计调整。

Statcheck也不能辨认出检测到的错误是P值错误，还是某个相关参数出了错。Schmidt说，在他的两篇被检测的论文中，statcheck没能辨认出43个P值，检验了137个P值，并将35个标记为“可能有错的统计结果”。在这35个P值中，两个没有改变统计显著性，3个反映出了其他参数的错误，但没有影响P值，还有30个属于错误标记。

Nuijten承认，statcheck有时会错误识别检验类型，或忽视经过调整的P值。但她指出，在她的原论文中，statcheck发现的错误率与人工检查接近。

Nuijten和Hartgerink一直努力试图维护良好的交流氛围。在大多数情况下，他们的尝试都是成功的。Nuijten发布了有关statcheck工作原理的详尽说明，在说明中用上了微笑表情符号和友好的感叹号。Hartgerink则在使用改进版本的软件更新PubPeer论坛上的帖文。两人都提醒人们，所有人都可以在PubPeer上添加评论来解释statcheck的结果，帖文本身也声明了statcheck的结果并不是决定性的。“我反复强调的一点是，statcheck是个自动检查软件，它永远都不会像人工检查一样准确，”Nuijten说。

荷兰格罗宁根大学的心理学家Elkan Akyürek表示，Statcheck检查出的许多错误都是细枝末节的，但如果作者不予回应，那么问题还是问题。“基于内容的探讨有些泛滥。”学界领袖，比如英国牛津大学的神经心理学家Dorothy Bishop担心这样的帖文会把人们的注意力从更加严肃的讨论中分散开去，导致研究者间关系疏远，降低他们对提高可重复性的尝试的接受度。德国约翰尼斯·古腾堡-美茵茨大学的心理学家Heiko Hecht则认为效果或许恰恰相反：“这个程序目前仍然很不成熟，但长远来看，它或许能让科学家的保持学术诚信。”此外，他补充道，如果研究者提供了原始数据，那么谁都能验算statcheck的检查结果。

一些作者对能有机会改正错误表示感谢，但另一些作者则认为应该让自己有机会在帖文公布之前审阅其内容。至少有三人在PubPeer论坛上解释了statcheck找到的错误。其中两人告诉《自然》，这些错误都是不影响P值的笔误，而且微不足道，不值得发表正式的更正。对Vazire来说，她希望这样的自动化报告能帮助研究者习惯接受发表后的评论。“我认为这有助于降低我们对批评的敏感度，”她说。

今年七月，《心理科学》（Psychological Science）期刊开始用statcheck检查所有初期评审意见良好的投稿，并与作者讨论statcheck发现的不一致之处。“我当时认为，这种做法可能会遭遇一些抵触或阻力，”总编Stephen Lindsay说，“但人们几乎没有反应。”他说，在目前用statcheck检查过的几十篇投稿中，并没有出现性质恶劣的错误，但至少在两篇投稿中，作者将0.054的P值报告成了0.05。

Lindsay表示，直接向作者出示statcheck报告会让其感到困惑（举例来说，这个程序会用TRUE来标记潜在的错误）。Nuijten说，接下来的版本将会更容易让非程序员理解。与此同时，她的团队正在与爱思唯尔和PLOS等出版商探讨在他们的期刊中使用这一程序的事宜。其他软件可能也很快会加入statcheck的行列：一些研究者正在开发一款综合性更强的商业性程序，名叫StatReviewer。StatReviewer能分析不同学科的论文，它不仅能验算论文中的计算，还能保证作者遵守了披露规定。

Lindsay希望，随着研究者逐渐放弃在论文草稿中手动输入统计结果的做法，而直接利用生成统计量的程序将数据插入到论文中，并提供脚本链接，statcheck也会退出历史舞台。“研究方法论领域的先锋正在使用等程序（来报告数据），”他说。

Schimidt认为，statcheck在撰写论文草稿时是一种实用的工具，但并不是为初新手准备的。“正式发表前的最大的风险是经验不足的使用者高估了statcheck的作用，盲目依赖程序得出的结果。”Lakens本人坚持使用人工检查：论文的作者之一做统计分析，另一位作者验算结果。这种方法能发现statcheck发现不了的错误，比如颠倒结果。

Nuijten认为人工做法很有道理。她的目标从来都不是左右统计分析。她说，Statcheck更像是一种标准化的拼写检查工具：“（Statcheck）是一个便利的工具，但有时会犯愚蠢的错误。”人们会嘲笑它的荒谬，但仍然会使用它来纠正错误。ⓝ

Nature|doi:10.1038/540151a

点击“阅读原文”阅读英文原文

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件Chinapress@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2016 Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved.