查看原文
其他

匿名还是透明?同行评议新动向

知社 知社学术圈 2022-10-17

海归学者发起的公益学术平台

分享信息,整合资源

交流学术,偶尔风月

同行评议的匿名机制已经施行了很多年,在某种程度上甚至是学术公平或消除偏见的代名词,而近期,让匿名评审人揭开面纱的提高透明度行动也开始获得关注和支持。

根据一项研究,审稿人每年总共进行数千万小时的同行评审。
图源:Getty

匿名还是透明,学术界的选择是什么?对此,《自然》用一年的时间进行了调查,结果公布于2022年3月初的社论:近一半的作者同意发表匿名评价报告,而该期刊也表示支持这一行动。

2020年2月,《自然》提出,提交新稿件的作者可以在提交稿件的同时发布匿名评议,或者是回复别人对自己的评议。这种匿名交流都可能会被发表。如果愿意,作者甚至还可以选择被点名。

公布结果显示,在2021年间,该期刊发表的研究论文中,约69%附有匿名同行评议报告和作者-评审者交流,其中包括73%的生命科学论文、59%的化学论文、64%的物理论文,77%的地球科学论文。共有46%的作者选择发表他们与评审者的讨论。而2022年,这个数字可能还要增加。
 

不同学科领域对开放发表匿名评议报告的响应程度
图源:Springer Nature

开放同行评议有助于提高评议的透明度,对同行评议制度的研究也很有价值。此外,出版同行评议交流也认可了研究人员为学术服务所付出的努力。虽然评审者每年付出大量时间在评议工作上,但是,这一贡献很少在研究评估系统中得到承认。如果更多的研究人员同意开放同行评议交流,所有人都可以参与其中。

上述好处虽然看起来理所当然,但不同的声音也很大程度存在,要理解其中关窍,还得从同行评议这个机制本身说起。

同行评议机制



同行评议的历史可以追溯到1665年。《伦敦皇家学会哲学学报》创始编辑亨利·奥尔登堡(Henry Oldenburg)是第一位寻求外界评论家的编辑。300多年来,同行评议已经成为学术研究的基石,其中扮演最重要角色的是编辑和审稿人。


编辑的作用



一般来说,同行评议的流程是这样进行的:当一份手稿被提交给期刊时,编辑将对其进行筛选和评估,以确定它是否适合该期刊的范围,然后再决定是否将其发送给同行进行全面审查。一般来说,尽管有些期刊需要更多的评议报告,但编辑们还是会试图从两位审稿人那里获得评论。

一旦审稿人同意撰写手稿,正式的同行评议就开始了。通常独立的审核人之间不共享审核报告。当审核人的意见不一致的时候,稿件和报告将被发送给独立的审稿人——通常是期刊编委会的成员,并根据他/她的建议做出决定。

如果审稿人之间意见一致,好的稿件可以接受当前形式的原稿。不太合格的稿件会被发回给作者,根据反馈意见进行修改。当然,也可能会被拒稿。

在选择审稿人时,编辑通常会比较谨慎。他们会查看潜在审稿人的研究兴趣和机构概况,以确定他们的专业性。此外,曾在多篇论文中担任合著者的人容易受到编辑青睐。而为了避嫌,与作者在同一机构工作或与作者合著过论文的审稿人通常不会受到邀请。

确保公平是同行评议的重要原则。被拒稿的作者如果提出异议,就必须提供证据或新信息,来直接回应审稿人的批评。那么期刊编委会将进行申诉。成功的话,文章可能会重新进入同行评审过程。

审稿人的作用



做出是否拒稿的建议是审稿人的权力,审稿人通常会考虑论文的以下因素:
  • 科学严谨性:方法是否清晰可靠?结果是否支持结论?这项研究是可复制的吗?

  • 独创性:研究的价值和创新性?被引用的可能性有多大?

  • 意义:该研究将对专业领域产生什么样的影响?及时吗?


在此过程中,审稿人通常不会纠正语法或印刷错误。只要意义明确且易于理解,这些问题将在验收后得到解决。

在理想世界中,科学研究是完全客观和理性的。然而现实的论文评审过程中,很大程度上反映了编辑和审稿人的主观意见。尽管负责任的审稿人和编辑都会尽力挑选优秀的稿件发表,但在整个评审过程中,审稿人的意见和编辑的判断不可能满足所有作者对“公平”的期待。

相比之下,双重匿名同行评议意味着评审者和作者的身份都被隐藏。这种方法相对更公平。而现在增加的提高透明度的做法,即在论文出版后,将评审者的身份及其报告都公开,其直接影响是可能会迫使评审者对自己的评阅意见更加负责。


评审者:职业发展视角



对于很多年轻的学者而言,成为评审人是其专业履历中很重要的一项。从作者到评审人有很多成长途径。首先是利用学术出版商提供的众多教育资源。有些出版机构会向研究者提供同行评议培训,以帮助早期职业研究人员提高他们的同行评议能力。

提升审稿人经验的另一个途径是与同事共同审稿。当一位资深评审者收到评审邀请时,他们有时会邀请一位级别较低的同事与他们合作。高级研究员将帮助指导初级研究员完成审查过程、意见草稿等。这篇评审意见实质上是由这两位研究人员“共同制作”的,两位研究人员都被列为评审人并认可贡献。


同行评议:付出与回报



没有同行评议,科学的重大进步是不可能实现的。让多个领域的专家共同分析一篇论文一方面有助于识别其中的错误,提高论文的严谨性,并展示科学的价值。另一方面,在经过作者、评审者、编辑三方长时间、反复讨论下,论文质量会更高、结构更清晰。这一制度不仅加强了审稿人和作者之间的专业知识共享,广大读者也同时从中受益。

图源:pixabay.com

此外,对于评审者来说,同行评议不仅可以提前查看文献,还有助于在社区内建立更紧密的关系。2020年该期刊进行了一项关于同行评审者动机的调查,有早期职业研究人员表示,与期刊编辑建立联系很重要。
 
同行评议对科学研究的重要意义毋庸置疑。但是这种对于同行工作成果的“品头论足”却常常让评审者感到“受累不讨好”。对于许多期刊来说,获得高质量的同行评议并不容易。近年来,虽然同行评审的需求不断增加,但评审者对评审邀请的响应却越来越差。而且,不同地区的同行评议活动存在差异,美国和中国的同行评议人数最多。有人认为,这是激励结构的区域差异造成的。

没有激励,便没有动力。一项于2018年启动的全球范围内的同行评议调查了超过11800名研究人员,其中85%的参与者认为,对同行审查的更多认可和正式激励有助于提高评审者的参与意愿,提升同行审查的效率。与以往传统的激励方式——比如期刊订阅、开放访问发布的折扣,以及公开致谢等相比,研究人员更希望获得“实在”一些的激励,比如免除出版费、将评审经历纳入资助申请评估等。

也有一些研究人员超然物外,做出了超出想象的、大量评审工作。同行评议认证平台Publons的数据库里记录了众多同行评议活动。数据显示,有一些研究人员在同行评议中高度活跃,每年能够完成100次以上的评审,被称为“超级评论员”(mega peer reviewers)。这些超级评论员每年完成大量同行评议活动,并表现出与普通评议者显著不同的特征。
 

图源:Rice et al. (2022) 

研究发现,从区域来看,超级评论员大多数来自亚洲(33%)、欧洲(37%)和北美(19%)。其中92%的超级评论员为男性。这一发现在一定程度上反映了许多女性学者在工作和家庭中承担了更多责任,导致几乎没有额外的时间来承担大量的同行评议工作。

研究结果表明,超级评论员在同行评议中投入了大量时间。仅在2020年,同行评审的估计成本就超过1亿小时。2018年,超级评论员审查的文章总数超过5.4万篇。这些文章由396人完成,比对照组的1200人完成的同行评议多11倍。超级评论员的利他主义和对同行评议的奉献精神应该得到认可。

此外,研究还显示,超级评论员可能比其他同行评论员在专业方面更成熟,比如有更多引用、高h指数等。这也让他们更容易获得期刊编辑的青睐。

学术界对同行评议的机制一直有很多讨论,也做出了很多改革的尝试。对于文初的话题,同行评议到底是匿名更好,还是保持透明更好?每个研究人员心中都有自己的判断,欢迎留言,写下您的建议。


参考文献:

1.Editorial. Nature 603, 8 (2022). doi:10.1038/d41586-022-00493-w

2.Eggleton, K. (2022). Is anonymity or transparency best solution to bias in peer review? https://www.timeshighereducation.com/blog/anonymity-or-transparency-best-solution-bias-peer-review

3.Gillett, M. (2022). Understanding peer review: what it is, how it works and why it is important https://www.timeshighereducation.com/campus/understanding-peer-review-what-it-how-it-works-and-why-it-important

4.Rice, D. B., Pham, B., Presseau, J., Tricco, A. C., & Moher, D. (2022). Characteristics of ‘mega’ peer-reviewers. Research Integrity and Peer Review, 7(1), 1-7. doi:10.1186/s41073-022-00121-1


点击下方知社人才广场,查看最新学术招聘

扩展阅读

 

科学发表打假遇墙:凌驾于同行评议与期刊编辑的法律审稿
论文井喷,无人审稿,谁解同行评议之难?

“螺旋前进的精子”遭撤稿,同行评议还靠谱吗?

同行评议制度:保障学术纯洁性的坚实防线?

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存