当涉及到重复研究时,背景很重要

纽约大学的一组研究人员发现,背景因素,如实验参与者的种族或实验地点的地理位置,会降低重复心理学研究的可能性。他们的研究成果发表在杂志上美国国家科学院院刊PNAS),分析了“可复制性项目”(Reproducibility Project)检查过的论文,以确定复制科学学术的潜在挑战。

“科学界一直在评估如何优化研究过程,应该对新的实践保持开放态度,以提高学术水平,”纽约大学心理学系副教授、该研究的主要作者杰伊·范·巴维尔(Jay Van Bavel)说。“这些新发现表明,如果我们想提高科学的可重复性,我们将需要改进我们的方法和理论,我们提出了加强科学研究的路线图:科学家应该避免基于有限的数据做出普遍的概括,明确定义可能影响其结果的上下文因素,并与原始研究人员密切合作,以提高可重复性。”

去年,心理学研究人员合作的“可重复性项目”(Reproducibility Project)试图复制先前发表的100项心理学研究的结果。然而,这些研究中只有39%能够做到这一点,这引发了对原始奖学金有效性的质疑。今年3月,来自哈佛大学和弗吉尼亚大学的一组心理学研究人员在《科学》杂志上发表了一篇批评文章,对可重复性项目的发现提出了质疑。他们的结论是,该研究的分析在统计上存在缺陷,几项复制研究的设计也很糟糕。

在新的PNAS在论文中,纽约大学的研究人员采取了不同的方法——他们专注于原始研究中研究主题的性质。他们重新分析了可复制性项目试图复制的所有100篇论文,包括一些由纽约大学其他教师共同撰写的论文。

具体来说,他们评估了原始研究中报告的影响可能受到环境因素影响的程度,如时间(例如,经济衰退前vs后)、文化(例如,东方vs西方文化)、地点(例如,农村vs城市环境)或人口(例如,种族多样化的人口vs以白人为主的人口)。换句话说,他们评估了原始100项研究中主题的上下文敏感性。编码员对再现性项目对他们编码的所有论文的复制尝试的结果一无所知。

然后,研究人员检查了上下文敏感性评级(即,上下文如何影响复制给定研究的机会)与可重复性项目的发现之间的关系。

结果表明,即使在统计上调整了影响大小和统计能力等方法学因素后,上下文评级也预测了复制成功。具体来说,具有较高上下文敏感性评级的研究——例如,改变研究参与者的种族或地理位置可能会改变结果——不太可能被重复性项目的研究人员重复。

在第二项分析中,纽约大学的研究人员在可复制性项目收集数据之前,检查了100项复制研究中哪些得到了原始作者的认可。在这里,他们发现,没有得到原始作者认可的复制研究,再现结果的可能性要小得多。

Van Bavel和他的同事们注意到,复制所面临的挑战不仅限于心理学,而且可以追溯到几百年前。例如,艾萨克·牛顿爵士声称,由于劣质的棱镜,他的同时代人无法复制他对光谱的研究。在他能够引导他们使用更好的棱镜(伦敦生产的,而不是意大利生产的)之后,他们能够重现他的结果。在现代,使用小鼠或大鼠的研究可能会受到细微的环境差异的阻碍,如食物、被褥和光线,这些环境差异会影响决定实验治疗成功或失败的生物和化学过程。

更多信息:科学再现性中的情境敏感性,PNASwww.pnas.org/cgi/doi/10.1073/pnas.1521897113

所提供的纽约大学
引用:当涉及到复制研究时,背景问题(2016年5月23日)从//www.pyrotek-europe.com/news/2016-05-replicating-context.html检索到2023年3月8日
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

进一步探索

实验经济学:你可以相信的结果

30.股票

对编辑的反馈