新的人工智能工具可以识别预测心理学研究可重复性的因素

新的人工智能工具可以识别预测研究可重复性的因素
2000 - 2019年心理学文献预测复制得分。机器学习模型预测在发展心理学、社会心理学、临床心理学、认知心理学、组织心理学和人格心理学等心理学子领域最高评级期刊上发表的14,126篇论文的复制可能性。信贷:美国国家科学院院刊(2023)。DOI: 10.1073 / pnas.2208863120

一项涉及伦敦大学学院研究人员的新研究表明,科学研究的复制成功与研究方法、引用影响和社交媒体报道有关,但与大学声望或引用数量无关。

发表在杂志上美国国家科学院院刊PNAS),该研究探索了一个经过验证的基于文本的机器学习模型的能力,该模型预测了自2000年以来在六个顶级期刊上发表的超过14100篇心理学研究文章成功复制的可能性。

这项研究与法国圣母大学和美国西北大学合作进行,确定了几个增加研究可复制性可能性的因素,也就是说,如果使用相同的方法进行第二次研究,结果将是相同的。

总的来说,作者发现,在心理学的所有子领域,实验研究的可重复性明显低于非实验研究。作者发现,非实验论文的平均复制得分(复制成功的相对可能性)为0.50,而实验论文为0.39,这意味着非实验论文的可重复性大约是前者的1.3倍。

作者说,这一发现令人担忧,因为心理学强大的科学声誉至少部分建立在对实验的熟练程度上。

研究还表明,作者的累计发表数量和引用影响力与复制成功呈正相关。然而,研究质量和严谨性的其他指标,如作者在大学的声望和论文的引用次数,被发现与可复制性无关。

预测的复制率也在心理学子领域中有所不同(组织心理学,人格心理学,以及).作者得出结论,由于心理学及其子领域的这种变化,使用单一指标来表征整个领域的可复制性可能是不够的。

该研究还确定了与复制可能性负相关的因素,媒体关注与复制可能性负相关成功。作者推测,这可能是因为媒体更有可能报道不寻常或意想不到的发现。

作者说,这项研究可以帮助解决人们对社会科学,特别是心理学中可复制性较弱的普遍担忧,并加强整个领域。

研究合著者吴友友博士(IOE,伦敦大学学院教育与社会学院)说:“可复制性是整个社会科学面临的一个问题特别是,人工重复研究的数量远远低于大量的重要研究在给定的时间和资源限制下,希望看到复制

“我们的研究结果可以帮助开发新的策略来测试科学文献的整体可复制性,在期刊提交之前自我评估研究,以及培训同行评审员。”

更多信息:吴友友等,过去二十年心理学论文可复制性的学科范围调查,美国国家科学院院刊(2023)。DOI: 10.1073 / pnas.2208863120

所提供的伦敦大学学院
引用:新的AI工具识别了预测心理学研究可重复性的因素(2023,2月10日),检索自2023年2月13日//www.pyrotek-europe.com/news/2023-02-ai-tool-factors-psychology.html
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

进一步探索

一个新的复制危机:不太可能是真的研究被更多地引用

95股票

对编辑的反馈