人工智能语言模型打开了一个潜在的医学研究欺诈潘多拉盒子bob88体育平台登录

聊天机器人
来源:Unsplash/CC0 Public Domain

纽约州立大学下州健康科学大学的医学学生兼研究员Faisal Elali和纽约长老会/威尔康奈尔医学中心的医学文员兼研究员Leena Rachid想看看人工智能是否可以写一篇虚构的研究论文,然后研究如何最好地检测它。

人工智能是科学研究中越来越有价值和至关重要的一部分。它被用作分析复杂数据集的工具,但从未用于生成实际的论文以供发表。AI-generated另一方面,即使是基于完全捏造的研究,这些结论看起来也很有说服力。但究竟有多有说服力呢?

在一篇发表在开放获取期刊上的论文中模式,两位研究人员演示了使用ChatGPT(一种基于人工智能的语言模型)编写研究论文的可行性。仅仅通过询问,他们就能够让ChatGPT生成大量编写良好、完全虚构的摘要。一个假想的骗子可以将这些虚假的摘要提交给多个寻求发表的期刊。如果被接受,同样的过程可以用虚假的数据、不存在的参与者和毫无意义的结果来写一篇完整的研究。然而,它可能看起来是合理的,特别是如果主题特别抽象或没有经过特定领域的专家筛选。

之前的实验引用在当前的论文中,人类被给予了人类创造和人工智能生成的摘要来考虑。在那个实验中,人类错误地将32%的人工智能生成的研究摘要识别为真实的,14%的人类撰写的摘要识别为假的。

目前的研究团队决定用三个在线人工智能探测器来测试他们的ChatGPT捏造研究。这些文本绝大多数被识别为人工智能生成的,这表明期刊采用人工智能检测工具可能会成功地转移欺诈申请。然而,当他们先将相同的文本通过一个免费的、在线的、由人工智能驱动的改写工具运行时,共识一致地转向“可能是人类”,这表明我们需要更好的人工智能检测工具。

真正的科学是一项艰苦的工作,而传达这项工作的细节是需要付出大量努力的科学的一个关键方面。但只要有足够的时间和咖啡,任何几乎没有毛发的猿类都能把听起来合理的单词串在一起——本文作者可以坚定地证明这一点。编造一份有足够细节、看起来可信的假研究需要付出巨大的努力,需要花数小时研究如何最好地让人听起来可信,对那些对恶意恶作剧感兴趣的人来说,这可能是一项太乏味的任务。随着人工智能在几分钟内完成任务,这种恶作剧可能成为一个完全可以实现的目标。正如研究人员在他们的论文中指出的那样,这种恶作剧可能会产生可怕的后果。

他们给出了一个合法研究的例子,该研究支持使用药物a而不是药物B来治疗a.现在,假设一项捏造的研究提出了相反的主张,并且没有被发现(作为旁注,即使它被发现了,追回被引用和被撤回的研究的转载是非常困难的)。它可能会影响后续的meta分析和这些研究的系统综述——这些研究指导卫生保健政策、护理标准和临床建议。

除了简单的恶作剧动机,论文作者还指出了压力快速发表大量论文,以获得研究经费或进入更高的职业职位。他们指出,在某种程度上,美国医学执照考试(United States Medical Licensing Examination)最近从分级考试模式转变为及格/不及格模式,这意味着有抱负的学生更依赖已发表的研究成果来区分自己。这增加了一个值得信赖的人工智能检测系统的风险,以消除潜在的欺诈医学研究,这些研究可能会污染出版环境,或者更糟糕的是,在患者身上执业的从业者提交欺诈论文。bob88体育平台登录

长期以来,人工智能语言模型的目标一直是生成与人类文本难以区分的文本。我们需要能够检测出人类何时使用人工智能来制作与现实难以区分的欺诈性工作的人工智能,这并不令人惊讶。令人惊讶的是,我们可能很快就需要它。

更多信息:Faisal R. Elali等人,科学界人工智能生成的研究论文伪造和抄袭,模式(2023)。DOI: 10.1016 / j.patter.2023.100706

期刊信息: 模式

©2023科学BOB体育赌博X网络

引用: AI语言模型打开了一个潜在的医学研究欺诈潘多拉盒子(2023,3月14日),检索自2023年3月14日htbob88体育平台登录tps://www.pyrotek-europe.com/news/2023-03-ai-language-potential-pandora-medical.html
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

进一步探索

ChatGPT撰写令人信服的虚假科学摘要,愚弄研究中的审稿人

20.股票

对编辑的反馈