ChatGPT(几乎)可以通过美国医学执照考试

ChatGPT
来源:Unsplash/CC0 Public Domain

根据2023年2月9日发表在开放获取期刊上的一项研究,ChatGPT可以在美国医学执照考试(USMLE)中获得约60%的及格线,其回答具有连贯性、内在意义并包含频繁的见解公共科学图书馆数字健康作者是Tiffany Kung、Victor Tseng和AnsibleHealth的同事。

ChatGPT是一种新的人工智能(AI)系统,被称为大型语言模型(LLM),旨在通过预测即将出现的单词序列来生成类似人类的写作。与大多数聊天机器人不同,ChatGPT不能搜索互联网。相反,它使用内部过程预测的单词关系来生成文本。

Kung和同事测试了ChatGPT在USMLE中的表现,USMLE是一个高度标准化和规范化的系列考试(步骤1,2CK和3),要求在美国获得医疗执照。采取USMLE评估了大多数医学学科的知识,从生物化学到诊断推理,再到生物伦理学。

在筛选删除基于图像的问题后,作者对从2022年6月USMLE发布的376个公开问题中的350个进行了测试。

在去除不确定的回答后,ChatGPT在三次USMLE考试中的得分在52.4%到75.0%之间。每年通过门槛约为60%。ChatGPT在其所有反应中也表现出94.6%的一致性,并对88.9%的反应产生了至少一个重要的见解(新的、不明显的和临床有效的见解)。值得注意的是,ChatGPT的性能超过了专门针对生物医学领域文献训练的对应模型PubMedGPT,后者在usmle风格问题的旧数据集上得分为50.8%。

虽然相对较小的输入大小限制了分析的深度和范围,但作者指出,他们的发现提供了ChatGPT增强潜力的一瞥,最终,.例如,他们补充说,AnsibleHealth的临床医生已经在使用ChatGPT重写术语繁多的报告,以使患者更容易理解。

作者说:“在这个出了名的困难的专家考试中达到及格分数,并且没有任何人工强化,这标志着临床人工智能成熟的一个显著里程碑。”

作者Tiffany Kung博士补充说,ChatGPT在这项研究中的作用不仅仅是作为研究对象:“ChatGPT对[我们]手稿的写作做出了重大贡献……我们与ChatGPT的互动就像同事一样,要求它对正在进行的草案进行综合、简化和提供对位……所有共同作者都重视ChatGPT的投入。”

更多信息:ChatGPT在USMLE上的表现:使用大型语言模型辅助人工智能医学教育的潜力公共科学图书馆数字健康(2023)。DOI: 10.1371 / journal.pdig.0000198

引用: ChatGPT可以(几乎)通过美国医学执照考试(2023年2月9日),检索2023年2月13日从//www.pyrotek-europe.com/news/2023-02-chatgpt-medical-exam.html
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

进一步探索

ChatGPT有能力通过MBA和医学执照考试的考试

129股票

对编辑的反馈