ChatGPT(几乎)可以通过美国医学执照考试

根据2023年2月9日发表在开放获取期刊上的一项研究，ChatGPT可以在美国医学执照考试(USMLE)中获得约60%的及格线，其回答具有连贯性、内在意义并包含频繁的见解公共科学图书馆数字健康作者是Tiffany Kung、Victor Tseng和AnsibleHealth的同事。

ChatGPT是一种新的人工智能(AI)系统，被称为大型语言模型(LLM)，旨在通过预测即将出现的单词序列来生成类似人类的写作。与大多数聊天机器人不同，ChatGPT不能搜索互联网。相反，它使用内部过程预测的单词关系来生成文本。

Kung和同事测试了ChatGPT在USMLE中的表现，USMLE是一个高度标准化和规范化的系列考试(步骤1,2CK和3)，要求在美国获得医疗执照。采取医学专业的学生USMLE评估了大多数医学学科的知识，从生物化学到诊断推理，再到生物伦理学。

在筛选删除基于图像的问题后，作者对从2022年6月USMLE发布的376个公开问题中的350个进行了测试。

在去除不确定的回答后，ChatGPT在三次USMLE考试中的得分在52.4%到75.0%之间。每年通过门槛约为60%。ChatGPT在其所有反应中也表现出94.6%的一致性，并对88.9%的反应产生了至少一个重要的见解(新的、不明显的和临床有效的见解)。值得注意的是，ChatGPT的性能超过了专门针对生物医学领域文献训练的对应模型PubMedGPT，后者在usmle风格问题的旧数据集上得分为50.8%。

虽然相对较小的输入大小限制了分析的深度和范围，但作者指出，他们的发现提供了ChatGPT增强潜力的一瞥医学教育，最终，临床实践．例如，他们补充说，AnsibleHealth的临床医生已经在使用ChatGPT重写术语繁多的报告，以使患者更容易理解。

作者说:“在这个出了名的困难的专家考试中达到及格分数，并且没有任何人工强化，这标志着临床人工智能成熟的一个显著里程碑。”

作者Tiffany Kung博士补充说，ChatGPT在这项研究中的作用不仅仅是作为研究对象:“ChatGPT对[我们]手稿的写作做出了重大贡献……我们与ChatGPT的互动就像同事一样，要求它对正在进行的草案进行综合、简化和提供对位……所有共同作者都重视ChatGPT的投入。”