AI未通过放射学资格考试

x射线
资料来源:CC0 Public Domain

《英国医学杂志》圣诞期的一项研究发现,人工智能(AI)目前无法通过一项合格的放射学考试,这表明这项有前途的技术还没有准备好取代医生英国医学杂志

人工智能越来越多地用于医生做的一些任务,比如解释x光片(x光片和扫描片),以帮助诊断一系列疾病。

但人工智能能通过英国皇家放射医师学院(FRCR)的考试吗?英国实习生必须通过这项考试才能成为放射咨询师。为了找到答案,研究人员将一款市售人工智能工具的性能与26款进行了比较(大多年龄在31至40岁之间;62%女性)所有这些人都在前一年通过了FRCR考试。

他们开发了10个“模拟”快速报告考试,基于构成资格FRCR考试的三个模块之一为了速度和准确性。

每个模拟考试由30张与真实FRCR考试相同或更高难度和知识广度的x光片组成。为了通过考试,考生必须在35分钟内正确解读30张图片中的至少27张(90%)。

人工智能候选人经过训练,可以评估包括骨折、关节肿胀和脱位以及肺部塌陷在内的几种情况下的胸部和骨骼(肌肉骨骼)x光片。

考虑到与。有关的图像这些都是人工智能候选人没有接受过训练的,被认为是“无法解释的”。

当从分析中排除不可解释的图像时,AI候选人的平均总体准确率为79.5%,并通过了10次模拟FRCR考试中的2次,而平均平均准确率达84.8%,并通过10项模拟考试中的4项

AI候选人的敏感性(正确识别有疾病患者的能力)为83.6%,特异性(正确识别无疾病患者的能力)为75.2%,而所有放射科医生的敏感性和特异性分别为84.1%和87.3%。

在超过90%的放射科医生正确解读的300张x光片中,有148张是正确的,人工智能候选人在134张(91%)中是正确的,在剩下的14张(9%)中是错误的。

在超过一半的放射科医生错误解读的300张x光片中,有20张是人工智能候选人的10张(50%)是错误的,其余10张是正确的。

有趣的是,放射科医生略微高估了人工智能候选人的可能表现,他们认为人工智能候选人的平均表现几乎和他们一样好,并且在10次模拟考试中至少有3次表现超过他们。

然而,事实并非如此。研究人员说:“在这种情况下,人工智能候选人无法通过10场模拟考试中的任何一场,如果按照与人类对手相似的严格标准进行评分,那么它可以通过其中两场模拟考试,如果RCR做出特殊的分配,排除没有训练过的图像。”

这些都是观察性发现,研究人员承认,他们只评估了一种人工智能工具,并使用了没有计时或监督的模拟考试,因此放射科医生可能不会像在真实的测试中那样感到巨大的压力

尽管如此,这项研究是放射科医生和人工智能之间比较全面的交叉比较之一,为分析提供了广泛的分数和结果。

他们补充说,强烈建议进行进一步的训练和修订,特别是对于人工智能认为“不可解释”的情况,比如腹部以及中轴骨架。

研究人员在一篇相关社论中表示,人工智能可能会促进工作流程,但人力投入仍然至关重要。

他们承认,使用人工智能“在进一步提高效率和诊断准确性以满足一系列医疗保健需求方面具有尚未开发的潜力”,但他们表示,适当地使用人工智能“意味着更好地教育医生和公众了解人工智能的局限性”让这些更加透明。”

他们补充说,关于这一课题的研究正热闹着,这项研究强调了放射学实践的一个基本方面——通过FRCR考试以获得执业许可证——仍然受益于人类的接触。

更多信息:人工智能能通过皇家放射医师学院的奖学金考试吗?多阅读器诊断准确性研究,英国医学杂志(2022)。bmj DOI: 10.1136 / - 2022 - 072826
期刊信息: 英国医学杂志

所提供的英国医学杂志
引用: AI未能通过2023年1月2日从//www.pyrotek-europe.com/news/2022-12-ai-radiology-qualifying.html检索的放射学资格考试(2022年,12月21日)
这份文件受版权保护。除为私人学习或研究目的而进行的公平交易外,未经书面许可,不得转载任何部分。内容仅供参考之用。

进一步探索

深度放射组学模型可以诊断骨质疏松症

168股票

对编辑的反馈