研究人员确定,基于人工智能的工具尚未充分发挥诊断COVID-19的潜力
由杂志发表放射学:人工智能明尼苏达大学医学院的一项前瞻性观察研究横跨12个医院系统,评估了可解释人工智能(AI)模型从胸部x光片检测COVID-19的实时性能。
患有COVID-19的参与者的COVID-19诊断得分明显高于未患COVID-19的参与者。然而,研究人员发现,在实施的19周内,实时模型的性能没有变化。模型敏感性在男性显著高于女性,而模型特异性在女性显著高于男性。亚裔和黑人参与者的敏感性明显高于白人参与者。COVID-19 AI诊断系统准确性明显低于放射科医生的预测。
明尼苏达大学医学院的外科副教授、M Health Fairview的普外科医生Christopher Tignanelli说:“这项研究代表了对人工智能COVID-19诊断模型的首次现场调查,它强调了人工智能的潜在好处,但也强调了其局限性。”“尽管前景广阔,但基于人工智能的工具尚未达到全部诊断潜力。”
该研究结果是由密歇根大学科学与工程学院的助理教授孙菊(Ju Sun)和他的团队与M Health Fairview和Epic合作开发的一种人工智能算法提供的。
- COVID-19诊断模型在受COVID-19严重影响的参与者中表现良好;然而,他们未能区分受COVID-19影响轻微的参与者。
- 许多发表的早期大流行人工智能模型吹嘘使用公开数据集的性能指标过于乐观。
- 人工智能模型的诊断准确率低于预测由委员会认证的放射科医生制作。
“当我们用两个公开的数据集进行验证时,我们在这项研究中看到了同样过度乐观的表现;然而,正如我们在手稿中所显示的,这并不能转化为现实世界,”提格纳内利说。“研究人员和期刊都必须制定标准,要求对同行评议的AI稿件进行外部或实时前瞻性验证。”
研究人员希望通过整合来自40多个美国和欧洲站点的数据,以及利用结构化数据、临床记录和图像的多模式模型,开发出一种更简单的AI诊断模型。