人工智能根据x光诊断肺部疾病
Skoltech的研究人员已经训练了一个神经网络来搜索x射线图像上的肺部病变,并给出简短的口头描述。这项任务目前由医生执行,需要几分钟才能完成。据该人工智能解决方案的创造者称,在不需要大量修改文本的情况下,该技术将这一时间缩短至30秒左右。在大多数情况下,放射科医生只需要确认建议的诊断。如肝纤维化、心脏肿大或疑似恶性肿瘤或无此类疾病。这项研究发表在科学报告。
该解决方案依赖于现代机器视觉和计算机语言学模型,包括GPT-3小模型,它是ChatGPT机器人提供的广受欢迎的GPT-3.5和GPT-4模型的前身。
“常规模型只是分类,但我们的神经网络利用先进的机器视觉和计算机语言学模型来自动描述x射线图像的文字,”它的创造者之一,Skoltech研究科学家Oleg Rogov评论道。
神经网络在图像-文本对组成的数据上进行训练。“我们编写了自己的放射学词典,使模型更加准确,特别是在涉及放射学术语及其在文本中的用法时。当然,我们也把一个大型的x光图像集成数据库作为训练数据,”Rogov补充说,并强调神经网络只“意识到”那些可以在肺部x光上实际表现出来的诊断。训练集在代表疾病方面是平衡的。
该系统进一步发展的可能性包括将其应用于MRI和CT扫描,以及结合主动学习。后者指的是模型通过考虑人类审稿人所做的编辑来改进它们的预测。这种解决方案也可以与另一种方案结合使用神经网络,以图形方式突出显示标题中提到的感兴趣的领域。
更多信息:Alexander Selivanov等,基于生成式预训练变压器的医学图像字幕,科学报告(2023).DOI: 10.1038 / s41598 - 023 - 31223 - 5