学生开发的机器学习技术使手术更安全，更容易回顾

与数据科学研究所(Data Science Institute)的一项跨学科研究成果产生了一种前景光明的机器学习技术，它可以有效地跟踪复杂的手术活动，从而有可能改善患者的预后、安全性和文档化。

邓廷琰，大三学生，主修计算机科学该公司使用类似于自动驾驶汽车控制算法的算法，开发了一项技术，可以分析外科医生脖子上佩戴的摄像头捕捉到的手术视频。

该项目是由Benoit Dawant，电气工程和计算机科学教授和门廊手术和工程研究所主任开发，以及耳鼻喉科和颈部手术副教授的Alexander Langerman，以及2020名Vis​​e医师住宅。

“视频是手术室发生的最终的客观记录，”兰伯曼说。“如果患者需要第二个程序，外科医生可以确切地看到第一次手术期间发生的事情。思考甚至更大，外科视频可以识别提高外科医生性能和影响的元素的方法病人的结果。我们只需要确保我们捕捉到了正确的东西。”

邓小平的工作采取了改善手术视频的下一步：确保相机始终瞄准正确的位置。

2月15日发表在《光学仪器工程师学会会议论文集》上的一篇文章“使用R-CNN口罩在开颈手术视频中自动检测外科伤口”。这项工作是已知的第一个使用第一人称进行开放外科伤口检测的演示视频镜头。

警告：此视频具有外科手术的图形图像。

DENG培训了一种称为“掩模R-CNN”的算法，在手术视频上培训到细分并跟踪手术伤口，同时免受来自许多手，仪器和材料的分散，不断改变光线条件并遮挡视野。这种恒定的活动使掩模R-CNN应用了一个困难而高的技术挑战。在使用超过千张图片后，掩模R-CNN可以量​​化伤口，外科医生的手和外科手术器之间的相对距离和运动。

“对于使用相对较少的视频，算法表现得非常好，”兰格曼说。“我有信心，我们正在创造一种高度可靠的技术来检测开放手术野的关键因素。”

“这次合作有非常有趣的组成部分。在开发mask R-CNN的过程中，TingYan带着他的创意和坚定的态度，”Dawant说。“我们对这项工作的方向持乐观态度。”

从2020年1月开始这项工作，邓对机器和深度学习技术没有太多经验。他觉得，在数据科学研究所主办的研讨会上，他对计算机科学有了更具体的认识，并能够将这些经验应用于学习其他算法的形成。从这段经历中，邓亚萍开始对数据研究产生兴趣科学研究生学位。

“这个项目的最酷部分是其跨学科的性质，”邓说。“使用医学图像并不容易，因为大多数都没有公开可用。我非常兴奋地参加这样一个独特的项目，将创新的驾驶算法带入手术。”

邓小平的研究得到了VISE的支持。他正在两个工作学术论文：一个将面膜R-CNN结果和方法与现有方法进行比较，另一个在第二个对象检测算法上跟踪手术器械。邓先生将通过今年夏天通过虎钳奖学金继续工作。

---

---