医疗人工智能会得到有偏见的数据，造成不平等的护理
与许多行业一样，医疗保健也从人工智能的日益普及中受益，但有时也会以牺牲少数患者的利益为代价。
事实上,卫生保健人工智能可能会放大和恶化不平等(种族/民族和其他)，因为数据源“教授”人工智能并不具有代表性，而且/或基于当前不平等医疗的数据，密歇根大学法学教授尼克尔森·普莱斯说，他也是密歇根大学医疗政策与创新研究所的成员。
在最近的一次科学在这篇文章中，普莱斯和他的同事密歇根州立大学的Ana Bracic以及乔治华盛顿大学的Shawneequa Callier说，尽管医生和医生在医学上做出了努力，这些差异仍然在发生卫生系统尝试以多元化的劳动力招募或内隐偏见培训为重点的策略。
反少数民族文化的一个例子是什么?
令人沮丧的是，有许多文化中对少数群体(即由主导群体构成的少数群体)存在根深蒂固的偏见。在这篇文章中，我们关注的是医学上的黑人病人(在许多其他有害的观点中，他们被刻板地认为对疼痛不太敏感)，但我们也可以很容易地关注印第安人病人、跨性别病人、某些残疾的病人，甚至是一般的女性(尽管她们在数量上占多数，但通常仍然是少数)。
所以这影响了研究参与/招募和人工智能，比如黑人参与者参与度下降?
完全正确。我们首先描述了包含自我强化的排斥循环的临床护理模式，然后回过头来展示这些动态也如何发生在大数据和人工智能的患者招募中。参与研究的故事实际上很大程度上依赖于早期的研究显示出不同的赞成率大数据不同少数群体成员的研究参与(密歇根基因组计划)。
在这个项目中，我们在这个工作的基础上(和其他工作本文的第三位合著者Shawneequa Callier关于研究参与的研究)，阐述了循环动力学，其中偏见导致招募不足，导致参与减少，导致少数患者对研究不感兴趣，并形成一个重复的、强化的循环。同样的模式也出现在医疗人工智能中。
描述AI和反少数民族文化/歧视的互动。
人工智能不是有知觉的;它不能“轻视”少数群体的成员。但人工智能系统的训练数据反映了数十年来根深蒂固的偏见临床护理他们还接受了代表性不足的数据集的训练(原因如上所述)。这意味着人工智能系统从有偏见的数据中“学习”，而它们学习到的模式——以及它们用来预测、分类和推荐的模式——是有偏见的，因此这些输出很可能也是有偏见和歧视性的。当患者拒绝接受不良建议或反应不良时，人工智能系统也会从这些新数据中学习，这样的循环就会再次重复。
这项研究的政策意义是什么?
基本上，有三个主要的政策要点。首先，排斥可以自我强化，无论是在医疗实践、研究数据收集或医疗AI。希望这些过程会随着时间的推移而改善(特别是对人工智能)，因为他们只是学到更多，除非这些希望伴随着专注的研究和努力，否则很可能是徒劳的。
其次，这些不同的排斥循环不仅是自我强化的，它们还可以相互强化。人工智能系统从有偏见的护理中学习，有偏见的人工智能建议可以反馈到更有偏见的护理。一个完全公正的医生与一个接受过有偏见数据训练的人工智能一起工作，最终可能会做出有偏见的决定。
第三，也是相关的:试图在政策层面解决这些问题，需要理解并考虑到这些相互交织和不断加强的动态。试图修复系统中的一点偏差就像试图通过专注于一个器官来治疗全身感染:它只会被系统的其他部分再次感染。
如何从任何数据集或人工智能中确定偏见?谁来带头改变算法的现状呢?
这是一个棘手的问题。我们认为多学科、多元化的团队是前进的方向，但这些团队可能是谁，或者他们如何实现有意义的改变，还远远不清楚。如果我们有一个非常清晰、直接的解决方案就好了，但实际上，我们认为我们在这里的作用是做更多的事情，指出问题的复杂性和动态，希望在它还足够早的时候更有效地解决它。
密歇根大学(University of Michigan)法学教授、密歇根大学医疗政策与创新研究所(Institute for Healthcare Policy & Innovation)成员尼克尔森•普莱斯(Nicholson Price)表示，事实上，医疗AI可能会放大并加剧差异(种族/民族和其他)，因为“教授”AI的数据来源不具有代表性，而且/或基于当前不平等医疗的数据。
