3月17日，2021年

神经病学家采取意外的绕道来解码决策

由Anastasia Gorelova，匹兹堡大学

在发表的论文中自然神经科学上周，匹兹堡大学研究人员描述了如何通过不确定性调节大脑中奖励信号。多巴胺信号与奖励学习交织在一起;他们教导了大脑哪个提示或行动预测了最佳奖励。皮特医学院的Stauffer实验室的新发现表明，多巴胺信号也反映了周围的奖励预测的确定性。

简而言之，多巴胺信号可能会教会大脑获得奖励的可能性。

该研究的作者包括三位研究生Kathryn（Kati）Rothenhoefer，Aydin Alikaya和Tao Hong，以及神经生物学威廉斯特博士的助理教授。

Rothenhoefer（KR）和Stauffer（WS）分享了他们的作品揭示了大脑内部工作的关键信息。

简而言之，这项研究的背景是什么？

KR：我们正在研究模棱两可 - 一种复杂的环境因素，使人类和动物很难知道预测什么 - 这个项目是一种很酷的迂回，从我们的初步数据有机物动。我们发现了一些有趣的事情，我们不期望，我们看到它完成。

WS：多巴胺神经元对奖励学习至关重要。多巴胺神经元由奖励激活，这些奖励优于预测和抑制的奖励比预期更差。这种活动模式使“奖励预测误差”的激发成为“奖励预测错误”，接收和预测奖励之间的差异。

奖励预测误差对动物和机器学习至关重要。然而，在古典动物和机器学习理论中，'预测奖励'只是过去结果的平均值。虽然这些预测是有用的，但预测平均值并更复杂的统计数据是更有用的，这是更加复杂的统计数据。因此，我们想知道多巴胺教学信号是否反映了那些更复杂的统计数据，以及它们是否可用于教导大脑了解现实世界的激励措施。

你工作的主要结果是什么？

WS：主要发现是，与相同的频率相比，罕见的奖励扩增多巴胺响应。这意味着预测神经元信号反映了周围预测的不确定性，而不仅仅是预测值。这也意味着大脑中的主要奖励学习系统之一可以估计不确定性并可能教导关于这种不确定性的下游脑结构。

哪些结果让你个人兴奋？

KR：这是我收集的第一个神经数据集，所以只是有这样的明确结果表明多巴胺神经元比我们过去的想法更复杂真的很棒。这不是每一天都能够在文献中将新信息添加到长期被接受的教条中。

WS：计算机用作理解大脑及其功能的类比。然而，许多神经科学家认为计算不仅仅是一个类比。在最基本的层面，大脑是一种信息处理系统。我研究多巴胺神经元，因为我们可以“看到”大脑进行数学计算。我们还有很少的神经系统，我们具有神经元反应的算法性质的直接证据。它只是迷人，这些结果表明该算法的新方面。即奖励学习系统适应不确定性。

由于这项研究，您对未来的研究有哪些建议？

KR：我很高兴回到我们最初的预期项目，这就是大脑如何处理含糊不清的选择。这将整合我们现在知道的方式多巴胺Neurons编码关于复杂奖励环境的信息与决策者相信模糊的选择，以及他们选择如何在这些背景下做出决定。

WS：我们研究的原因是因为我有兴趣了解如何对歧义下的选择对概率的信念。在含糊不清的情况下，在不知道结果概率的情况下进行经济决定。所以，决策者被迫申请他们对制作选择的概率的信念。我们这项研究作为了解值的第一步报酬概率分布在中编码脑，这些信仰可以采取的形式。通过这些结果，我们现在将回到学习选择！尽管如此，我敢打赌这些结果对生物和人工智能的学习系统具有深远的影响。