人工智能阐明了大脑如何处理语言
在过去的几年中，语言的人工智能模型已变得非常出色。最值得注意的是，他们擅长预测一串文本中的下一个单词。该技术可帮助搜索引擎和短信应用程序预测您将要输入的下一个单词。
最近一代的预测语言模型似乎也学到了有关语言的基本含义的知识。这些模型不仅可以预测接下来的单词，还可以执行似乎需要一定程度理解的任务，例如问答，文档摘要和故事完成。
此类模型旨在优化预测文本的特定功能的性能，而无需模仿任何关于如何如何人脑执行此任务或理解语言。但是，麻省理工学院神经科学家的一项新研究表明，这些模型的基本功能类似于人脑中语言处理中心的功能。
在其他类型的语言任务上表现良好的计算机模型并未显示与人脑的相似性，提供证据表明人脑可能会使用下一字预测来推动语言处理。
“模型在预测下一个单词方面越好，它越适合人类的大脑，” MIT McGovern麦戈文脑研究所和大脑中心的成员Nancy Kanwisher认知神经科学教授Nancy Kanwisher说。思想和机器（CBMM），以及新研究的作者。“令人惊讶的是，这些模型非常合适，并且非常间接地表明，人类语言系统正在做的可能正在预测接下来会发生什么。”
MIT计算认知科学教授，CBMM和MIT的人工智能实验室（CSAIL）的成员Joshua Tenenbaum；这项研究的高级作者是，Evelina Fedorenko，弗雷德里克·A（Frederick A.美国国家科学院论文集。在CBMM工作的麻省理工学院研究生Martin Schrimpf是该论文的第一作者。
做出预测
新的，高性能的下字预测模型属于一类称为的模型深神经网络。这些网络包含形成各种强度连接的计算“节点”，并以规定的方式将信息传递到彼此之间。
在过去的十年中，科学家使用了深刻的神经网络创建可以的视觉模型识别对象以及灵长类动物的大脑。麻省理工学院的研究还表明，视觉对象识别模型的基本功能匹配组织即使这些计算机模型并未专门设计用于模仿大脑的灵长类动物视觉皮层。
在新研究中，麻省理工学院小组使用类似的方法将人脑中的语言处理中心与语言处理模型进行比较。研究人员分析了43种不同的语言模型，其中包括针对下一字预测进行了优化的几种模型。其中包括一个称为GPT-3（生成预训练的变压器3）的模型，鉴于提示，它可以生成类似于人类产生的文本。其他模型旨在执行不同的语言任务，例如填写句子中的空白。
当每个模型都呈现一串单词时，研究人员测量了组成网络的节点的活性。然后，他们将这些模式与人脑的活动进行了比较，该模式在执行三个语言任务的受试者中衡量：听故事，一次阅读句子，并阅读一次揭示一个单词的句子。这些人类数据集包括功能性磁共振（fMRI）数据和颅内电解学测量，接受了接受癫痫脑手术的人。
他们发现，表现最佳的下一字预测模型具有与人脑中看到的活动模式非常相似的活动模式。这些模型中的活动也与人类行为措施的度量高度相关，例如人们能够读取文本的速度。
“我们发现，预测神经反应的模型也倾向于以阅读时间的形式最好地预测人类行为反应。模型下一字预测的性能。这个三角形确实将所有内容联系在一起。” Schrimpf说。
改变游戏规则
预测模型（例如GPT-3）的关键计算特征之一是称为正向单向预测变压器的元素。这种变压器能够根据先前的序列对接下来会发生的事情进行预测。该变压器的一个重要特征是，它可以基于很长的上下文（数百个单词）进行预测，而不仅仅是最后几个单词。
Tenenbaum说，科学家尚未发现与这种类型的处理相对应的任何脑电路或学习机制。但是，新发现与以前提出的假设是一致的，这些假设是预测是语言处理中的关键功能之一。
他说：“语言处理的挑战之一是它的实时方面。”“语言进来，您必须跟上它，并能够实时理解它。”
现在，研究人员计划构建这些语言处理模型的变体，以查看其体系结构的小变化如何影响其性能和适合人类神经数据的能力。
Fedorenko说：“对我来说，这个结果改变了游戏规则。”“这完全改变了我的研究计划，因为我不会预测，在我的一生中，我们将获得这些计算明确的模型，这些模型捕获了足够多的大脑，因此我们实际上可以利用它们来理解大脑的工作方式。”
研究人员还计划尝试将这些高性能的语言模型与一些计算机模型Tenenbaum的实验室相结合，以前已经开发出可以执行其他类型的任务，例如构建物理世界的感知表示。
“如果我们能够理解这些语模型可以做到以及如何连接到做更像是感知和思考的事物的模型，然后可以使我们更加综合模型，说明事物在大脑中的运作方式，” Tenenbaum说。，以及为我们提供更好的模型脑与过去相比，工作和通用情报的出现方式。”
本文的其他作者是Idan空白博士学位。'16和研究生Greta Tuckute，Carina Kauf和Eghbal Hosseini。
进一步探索
