使用深度神经网络来预测大脑是如何处理自然声音的
近年来，机器学习技术加速和创新了包括神经科学在内的许多领域的研究。通过识别实验数据中的模式，这些模型可以预测与特定体验或感官刺激处理相关的神经过程。
法国国家科学研究中心(CNRS)和Université艾克斯-马赛大学(Aix-Marseille)和马斯特里赫特大学(Maastricht University)的研究人员最近试图使用计算模型来预测人类大脑如何将声音转化为周围环境正在发生的事情的语义表示。他们的论文发表在自然神经科学，表明一些深度神经网络基于DNN的模型在预测方面可能更好神经过程从神经影像学和实验数据．
“我们的主要兴趣是对自然声音在大脑中是如何被感知和表示的进行数值预测，并使用计算模型来了解我们如何将听到的声音信号转化为听觉环境中物体和事件的语义表示，”进行这项研究的研究人员之一布鲁诺·佐丹诺(Bruno Giordano)告诉医学快报。bob游戏“实现这一目标的一大障碍并不是缺乏计算模型——新模型定期发布——而是缺乏对它们解释行为或神经成像数据的能力进行系统比较。”
佐丹奴和他的同事们最近工作的主要目标是系统地比较不同计算模型在预测自然声音的神经表征方面的表现。在他们的实验中，研究小组评估了三类计算模型，即声学、语义和声音到事件的dnn。
佐丹奴解释说:“我们开始讨论在COVID大流行的头几个月对计算模型进行系统比较的必要性。“经过几次远程头脑风暴会议后，我们意识到我们已经拥有了回答我们的问题所需的数据:2009年收集的行为数据集20名加拿大参与者估计了一组80种自然声音的感知差异，以及2016年收集的fMRI数据集5名荷兰参与者听到了288种不同的自然声音，同时我们记录了他们的fMRI反应。”
无需在实验室中收集新数据，研究人员就可以使用之前实验中收集的数据来测试他们选择的三种计算建模方法的性能。具体来说，他们将呈现给人类参与者的声音刺激映射到不同的计算模型上，然后测量他们可以预测参与者对刺激的反应以及他们大脑中发生的事情的程度。
佐丹诺说:“谷歌最近开发的声音到事件的dnn在很大程度上优于竞争对手的声学和语义模型，这让我们感到震惊。”“他们很好地预测了我们的行为和fMRI数据，通过将声音映射到dnn上，我们可以从荷兰参与者2016年的fMRI反应中预测2009年加拿大参与者的行为，即使他们听到的声音完全不同。”
佐丹诺和他的同事们发现，基于dnn的模型大大超过了基于声学的计算方法，以及通过将声音分为不同类别(例如，人声、街道声音等)来表征大脑对声音反应的技术。与这些更传统的计算方法相比，dnn可以更准确地预测神经活动和参与者的行为。
根据他们的观察和基于dnn的模型产生的输出，研究人员还假设，人类大脑对自然声音的理解与处理文字的方式类似。虽然单词的含义是通过处理单个字母、现象和音节来推断的，但是声音的含义可以通过组合一组不同的基本单位来提取。
Elia Formisano补充说:“我们现在正在收集新的神经成像数据，以测试我们的研究提出的关于这些基本单位可能是什么的特定假设。”“我们也在致力于训练新颖的、更‘类似大脑’的神经网络自然的声音处理。例如，我们的合著者米歇尔·埃斯波西托(Michele Esposito)开发了一种神经网络，可以学习口头声音描述符的数字表示(语义嵌入)，而不是声音事件类别。这一网络，集呈现于声学、语音和信号处理国际会议(ICASSP) 2023，在预测自然声音感知方面优于谷歌的网络。”
更多信息:Bruno L. Giordano等人，中级声音到语义表征将对自然声音的行为和神经反应联系起来，自然神经科学(2023)。DOI: 10.1038 / s41593 - 023 - 01285 - 9
©2023科学BOB体育赌博X网络
