神经假体利用大脑活动来解码语音

来自HSE大学和莫斯科国立医学和牙科大学的研究人员开发了一种机器学习模型，可以根据一组微创电极记录的神经活动来预测受试者将要说出的单词。他们的论文“从一组空间隔离的微创颅内脑电图电极中解码语音，该电极具有紧凑和可解释的神经网络”已发表在《美国科学院学报》上神经工程杂志．

全世界有数百万人受到言语障碍限制了他们的交流能力。语言丧失的原因多种多样，包括中风和某些先天性疾病。

目前已有技术可以恢复这类患者的交流功能，包括“无声说话”接口，该接口可以在患者不发出声音地说出单词时，通过跟踪发音肌肉的运动来识别语音。然而，这种设备对一些患者有帮助，但对其他患者没有帮助，比如面肌麻痹患者。

演讲neuroprostheses -脑-机接口能够解码语音的大脑的活动-可以为恢复与此类患者的交流提供一种方便可靠的解决方案。

不像个人电脑，设备有脑机接口(BCI)是由大脑直接控制的，不需要键盘或麦克风。

脑机接口在语音修复术中广泛应用的一个主要障碍是，这项技术需要在脑组织中植入电极的高侵入性手术。

最准确的语音识别是通过覆盖皮质表面大面积电极的神经假体实现的。然而，这些阅读大脑活动的解决方案并不是专门为阅读大脑活动设计的长期使用而且会给病人带来很大风险。

HSE生物电子接口中心和莫斯科国立医学和牙科大学的研究人员研究了创造一种功能神经假体的可能性，这种假体能够通过读取植入有限皮层区域的一小组电极的大脑活动，以可接受的准确性解码语音。作者认为，在未来，这种微创手术甚至可以在局部麻醉下进行。

在本研究中，研究人员收集了两名癫痫患者的数据，他们已经植入了颅内电极，用于术前定位癫痫发作区域。

第一名患者双侧植入了共5个sEEG轴，每个sEEG轴有6个触点，第二名患者植入了9个皮质电描记(ECoG)条，每个ECoG条有8个触点。与ECoG不同的是，sEEG的电极可以在不需要完全开颅的情况下通过颅骨上的钻孔植入。在本研究中，1例患者仅使用单个sEEG轴的6个接触点，另1例患者仅使用一个ECoG条的8个接触点进行解码神经活动．

受试者被要求大声朗读6个句子，每个句子按随机顺序念30到60遍。这些句子的结构各不相同，一个句子中的大多数单词都以同一个字母开头。这些句子总共包含26个不同的单词。当受试者阅读时，电极记录了他们的大脑活动。

这些数据随后与音频信号组成27个班，包括26个单词班和1个沉默班。得到的训练数据集(包含实验前40分钟记录的信号)被输入到一个机器学习模型基于神经网络的架构。神经网络的学习任务是根据语音之前的神经活动数据预测下一个发出的单词(类)。

在设计神经网络的架构时，研究人员希望使其简单、紧凑、易于解释。他们提出了一个两阶段的架构，首先从记录的大脑活动数据中提取内部语音表征，产生log-mel谱系数，然后预测一个特定的类别，即一个单词或沉默。

这样训练，神经网络仅使用单个sEEG记录的六个通道数据就达到55%的准确性电极在第一个患者中，仅使用单个ECoG条记录的8通道数据，第二个患者的准确率为70%。这种准确性与其他使用需要在整个皮层表面植入电极的设备进行的研究相媲美。

由此产生的可解释模型使得用神经生理学术语解释哪些神经信息对预测将要说出的单词贡献最大成为可能。研究人员检查了来自不同神经元群体的信号，以确定哪些神经元对下游任务至关重要。他们的发现与语音映射的结果是一致的，这表明该模型使用了关键的神经信号，因此可以用来解码虚构的语音。

这个解决方案的另一个优点是它不需要手动的特征工程。该模型已经学会了直接从大脑活动数据中提取语音表征。结果的可解释性还表明，该网络解码来自大脑的信号，而不是来自任何伴随活动的信号，例如来自关节肌的电信号或由于麦克风效应而产生的电信号。

研究人员强调，预测总是基于说话前的神经活动数据。他们认为，这确保了决策规则没有使用听觉皮层对已经说出的话的反应。

“使用这种接口对患者的风险最小。该研究的主要作者、HSE认知神经科学研究所生物电界面中心主任Alexey ossadchi说:“如果一切顺利，就有可能从门诊局麻植入的少量微创电极记录的神经活动中解码虚构的语音。”