研究人员将一只鸟的大脑活动转化为歌
可以重新创建一只鸟的歌只通过阅读它的大脑活动,显示了第一个从加州大学圣地亚哥的概念验证研究。人员能够繁殖songbird的复杂声音的音高、音量和音色的原始。
6月16日发表在当代生物学研究奠定了基础,为构建声乐假肢的人已经失去了说话的能力。
“当前状态的艺术在通信假肢植入设备,允许您生成文本输出,写每分钟20字,”资深作者盖根特纳说,加州大学圣地亚哥分校的心理学和神经生物学教授。“现在想象一个直言不讳的假肢,使您沟通自然与演讲,大声说你在想什么你思考它。这是我们的终极目标,它的下一个前沿功能恢复。”
根特纳和他的同事们使用的方法包括鸣鸟如斑胸草雀。连接的接口对人类可能不明显,但事实上,鸣鸟的叫声是相似的人类语言以不同的方式。他们是复杂的,是习得的行为。
“在许多人的心目中,从songbird模型系统,最终将进入人类进化是一个相当大的跳跃,“Vikash Gilja说,电气和计算机工程教授在加州大学圣地亚哥分校研究报告合著者。“但这是一个模型,该模型为我们提供了一个复杂的行为,我们没有在典型的灵长类动物模型,常用的神经假肢研究。”
研究cross-collaborative努力之间的工程师和加州大学圣地亚哥分校的神经科学家,根特纳Gilja和实验室合作开发神经记录技术和神经解码策略,利用两个团队的专长在神经生物学和行为实验。
团队植入硅电极在雄性成年斑马雀类和鸟类的监测神经活动当他们唱歌。具体地说,他们记录了多个数量的神经元的电活动在大脑感觉运动的一部分,最终控制着肌肉负责唱歌。
研究人员神经记录输入机器学习算法。他们的想法是,这些算法能够使计算机生成的副本实际斑胸草雀歌只是基于鸟类的神经活动。但翻译模式的神经活动模式听起来并非易事。
神经模式和“有太多太多的声音模式来为如何找到一个单一的解决方案直接映射一个信号到另一个,“根特纳说。
完成这一壮举,团队使用简单表示鸟类发声的模式。这些本质上是数学方程建模的物理变化,压力和紧张的变化发生在雀的发声器官,称为鸣管,当他们唱歌。然后研究人员训练他们的算法神经活动直接映射到这些表示。
研究人员说,这种方法是更有效的比神经活动映射到实际的歌曲。
“如果你需要模型每一个细节,每一个细节的声音,然后映射问题变得更具有挑战性,“Gilja说。“鸣鸟的通过这个简单的表示复杂声音的行为,我们的系统可以学习映射更健壮、更适用于更广泛的条件和行为。”
团队的下一步是证明他们的系统可以从神经活动实时重建鸟鸣。
部分挑战是鸣禽声乐生产,像人类一样,不仅涉及声音的输出一个常数监控环境和持续的反馈。例如,如果你把耳机对人体和延迟当他们听到自己的声音,扰乱时间的反馈,他们会开始结巴。鸟做同样的事情。他们听自己的歌。他们做出调整基于他们刚刚听到自己唱什么,他们希望唱下,根特纳解释道。成功的声乐假肢最终将需要在一个工作时间表,也同样快速和复杂的足以容纳整个反馈回路,包括对错误做出调整。
根特纳说,“与我们的合作,我们利用鸟类40年的研究建立一个演讲为人类一个假肢装置,不会只是一个人的大脑信号转换成一组基本的单词但是给他们发出任何声音的能力,所以任何一个词,他们可以想象,释放他们无论他们交流的愿望。”
进一步探索
