通过眼睛看到鼠标通过解码大脑信号

有可能完全重建别人看到基于大脑信号呢?答案是否定的,还没有。但欧洲研究人员在这个方向上迈出了重要的一步,通过引入一种新的算法来构建人工神经网络模型,捕捉大脑动力学与一个令人印象深刻的精确度。

这部小说根植于数学、机器学习算法叫做CEBRA(发音“斑马”),和神经学会隐藏结构代码。

研究者的演示是显而易见的。鼠标手表1960年代,黑白影片剪辑的男人跑到车,打开箱子。在另一个屏幕,你只能看到一个重建的电影由CEBRA计算。CEBRA-constructed电影几乎完全匹配原始,与一些稍微怪异的扭曲,就像你刚才看到一个错误的矩阵。

CEBRA学习什么信息从原始神经数据可以被破解一款测试训练后方法用于brain-machine-interfaces (bmi指数)——他们已经证明他们可以解码从模型鼠标所看到的虽然看电影。但CEBRA不仅限于视觉皮层神经元,甚至大脑数据。他们的研究还显示了它可以被用来预测手臂的动作在灵长类动物,和重建老鼠的位置自由运行在一个竞技场。

“这项工作只是一个一步theoretically-backed算法需要神经技术使高性能bmi指数,”麦肯齐马西斯说,欧洲曾当选主席的综合研究的神经科学和π,已经发表在自然。

学习的(即。隐藏的)视觉系统结构的老鼠,CEBRA可以预测框架直接从看不见的电影大脑信号最初的训练阶段以后单独映射大脑信号和电影的特性。

用于视频解码是开放获取的数据通过艾伦研究所的西雅图,佤邦。大脑信号直接通过测量获得的大脑的活动通过电极探针插入到老鼠的大脑的视觉皮层区域,或使用光学探针包括使用转基因小鼠,工程,以便激活神经元发出绿色荧光。在培训期间,CEBRA学会大脑活动映射到特定的帧。CEBRA执行与视觉皮层神经元的不到1%,考虑到在老鼠身上,这个大脑区域由大约050万个神经元。

“具体地说,CEBRA是基于对比学习,学习怎样的技术高维数据可以安排,或者嵌入,在低维空间称为潜在的空间,这样类似的数据点很近和更多不同的数据点远,”马修斯解释说。

“这嵌入可以用来推断出隐藏的关系和结构数据。它使研究人员共同考虑神经数据和行为标签,包括测量运动,抽象的标签的奖励,或感官特性如颜色或纹理图像。”

“CEBRA擅长与其他算法在重构合成数据相比,比较算法的关键,”史蒂芬施耐德说,co-first作者的论文。”其优势也在于它能够结合数据形式,如电影功能和大脑数据,它能限制的细微差别,如改变取决于他们收集的数据。”

“CEBRA的目标是发现结构复杂的系统。,考虑到大脑是宇宙中最复杂的结构,它是为CEBRA最终测试空间。它还可以让我们了解大脑如何处理信息,可以发现新的平台原则在动物神经科学相结合的数据,甚至物种,”马修斯说。

“这个算法并不局限于神经科学的研究,因为它可以应用到很多涉及时间或联合信息数据集,包括动物行为和基因表达数据。因此,潜在的临床应用是令人兴奋的。”