大脑活动的解码器可以揭示在人们心中的故事

一个新的人工智能系统称为语义解码器可以转变一个人的大脑活动静静地听一个故事或想象告诉一个故事划分成连续的信息流。系统由德克萨斯大学奥斯汀分校的研究人员可以帮助身体精神意识的人却无法说话,比如那些疲惫不堪的中风,简单的交流了。

这项研究发表在《华尔街日报》自然神经科学由杰里唐,博士生在计算机科学中,助理教授和亚历克斯·胡特,奥斯汀德州大学神经科学和计算机科学。工作在一定程度上依赖于一个transformer模型,类似于那些权力开放艾未未的ChatGPT和谷歌的吟游诗人。

不像其他语言解码系统开发,该系统不需要对象外科植入物,使过程无创。参与者也不需要从规定只使用单词列表。测量大脑活动使用一个解码器的功能磁共振成像扫描仪的广泛训练后,在个人听的播客小时扫描仪。后,提供参与者开放自己的思想解码,听一个新的故事或想象讲故事允许机器生成相应的文本大脑的活动一个人。

“非侵入性的方法,这是一个真正的飞跃与以前做过的相比,这通常是单个词或短句,”胡特说。“我们让模型解码连续语言长时间与复杂的想法。”

结果不是逐字记录。相反,研究人员设计捕获的要点是什么说或认为,尽管不完美。大约一半的时间,在译码器训练监控参与者的大脑活动,机器生产密切(有时精确)的文本匹配原词的目的意义。

例如,在实验中,参与者听演讲者说,“我还没有我的驾照”的思想翻译成,“她还没有开始学开车呢。”Listening to the words, "I didn't know whether to scream, cry or run away. Instead, I said, 'Leave me alone!'" was decoded as, "Started to scream and cry, and then she just said, 'I told you to leave me alone.'"

从早期版本的出现作为一个在线预印本,研究人员解决问题的潜在滥用技术。本文描述了如何解码工作只有合作参与者自愿参加培训的解码器。结果为个人的解码器没有训练有素的莫名其妙的,如果参与者的译码器训练后把电阻的例子,通过思考其他thoughts-results同样无法使用。

“我们非常重视的问题,它可以用于不好的目的,努力避免,”唐说。“我们想要确保人们只使用这些类型的技术,当他们想要帮助他们。”

除了参与者或思考故事听,研究者们让受试者观看四个简短的,沉默的视频在扫描仪。语义译码器能够使用他们的大脑活动来准确描述某些事件的视频。

系统目前没有实际使用外部的实验室,因为它依赖的时间需要在fMRI机器。但研究人员认为这可能会转移到其他工作,更多的便携式脑成像系统,如功能性近红外光谱(fNIRS)。

“fNIRS措施或多或少的大脑的血流量在不同的时间点,,事实证明,是完全一样的功能磁共振成像的信号测量,”胡特说。“所以,我们的确切方法应该翻译fNIRS,“不过,他指出,该决议与fNIRS会降低。

这项研究的其他合作者阿曼达•勒贝尔,前胡特实验室研究助理,和Shailee Jain,奥斯汀德州大学计算机科学的研究生。亚历山大·胡特和杰里唐PCT专利申请提出与此相关的工作。

常见问题

这种技术可以用于人,他们尚不知道,说了一个独裁政权质问政治犯或雇主监视员工?不。系统已经被广泛的培训主题所愿与大型设施,昂贵的设备。“一个人需要花15个小时躺在核磁共振成像扫描仪,完全静止,和很好的关注的故事,他们之前听这真的是有效的,”胡特说。

培训可以完全跳过吗?不。研究人员测试了系统的人不是训练,发现结果是难以理解的。

有解码方法有人可以抵御自己的想法吗?是的。研究人员测试了曾参加培训的人是否能积极抵制随后大脑解码的尝试。策略思考的动物或静静地想象讲自己的故事让参与者很容易,完全阻止系统收回言论曾接触的人。

如果技术和相关研究进化到一天克服这些障碍或防御?“我认为现在,而技术是在这样一个状态,早期积极主动是很重要的,制定政策,保护人们和他们的隐私,”唐说。“管理这些设备可以用于也是非常重要的。”