用眼睛听——一种西方的语言感知方式

当你听一个人说话时，你会看他脸上的哪一部分?在听别人说话时，嘴唇的动作会影响耳朵对声音信息的感知，但以日语为母语的人大多不受面部这部分的影响。日本最近的一项研究揭示了两组人，母语是英语的人和母语是日语的人，在面对面的语音交流中，大脑网络的激活存在明显的差异。

众所周知，当与人面对面交谈时，视觉语言信息，如嘴唇运动，会影响耳朵对声音信息的感知。例如，嘴唇运动可以帮助一个人在嘈杂的环境下更好地听到。相反，在配音电影中，嘴唇的运动与说话人的声音发生冲突，会给人一种听到另一种声音的错觉。这种错觉被称为“麦格克效应”。

根据先前的行为研究分析，以日语为母语的人不受视觉的影响嘴唇动作和英语母语人士一样多。为了进一步研究这一现象，熊本大学的研究人员测量并分析了20名以日语为母语的人和20名以英语为母语的两组人在语音识别时的注视模式、脑电波和反应时间。

区别很明显。当自然语言与嘴唇运动相结合时，母语为英语的人在发出任何声音之前就会将目光集中在说话者的嘴唇上。然而，以日语为母语的人的目光就不那么固定了。此外，以英语为母语的人通过结合音频和视觉线索能够更快地理解讲话，而以日语为母语的人在看到嘴唇运动时理解讲话的速度会减慢。

“以英语为母语的人试图利用嘴唇在发声前几百毫秒开始移动的信息来缩小输入声音的候选范围。另一方面，以日语为母语的人只重视听觉，而视觉信息似乎需要额外的处理，”熊本大学教授关山薰(Kaoru Sekiyama)解释道。

熊本大学的研究人员随后与札幌医科大学和日本国际高级电信研究所(ATR)的研究人员合作，使用功能性磁共振成像(fMRI)测量和分析大脑激活模式。他们的目标是阐明两种语言之间大脑活动的差异。

以英语为母语的人的大脑中负责听觉的区域和负责视觉运动信息的区域(主要听觉区域和中间颞叶区域)之间的功能连通性比以日语为母语的人强。这一结果有力地表明，在说英语的人的大脑中，听觉和视觉信息是在信息处理的早期阶段相互联系的，而在说日语的人的大脑中，这种联系是在较晚的阶段形成的。听觉和听觉之间的功能连接视觉信息这两种信息一起处理的方式在两种不同语言的使用者之间有明显的不同。

“有人说，在学习外语时，视频材料会产生更好的效果。然而，也有报道称，视频材料对日本本土人的影响并不是很积极演讲者关山教授说。“日本人处理音频信息的独特方式可能是这种现象背后的原因，这与我们最近的研究有关。”

这些发现发表在《自然》杂志上科学报告2016年8月11日和10月13日。