研究的目的是了解听觉系统在什么时候会出现复杂的听觉-视觉同步

想象一下，当你一边欣赏贝多芬的《月光奏鸣曲》，一边欣赏由视觉器制作的灯光表演时，大脑会有多兴奋。

西北大学的一项新研究做的远不止这些。

要理解大脑对音乐和动态图像等高度复杂的听觉视觉刺激做出反应，这项研究跟踪了参与感知处理“月光奏鸣曲”的听觉系统的部分，同时它与iTunes果冻可视化器制作的灯光秀同步。

这项研究显示了如何以及何时听觉系统编码复杂和变化的声音和图像之间的听觉-视觉同步。

许多相关研究着眼于大脑如何处理简单的声音和图像。例如，当你的大脑将听觉(啄木鸟的啄声)和视觉(鸟的运动)流结合起来，并判断它们是同步的，就更容易在树上定位啄木鸟。如果是这样，大脑就会认为这两种感官输入可能来自同一个来源。

虽然这项研究很重要，但该研究的主要作者、西北大学心理学研究助理茱莉亚·莫斯布里奇(Julia Mossbridge)说，将调查扩大到音乐和电影等高度复杂的刺激也很关键。

她说:“这类事情更接近大脑每天每时每刻都要处理的事情。”“此外，确定感觉系统如何以及何时选择跨边界结合刺激是很重要的。

她说:“如果一个人的大脑连接错误，感官信息可能会在不合适的时候组合在一起。”“例如，当一个人一边听老师讲课，一边看着窗外玩耍的孩子们，听觉和视觉流是一体的，而不是分开的，这可能会导致混淆和误解感觉输入带着什么经验去。”

我们已经知道，左听觉皮层专门处理精确、复杂和快速定时的声音;这种听觉计时的天赋可能是大多数人的左侧听觉皮层用于处理语言的原因之一，对这种语言来说，计时是至关重要的。这项研究的结果表明，这种对计时的专门化不仅适用于声音，而且适用于复杂和动态的声音和图像的计时。

之前的研究表明，当声音和图像以相似的方式变化时，大脑中有多感官区域将它们联系起来，但这项研究的大部分都集中在语音信号上(例如，听到元音和辅音时嘴唇移动)。因此，目前还不清楚大脑的哪些区域处理更一般的听觉-视觉同步，也不清楚当声音和图像不应该结合时，这种处理有何不同。

“大脑似乎在利用左脑听觉皮层在处理听觉时序方面的天赋，并正在使用类似的机制来编码听觉-视觉同步，但仅在某些情况下;似乎只有在声音和图像结合合适的时候，”莫斯布里奇说。