唇读使大脑能够合成未知无声言语的听觉特征

文献：Bourguignon, M., Baart, M., Kapnoula, E. C., & Molinaro, N. (2020). Lip-reading enables the brain to synthesize auditory features of unknown silent speech. Journal of Neuroscience, 40(5), 1053-1065. https://doi.org/10.1523/JNEUROSCI.1101-19.2019

摘要 ¶

安静状态下读唇语会激活视觉皮层，但不清楚这种激活是否反映了相应的听觉刺激的即时合成或无关声音的想象。本研究用脑磁图评估28名健康成年人(17名女性)在听一个音频口述故事时，以及当看到说话者讲述另一个故事的无声视频时，皮质活动如何影响听觉语音包络和嘴唇运动(张嘴)。结果：在视频 这些发现表明，大脑可以使用无声的唇读信号来合成早期听觉皮质中的粗粒度听觉语音表征。

1. 引言 ¶

即使没有听觉信号，也能理解嘴唇动作，因为视觉语音和听觉之间有很强的联系，但仍不清楚如何从视觉语音（唇语）中提取意义。有研究表明当受试对语音内容非常熟悉时，无声的唇读信息会以音节率影响大脑皮层活动。然而，由于参与者知道本研究中缺失的语音应该是什么，目前还不清楚节律同步化是由(1)口头传播的信息，(2)语音片段的隐性产生或重复，(3)自上而下的词汇和语义过程，还是(4)这些因素的某种组合所驱动的。本研究的目的：大脑是否使用唇读输入来将听觉皮质引入音频语音信号。

2. 材料方法 ¶

分为3个条件，在控制条件下十字的亮度根据嘴型发生变化。受试完成了10个条件的实验，分别是三种视频刺激（原始，控制，无视频）与三种音频刺激（原始，控制，无音频）的组合，其中无视频和无音频组合条件作为休息条件，另外8种条件分别对应八个故事，第十个条件是局部化条件，受试接受持续10分钟的400Hz纯音和棋盘图案反转，此条件不纳入分析。

图1

3. 结果 ¶

下表一展示了所有选定的频率范围内，所有条件下听觉语音和嘴巴开合度具有统计上的显著一致性的位置和显著性水平。

图2

在仅音频的条件下，在所选频段下的节律同步在双侧听觉皮层上的感觉通道都达到了峰值。

图3

在仅视频的条件下，双侧听觉皮层、左额下回和左中央前沟下部对说话者实际产生的但受试听不到的语音有显著的0.5Hz的节律同步化，并且仅视频和仅音频条件产生0.5Hz节律同步化的位置的差异不显著。当然，仅音频条件下比仅视频条件下产生的0.5Hz的节律更强。并且仅音频和仅视频条件下产生0.5Hz的神经反应的时间进程是相似的。在左半球，大脑反应在听觉语音包络之后达到峰值，但延迟在两种情况下没有显著差异；在右半球，纯音频的延迟(43.38ms)明显短于纯视频的延迟。

图4

控制视频条件下只有枕叶皮质观察到了0.5Hz的亮度驱动的节律同步化现象。

4. 总结 ¶

唇读诱发听觉皮层<1Hz的不存在的语音的节律同步化，并且这种节律同步化1）特定于唇读；2）不是听觉语音的一般时间特征的结果；3）不仅仅是唇读的副产品。