音高编码的神经基础



1.参考文献 ¶

Li, Y., Tang, C., Lu, J., Wu, J., & Chang, F. E. (2021). Human cortical encoding of pitch in tonal and non-tonal languages. Nature Communications, 2021(12), 1161. http://doi.org/10.1038/s41467-021-21430-x

2.研究背景 ¶

在自然语言中,汉语的词汇声调在不同说话者之间各不相同,这取决于说话者的声带和喉部的解剖特性。此外词汇声调还取决于词在句子中的强调程度。说话者和言语之间的音高差异使得词汇声调感知的音高标准化十分必要。

全脑神经影像研究将词汇声调加工定位于双侧颞上回的非初级听觉皮层(STG)。 但更根本的问题是刺激特征和神经激活的精确关系。STG表征的信息是什么?此外,与非声调语言相比,汉语的音高编码是否是特别的?

为了探究以上问题,通过ECoG记录了15位被试的神经活动,对汉语和英语母语者使用相同的跨语言刺激进行了研究。

3.研究方法 ¶

15名单语被试(11位汉语母语和4位英语母语),右利手。汉语母语被试是脑肿瘤患者。 四名英语母语被试是癫痫患者。

由汉语和美式英语中的自然连续的语音组成。

图1

汉语材料是从汉语语篇注释语料库(ASCCD:Annotated Speech Corpus of Chinese Discourse)提取的,包括68段语篇,由5位男性和5位女性录音,语篇的时长在10-60 s之间。在语篇中包含四个声调的4711个音节。语篇之间有0.5 s的间隔。任务被分为六个模块,每个模块约5分钟。

英语材料是从TIMIT语料库和Boston University Radio Speech Corpus(BURSC)提取的。包括499个TIMIT语料库的句子,由286位男性和116位女性录音。句子间隔0.4s。任务分为五个模块,每个模块约5分钟。还包括75个BURSC语料库的英语语篇,由3位男性和3位女性录音。时长在10-60s之间。间隔为0.7s。该任务分为六个模块,每个模块约5分钟。

被试完成6-17个模块。每个被试至少要完成四个汉语模块。四名英语被试和四名汉语被试也要至少完成三个英语模块。

4.结果 ¶

为了了解词汇声调在非初级听觉皮层中是如何表征的,首先观察了11位汉语母语被试在听汉语时的神经活动。结果发现不同词汇声调之间不同的单个电极激活,最好用相对音高和音高变化来解释。对所有STG电极进行量化编码,在这些电极上进行相对音高、绝对音高和词汇声调类别编码的比较。在汉语母语被试的541个语音激活电极中,只有相对音高解释了112个电极激活的显着差异。STG中只有少量的电极对绝对音高进行编码(7.8%)。此外,词汇声调类别也难以解释差异(1.5%)。

因此,在单个电极的水平上,与词汇声调有关的神经激活主要由相对音高编码驱动,而不是由绝对音高或其他声学特征。结果表明相对音高和音高变化对于声调感知非常重要。此外,对英语母语者在听汉语时激活的183个电极进行类似分析时,发现除了绝对音高外,相对音高和音高变化的编码影响也很显著,这表明不同语言经验的说话者之间有共享的听觉机制。

为了确定相对音高加工是否特定于某种语言,还是可以通过共有的听觉机制来解释。为此,让汉语被试听英语材料。在音高变化不被视为声调的情况下,是否还是加工了相对音高?基于被试对英语语音的反应,拟合出编码模型,然后使用该模型预测被试听汉语时的神经激活,通过与实际的激活结果进行比较,来测试模型的性能。如果模型的预测结果与实际结果一致,则说明音高加工基于一般的听觉机制,单个电极的音高编码在很大程度上与语言无关。结果证实了这一点。

为了确定编码是否受语言经验的影响。为此,让英语母语被试听汉语材料。比较了英语和汉语被试相对音高编码的局部激活差异,并评估这些局部差异对声调类别的总体编码的影响。

考虑到词汇声调的时间动态性,汉语和英语被试可能需要不同的整合时间。为了评估整合时间,比较了单个STG电极的相对音高的平均TRF(temporal receptive field)。英语母语被试的神经反应:TRF更为短暂,在100ms达到峰值,而汉语母语者的TRF则更长,扩展到300ms,显着高于英语被试。因此,尽管在单个电极水平上发现了对音高的一般听觉编码,但是编码会受到语言经验的影响。

5.讨论 ¶

结果表明,STG编码了相对音高和音高变化。词汇声调感知的神经表征与语调的神经表征中的相对音高编码是一致的,并在各种语言间共享,反映了一般的听觉加工。在非初级听觉皮层中存在相对音高的高阶听觉加工,这种高级听觉加工会受特定的语言经验调整。 论文原文