使用音位相关表征揭示口语句子理解中词类的不同重要性

文献：Thi, T. L., Na, Y., Choi, I., & Woo, J. (2022). Revealing differential importance of word categories in spoken sentence comprehension using phoneme-related representation. Journal of integrative neuroscience, 21(1), 29. https://doi.org/10.31083/j.jin2101029

1. 背景 ¶

语言是有各种词组成的，实词包括代名词，形容词，动词，副词等，虽然词类在语法上有区分，但他对人类的影响尚不清楚。了解大脑如何处理词类可能有助于促进人类交流，特别是在语言障碍患者中。本研究旨在为不同词类在句子理解中的作用提供神经生理学证据。之前发现对高重音单词的初始音位目标的反应时间比对低重音单词的反应时间短。假设高重音单词比低重音单词更容易处理，则实词通常比虚词受到更高的重音。因此认为实词在传达必要信息时具有更重要作用的说法是合理的。本研究旨在通过测试各级加工的电生理活动来证实这个假说。在实词中，名词和动词传达了不同的信息因为他们具有不同的作用，而动词动作的宾语和主语提供了句子处理的另一个重要方面，因此每类词都具有不同的作用。随着语音信号的展开，语音处理需要在短时间间隔(几毫秒)内发生许多步骤。因此高时间分辨率的EEG适合句子加工的研究，在句子加工的ERP研究中发现，句子加工分有3个阶段，分别是N1，N400，P600。有人提出，在第一阶段(100-300ms)，句子加工从识别声音-语音和单词形式开始，反映在颞上回和额下回的激活上。研究发现，颞上回在音位语音感知和句子层级语义处理任务中被激活，而额下回支持句法结构构建和言语工作记忆。以前的研究表明，在词汇感知任务的听觉和视觉范式中，具有不同含义的词汇可能与词汇出现后100-200ms发生的大脑活动有关，有人提出语义加工可能早在刺激词出现后的200ms内就发生了。因此N1潜伏期大脑活动的差异可以表明单词水平处理的差异，从而影响句子理解。基于此，研究假设，在N1潜伏期(100-300ms)处理句子中每个词类的过程中，头皮地形图表明该词类对于句子理解的不同重要性水平。

ERP技术包括多次重复的平均过程，这导致对超过几百ms的刺激的重叠响应，因此传统的ERP只能用于分析连续自然语音中的神经反应，通常用于分析孤立的感觉事件（例如孤立的音节）。EEG分析中的新进展通过计算语音的时间包络和相应的EEG信号之间的互相关来帮助避免对连续自然语音(例如，句子)的重叠响应。互相关函数经常用于对连续语音的锁相反应。Horton等人使用EEG和语音包络之间的互相关研究了注意和不注意语音包络的神经节律同步。根据他们的结果，在刺激开始后的某个潜伏期(例如，100ms和200ms)，测量的EEG与注意和不注意的语音包络显著相关。因此，互相关可以用于指示神经振荡对语音的节律同步。语音的时间包络已被广泛用作声学信息线索，然而，Di Liberto，O’Sullivan和Lalor表明，音位模型在预测对语音刺激的神经反应方面优于包络模型，并且，音位信息已被假定为揭示语音感知任务中的大脑激活。研究引入了音位起始脉冲序列(PH)，来表示一个句子中音位开始时间的脉冲序列。评估了语音的PH和时间包络，以验证PH信息的有用性。

本研究使用连续的语音刺激，有选择地省略了典型的语言成分，使用索引PHs代替特定的词类实例作为刺激，基于互相关的方法将早期ERP成分解析为句子处理环境中不同的孤立语言事件，这种方法确保听者处理一个有意义的句子而不是单一的语音标记，并有助于检查词类在句子理解中的重要性。

2. 方法 ¶

13名18-24岁之间听力正常的右利手参与了实验，英语母语者。

使用了来自美国男性用英语说的噪声测试中的修正语音感知(平均持续时间：1.78s，标准偏差：0.19)的十个句子。多数句子是简单陈述句，如下表1所示。

图1

被试静坐在隔音室中，允许观看他们面前的无声电影，每个句子重复呈现100次，产生1000个trial，每个trial持续3s，从刺激呈现前的-0.5s到发作后的2.5s，trial之间的刺激间隔为3s。

3. 结果 ¶

PH, phoneme onset impulse train; PHENV, a combination of phoneme onset impulse train and temporal envelope. 图2显示了所有被试和句子中PHs和ERPs之间以及PHENVs和ERPs之间的交叉相关系数的总体平均值。与整个句子相比，在成分排除情况中观察到N1振幅的不同水平的变化。关于PH和ERPs之间的互相关系数，在排除实词的情况下，N1振幅在Cz通道显著降低(p = 0.046，W = 17)，而在排除虚词的情况下，则显示出轻微的降低；名词排除情况下的N1振幅在Cz通道显著降低(p = 0.033，W = 15)，而动词排除情况下的N1振幅无显著降低；C展示了宾语排除情况下振幅减小而主语排除情况无显著减小。在PHENV和ERP之间的交叉相关系数的平均值中观察到一致的发现。

图2

表2总结了当时用PH时，排除情况和整句情况之间显示出N1振幅的差异的位于左半球和中央部位的电极位点。其中宾语排除情况下降低N1活动的电极位点数最多。而在动词排除情况下无电极位点显示出差异。

图3

实词和虚词排除情况与整个句子的互相关比较时发现实词排除情况下左侧颞叶和中央的活动显著减少，N1峰处，排除虚词的情况并没有表现出这样的差异。与整句相比名词排除情况显著降低了左侧颞叶和中央部位N1的幅值；而动词排除情况下N1没有观察到这样的差异。比较宾语和主语排除情况与整个句子的交叉相关性时发现，宾语排除情况N1振幅在广泛的额中央和颞区显著降低，而主语排除则没有显示出这种变化。

4. 讨论 ¶

音位信息和对各种成分排除情况和整个句子的神经反应之间的交叉相关性显著不同，与整句情况相比，实词、名词和宾语排除情况下相位锁定的N1诱发振幅的显著降低，而当虚词、动词和主语排除的情况与整句相比则没有不同。研究认为这一发现表明在句子理解中实词比虚词占优势，并且得到了先前研究的支持。名词比动词占优势的一个可能原因是名词在概念上比动词简单，导致比被动听动词所指的相对复杂的概念更容易处理。假设N1反映了听觉信息的辨别，这项研究的主要结果表明，语言成分的可能编码早至N1潜伏期内。