δ波神经活动主要反映了基于句法规则构词成句的过程而非词汇之间的语义相关性



Lu, Y., Jin, P., Ding, N., & Tian, X. (2022). Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words. Cerebral Cortex, bhac354. https://doi.org/10.1093/cercor/bhac354

语音;语义;MEG;chunking;entrainment

人脑对句子结构的表征(皮层的神经活动),到底是反映了人脑应用句法将字词和短语构建成句子(层级结构),还是仅由字词间的语义相关性引起的,这点一直备受争议。这里,我们调查了词汇之间的语义相关性在多大程度上可以解释δ波的言语神经活动。为了将语义相关性与句子结构的作用分离,作者让参与者听了句子序列和配对的单词序列,在这些序列中,语义相关的单词以1Hz的频率重复。作者使用word2vec模型来量化这两类序列中的语义相关性,该模型能够在不涉及句子结构的情况下了展示出词之间的语义关系。Word2vec模型用配对的单词序列和句子序列预测了类似的1Hz反应。然而,使用MEG记录的神经活动显示,在不需要句子加工的词级任务中,配对词序列的1Hz反应要弱于句子序列。 此外,当听者应用任务相关规则将配对的词序列(paired-word sequences)解析成多词组块(multi-word chunks)时,在相同的序列上,1Hz的神经活动比词级任务中的反应更强。我们的结果表明,皮层神经活动表征了句法(或任务相关)规则将字词构建成句子的过程,而词间的语义相关性在其中的作用很小。

感觉序列(从单项目到关联结构),可以在不同水平的层级结构中表示。组块被假设为顺序表征机制之一——一个序列中的几个连续项目可以分组为一个上级组块,作为一个单元存储和操作(Dehaene et al.2015)。在语音领域,大脑如何整合跨单词的信息以形成多词组块,如短语和句子,并推导出这些组块的含义,这是一个激烈的争论。一种观点认为,大脑应用句法规则将单词组合成更大的多词块,形成层级语言结构(Martin and Doumas 2017; Ding et al.2017a; Meyer and Gumbert 2018);另一种观点认为,大脑根本没有求助于层次语法,而是简单地基于语义和统计分析将信息跨词绑定(Elman 1990; Frank et al. 2012; Christiansen and Chater 2016)。

最近的神经生理学研究表明,δ波 (< 4 Hz)的神经振荡与多词组块(例如短语和句子)具有同步性(Ding et al. 2016; Meyer et al. 2016; Makov et al. 2017; Keitel et al. 2018; Henke and Meyer 2021)。重要的是,皮质活动与短语和句子的加工时间轴相关,且独立于韵律和统计单词线索,这已被视为大脑基于句法规则将单词分组为组块的假设的有力证据(Fig. 1A and B, solid curve; Ding et al. 2016, 2018)。这一立场的挑战是,短语和句子的神经跟踪或许可以用词之间的语义相关度来解释(Jin et al. 2020)。在下文中,我们以对句子的神经反应为例来说明这个想法;同样的原理也适用于对短语的神经反应。

图片

单词序列处理的最简形式是分析词间关系。众所周知,如果一个单词在语义上与其前面的上下文相关,它可以更容易地理解,并且其事件相关电位(ERP)的N400分量减少(Halgren et al. 2002; Lau et al. 2008; Kutas and Federmeier 2011)。在大多数情况下,与其他句子中的单词相比,一个句子中的单词在语义上与其相邻的单词更相关。因此,依赖于上下文的神经反应通常预期在句子开始时高,在句子结束时低,形成句子的明显神经跟踪(图1B,虚线)。这种可能性为神经追踪句子提供了另一种解释,而不需要假设组块级表征。研究句子的神经跟踪在多大程度上可以由词间的语义相关性来解释至关重要,以便可以测试关于神经跟踪的不同假设。

相对于基于语法的自动组块过程,序列组块可以通过更可控的过程来实现(Jeon and Friederici 2015)。最近的一项研究表明,当要求听者按照给定的组块规则明确解析单词列表时,δ波皮层活动可靠地跟踪由规则定义的多单词组块,而不是单词之间的语义相关度(Jin et al. 2020)。然而,仍然不清楚的是,当听者在句子语境中获取单词语义时,语义相关性是否能够主要驱动δ波神经活动。

为了研究这些问题,我们使用MEG研究了顺序结构和任务是如何分别调制对语音的神经反应的。首先,为了考察句子结构的影响,我们使用了一项词汇层面的任务,引导参与者注意单个单词的语义相关性。在这项任务下,我们向听者展示了句子序列,以及配对的单词序列,这些序列旨在对追踪单词之间语义关系的神经反应进行频率标记。我们使用word2vec模型来量化序列的语义相关性——这是一种只考虑单词之间语义关系的连接主义模型(Mikolov et al.2013年)。如果测量到的神经反应与word2vec模型的预测不一致,就表明单词之间的语义联系不足以解释追踪句子的神经反应。接下来,为了评估对配对单词序列的神经反应可以在多大程度上受到任务的调制,我们比较了单词水平任务中的神经反应和语块水平任务中的神经反应。如果在组块水平的任务中,神经跟踪反应能够比在单词水平的任务中得到提高,这将再次表明,δ波神经活动主要与组块水平的表征和区块操作有关,而不是词间的语义联系。

16名母语为普通话成人(19-25岁,平均21岁,8男8女)参与了这项研究。均为右利手,无听力损失或神经障碍。样本量由先前语音神经跟踪的MEG研究预先确定。

这项研究提出了3种类型的单词序列:(图2A)

①配对单词序列

②随机单词序列

③句子序列。

每个序列由24个双音节单词组成:这些单词由合成器独立合成并连接,词间无间隙。合成词的持续时间为500ms,并按照Ding的程序调整到相同的强度。总而言之,没有对单个音节的强度和持续时间进行进一步的控制。每个双音节单词是一个声学上独立的单位,并以2Hz的频率同步呈现。