δ波神经活动主要反映了基于句法规则构词成句的过程而非词汇之间的语义相关性



Lu, Y., Jin, P., Ding, N., & Tian, X. (2022). Delta-band neural tracking primarily reflects rule-based chunking instead of semantic relatedness between words. Cerebral Cortex, bhac354. https://doi.org/10.1093/cercor/bhac354

语音;语义;MEG;chunking;entrainment

人脑对句子结构的表征(皮层的神经活动),到底是反映了人脑应用句法将字词和短语构建成句子(层级结构),还是仅由字词间的语义相关性引起的,这点一直备受争议。这里,我们调查了词汇之间的语义相关性在多大程度上可以解释δ波的言语神经活动。为了将语义相关性与句子结构的作用分离,作者让参与者听了句子序列和配对的单词序列,在这些序列中,语义相关的单词以1Hz的频率重复。作者使用word2vec模型来量化这两类序列中的语义相关性,该模型能够在不涉及句子结构的情况下了展示出词之间的语义关系。Word2vec模型用配对的单词序列和句子序列预测了类似的1Hz反应。然而,使用MEG记录的神经活动显示,在不需要句子加工的词级任务中,配对词序列的1Hz反应要弱于句子序列。 此外,当听者应用任务相关规则将配对的词序列(paired-word sequences)解析成多词组块(multi-word chunks)时,在相同的序列上,1Hz的神经活动比词级任务中的反应更强。我们的结果表明,皮层神经活动表征了句法(或任务相关)规则将字词构建成句子的过程,而词间的语义相关性在其中的作用很小。

感觉序列(从单项目到关联结构),可以在不同水平的层级结构中表示。组块被假设为顺序表征机制之一——一个序列中的几个连续项目可以分组为一个上级组块,作为一个单元存储和操作(Dehaene et al.2015)。在语音领域,大脑如何整合跨单词的信息以形成多词组块,如短语和句子,并推导出这些组块的含义,这是一个激烈的争论。一种观点认为,大脑应用句法规则将单词组合成更大的多词块,形成层级语言结构(Martin and Doumas 2017; Ding et al.2017a; Meyer and Gumbert 2018);另一种观点认为,大脑根本没有求助于层次语法,而是简单地基于语义和统计分析将信息跨词绑定(Elman 1990; Frank et al. 2012; Christiansen and Chater 2016)。

最近的神经生理学研究表明,δ波 (< 4 Hz)的神经振荡与多词组块(例如短语和句子)具有同步性(Ding et al. 2016; Meyer et al. 2016; Makov et al. 2017; Keitel et al. 2018; Henke and Meyer 2021)。重要的是,皮质活动与短语和句子的加工时间轴相关,且独立于韵律和统计单词线索,这已被视为大脑基于句法规则将单词分组为组块的假设的有力证据(Fig. 1A and B, solid curve; Ding et al. 2016, 2018)。这一立场的挑战是,短语和句子的神经跟踪或许可以用词之间的语义相关度来解释(Jin et al. 2020)。在下文中,我们以对句子的神经反应为例来说明这个想法;同样的原理也适用于对短语的神经反应。

图片

单词序列处理的最简形式是分析词间关系。众所周知,如果一个单词在语义上与其前面的上下文相关,它可以更容易地理解,并且其事件相关电位(ERP)的N400分量减少(Halgren et al. 2002; Lau et al. 2008; Kutas and Federmeier 2011)。在大多数情况下,与其他句子中的单词相比,一个句子中的单词在语义上与其相邻的单词更相关。因此,依赖于上下文的神经反应通常预期在句子开始时高,在句子结束时低,形成句子的明显神经跟踪(图1B,虚线)。这种可能性为神经追踪句子提供了另一种解释,而不需要假设组块级表征。研究句子的神经跟踪在多大程度上可以由词间的语义相关性来解释至关重要,以便可以测试关于神经跟踪的不同假设。

相对于基于语法的自动组块过程,序列组块可以通过更可控的过程来实现(Jeon and Friederici 2015)。最近的一项研究表明,当要求听者按照给定的组块规则明确解析单词列表时,δ波皮层活动可靠地跟踪由规则定义的多单词组块,而不是单词之间的语义相关度(Jin et al. 2020)。然而,仍然不清楚的是,当听者在句子语境中获取单词语义时,语义相关性是否能够主要驱动δ波神经活动。

为了研究这些问题,我们使用MEG研究了顺序结构和任务是如何分别调制对语音的神经反应的。首先,为了考察句子结构的影响,我们使用了一项词汇层面的任务,引导参与者注意单个单词的语义相关性。在这项任务下,我们向听者展示了句子序列,以及配对的单词序列,这些序列旨在对追踪单词之间语义关系的神经反应进行频率标记。我们使用word2vec模型来量化序列的语义相关性——这是一种只考虑单词之间语义关系的连接主义模型(Mikolov et al.2013年)。如果测量到的神经反应与word2vec模型的预测不一致,就表明单词之间的语义联系不足以解释追踪句子的神经反应。接下来,为了评估对配对单词序列的神经反应可以在多大程度上受到任务的调制,我们比较了单词水平任务中的神经反应和语块水平任务中的神经反应。如果在组块水平的任务中,神经跟踪反应能够比在单词水平的任务中得到提高,这将再次表明,δ波神经活动主要与组块水平的表征和区块操作有关,而不是词间的语义联系。

16名母语为普通话成人(19-25岁,平均21岁,8男8女)参与了这项研究。均为右利手,无听力损失或神经障碍。样本量由先前语音神经跟踪的MEG研究预先确定。

这项研究提出了3种类型的单词序列:(图2A)

①配对单词序列

②随机单词序列

③句子序列。

每个序列由24个双音节单词组成:这些单词由合成器独立合成并连接,词间无间隙。合成词的持续时间为500ms,并按照Ding的程序调整到相同的强度。总而言之,没有对单个音节的强度和持续时间进行进一步的控制。每个双音节单词是一个声学上独立的单位,并以2Hz的频率同步呈现。

图片

①配对单词序列和②随机单词序列均由生命和非生命的双音节名词(N = 240)构成:

生命(l):动物(N = 60,例如猴子和熊猫)和植物(N = 60,例如郁金香和草莓)

非生命(n):可操纵的小物体(N = 60,例如茶杯和牙刷)和不可操纵的大物体(N = 60,例如游乐场和酒店)。

①和②没有句法结构。在每组①中,单词的语义类别周期性地变化,由4个单词组成的循环,即“nnll”(图2A)。词与词之间的语义相关性以1Hz的频率周期性地交替。因此,追踪语义相关性的神经活动预计将在1Hz表现出周期性,这一点通过基于word2vec语义相关性模型进一步说明。在②中,每个单词都从所有双音节名词中随机选择。

③句子序列由80个四音节句子构成:

前两个音节:双音节名词(N)

后两个音节:双音节动词(V)

每个句子都以1 Hz的频率等时呈现。

三种类型的序列均无重复的单词。在某些情况下,无关项是通过用抽象名词替换单词来构建的(例如,荣誉和精神)。抽象名词是从30个抽象名词中挑选出来的,每个抽象名词在实验中只出现一次。

在实验开始时,参与者被要求熟悉本实验中的所有合成词。正式任务中,单词均随机呈现。当参与者听到一个单词时,他们按下一个键在计算机屏幕上看到单词。然后,他们可以选择再次听这个词,或者通过按不同的键继续下一个单词。

我们首先预览实验过程。在实验中,MEG 记录了神经反应。该实验由 5 个条件组成,以 5 个单独的block呈现。三个blocks分别呈现配对词序列、随机词序列和句子序列,并要求参与者执行相同的词级任务。在其他 2 个blocks中,我们只展示了配对单词序列,而参与者被要求分别执行一个块级任务和一个听觉级任务。在每个block中,20个正常序列和5个异常序列混合并以随机顺序呈现。听完一个序列后,参与者分别按下键 0 或键 1 来指示正常和异常试验。按键后,在 1 到 2 秒(均匀分布)之间随机时长的间隔后呈现下一个序列。所有 5 个条件块都以随机顺序呈现,约束条件是使用配对词序列的 3 个block彼此相连,使用随机词序列和句子序列的 2 个block也彼此相邻。我们应用了这样的约束,以便我们可以直接比较任务效果和顺序结构对神经反应的影响而不受干扰。参与者在每个条件block之前获知任务,并在block之间休息 2 分钟。

具体步骤如下。在前3个block中,分别给出了配对单词序列、随机单词序列和句子序列,并要求参与者执行单词级任务。在这个任务中,参与者被指示检测偶尔出现的抽象名词(图2B,上)。异常值试验的设计与正常序列相同,只是非相邻位置中随机选择的2个单词被2个抽象名词取代。

在其他2个block中,我们只呈现配对单词序列,而参与者被要求分别执行块级任务和听觉级任务。在块级任务中,参与者被指示配对词序列中的2个相邻单词可以构造一个block,这2个单词属于相同的语义类别,即2个单词都是生命名词或非生命名词。他们必须检测是否有任何block包含来自不同语义类别的单词(图2B,中)。为了在异常值试验中构建此类无效block,将生命名词与其相邻的非生命名词进行切换,因此块中的2个名词属于不同的语义类别,违反了块构造规则。此外,在听觉水平的任务中,参与者被指示检测偶尔呈现的语音变化(图2B,下)。通过使用Praat中的变化性别函数改变非相邻站点中随机选择的2个单词的语音来构建异常值试验(Boersma 2006)。

  在 MEG 记录之前,实验者对所有 3 项任务进行了说明。参与者还通过听随机呈现的 1 个正常序列和 2 个异常序列来熟悉任务。在每个序列之后,他们必须向实验者口头报告它是正常序列还是异常序列,以及哪些词是异常序列,例如变声的词、抽象名词或块中的 2 个词属于不同的语义类别。可以重播这些序列,直到参与者理解实验任务并正确报告异常值。

MEG:采样频率为1 kHz,记录神经磁反应。

MRI:收集1×1×1$$mm^{3}$$分辨率的磁共振解剖图像。

预处理仅分析了对正常序列的神经反应。时间信号空间分离 (tSSS) 用于消除 MEG 信号的外部干扰 (Taulu and Hari 2009)。为了消除 MEG 信号中的眼部伪影,使用最小二乘法 (Ding et al. 2017b) 对水平和垂直 EOG 进行了回归。由于目前的研究仅关注 1 和 2 Hz 的效应,MEG 信号使用FIR滤波器在 0.3-2.7 Hz 之间进行带通滤波(截止频率处的衰减为 -6 dB,10 -s Hamming 窗口),并以 20 Hz 下采样。

使用DSS技术,进一步对 306 通道 MEG 信号进行去噪。选择 DSS 的偏差函数作为每个条件下试验的平均效应。所有条件的通用 DSS 是基于在条件上平均的效应协方差矩阵得出的。前 6 个 DSS 组件被保留并转换回传感器空间进行进一步分析。这种 DSS 程序通常用于提取语音中夹带的皮层反应(Zhang and Ding 2017; Jin et al. 2020)。

在频域分析中,为了避免对发声的反应,每次试验的前2秒的反应被删除。因此,每次试验的神经反应持续时间为10秒。使用离散傅立叶变换(DFT)将所有试验的平均值转换到频域,而不需要任何额外的平滑窗口。DFT分析的频率分辨率为1/10Hz。频率f处的复值DFT系数记为X(F),效应功率为|X(F)|2。对每个MEG通道分别进行DFT。对于MEG反应功率分析,来自2个配置的梯度计的反应被平均。当分别分析左右半球时,每个半球包括96个梯度计。

使用皮层约束的最小范数估计(MNE;Hämäläinen 和 Ilmoniemi 1994)将试验平均的 MEG 效应映射到源空间,在 Brainstorm 软件中实施(Tadel et al. 2011)。 T1 加权 MRI 图像用于使用 Freesurfer 提取脑容量、皮质表面和内部的颅骨表面。手动标记 MRI 图像中的三个解剖标志,即鼻根、左耳前点和右耳前点。 3 个解剖标志和数字化头部点用于将 MRI 图像与 MEG 传感器阵列对齐。前向 MEG 模型是基于重叠球模型 (Huang et al. 1999) 推导出来的。单位矩阵用作噪声协方差。源空间激活通过动态统计参数图 (dSPM; Dale et al. 2000) 测量。由皮层上的 15,002 个基本偶极子组成的单个源空间效应被重新调整为 ICBM 152 大脑模板 (Fonov et al. 2011) 用于源空间分析。

该研究旨在测试对句子的神经反应在多大程度上可以通过单词之间的语义相关性来解释。为了量化单词序列中的语义相关性,我们使用word2vec模型将词汇语义转换为高维向量。语义的向量表示已被广泛用于解释心理语言学和神经科学的发现(Mitchellet al.,2008;Frank and Yang,2018)。以前的研究表明,词向量之间的语义距离或相关系数可以预测语音理解过程中的神经激活(Frank and Willems,2017;布罗德里克et al.,2018)。在这里,我们使用类似的过程构建了一个基于word2vec的语义相关性模型,并假设模拟神经活动仅在单词序列中编码语义相关性。

我们构建了一个语义相关性模型来模拟语义相关性对每个单词序列的作用。在模型中,最小的单位是一个词。使用从大型语料库(Li et al.,2018 中的“组合”语料库)学习的 word2vec 算法将每个单词转换为 300 维向量。 300 个特征维度中的每一个都由一个实数编码。首先使用脉冲序列模拟单词序列的语义相关性特征,其中在每个单词的开头放置一个脉冲。每个词的脉冲幅度是通过比较(通过 Pearson 的线性相关系数)当前词向量表示与前面的表示来定义的(Frank and Willems,2017; Broderick et al., 2018)。相关系数是一个标量。此外,因为如果刺激之前有类似的刺激,对刺激的神经反应通常较弱,我们使用一减去相关系数来调制脉冲序列。事实证明,这种方法可以有效地索引语音的神经语义处理(Broderick et al.,2018 年)。

无创电生理学记录中的神经反应是平滑的波形而不是尖锐的脉冲。因此,通过将脉冲序列与效应函数卷积来进一步模拟神经效应波形,这是一个持续时间为500ms的高斯窗口(Jinet al.,2020;Lu et al.,2022)。需要注意的是,该模型假设每个单词的开始都有一个锁相效应,并且所有单词的一致效应波形都是重复的。跟踪效应的功率谱不受效应波形形状的影响。换句话说,使用高斯窗口或其他效应函数不会改变神经跟踪结果的模型预测。最后,将单词序列的神经反应转换到频域中。

虽然目前的研究旨在测试单词之间的语义相关性在多大程度上可以解释对语音的神经反应,但我们也模拟了跟踪词频的神经反应的性质。我们根据一个大型中文语料库检索了材料中的词频(Zhanet al.,2019)。执行与构建语义相关性模型相同的过程,将每个单词的脉冲幅度设置为其词频值,然后使用卷积效应函数导出效应词频的模拟神经活动。

所有测试均基于偏差校正和加速引导(Efron 和 Tibshirani 1994)。在引导程序中,所有参与者都被重新采样 10,000 次并替换。本研究中的所有比较均为配对比较。对于效应能力的单边比较,如果一种情况下的数据总体大于另一种情况下数据总体的 A%,则显着性水平为 (100A 1)/10,001。对于两侧比较,显着性水平为 (200A 1)/10,001。应用了错误发现率 (FDR) 校正。

通过使用自举将f处的效应功率与刚好低于f的频率箱中的效应功率进行比较,测试了频率f处频谱峰值的统计显着性(Jinet al.,2018)。比较是单面的。比较仅考虑了f以下的频率箱,因为自发神经活动具有1/f频谱,并且即使没有刺激诱发活动,频率箱中的自发功率也往往弱于f处的功率。该显著性检验仅应用于1和2 Hz的效应功率。

使用双侧检验来比较条件之间的归一化功率。归一化效应功率的计算公式为 f 处的功率减去频率 bin 刚好低于 f 处的功率。该显著性检验仅应用于1和2 Hz的效应功率。

我们使用配对词序列、句子序列和随机词序列来研究语义相关性在多大程度上涉及句子的神经跟踪。我们使用基于word2vec 的模型来预测基于 word2vec 捕获的词级语义特征对语义相关性的神经反应。word2vec 算法从一个大型语料库中统计学习,为每个表征单词语义特征的单词构建了 300 维向量表示。具有相似含义的单词在其基于 word2vec 的表示之间具有更高的相关性。对于配对词序列,由于每两个词,即“nn”或“ll”,都属于同一语义类别,因此词对内的语义相似度很高(图3A,左2个图);对于句子序列,名词和构成句子的后面的动词建立了可预测的语义和句法关系,句子内的语义相关性也很高(图3A,右,看到名词和动词之间的亮对角线)。

基于 word2vec 表示,语义相关性模型预测了对配对单词序列和句子序列的 1Hz 效应(两个序列的 Ps = 0.0001,配对的单侧引导;图 3B)。对句子序列和配对单词序列的预测1-Hz效应没有显着差异(P = 0.251,配对双面引导;图3C),表明2个序列中的语义相关性特征相似。此外,语义相关性模型预测了对所有3个序列的2Hz效应,即配对词序列,句子序列和随机词序列(所有序列的Ps = 0.0001,配对单侧引导;图3C);预测的2Hz功率在序列之间是可比的。

尽管目前的研究旨在测试单词之间的语义相关性在多大程度上可以解释对语音的神经反应,但我们也考虑了一个基本的词汇属性词频——并分析了词频在词序列之间可能有何不同。词频模型仅预测对句子序列的 1Hz 效应(P = 0.0001;配对 2 面引导),但不能预测配对词序列和随机词序列。

接下来,我们使用 MEG 实验测试了测量的神经反应是否与语义相关性模型和词频模型的预测一致。具体来说,该实验测试了对配对词序列的 1Hz 效应是否类似于基于 word2vec 的语义相关性模型所预测的对句子序列的 1Hz 效应。如果测量到的对 2 个序列的 1Hz 效应在统计上相似,则表明句子的 δ-band 神经跟踪可以通过单词之间的语义相关性来充分解释;否则,神经跟踪效应不能用语义相关性来解释。

图片

在 3 个单独的块中,参与者听配对词序列、句子序列和随机词序列,而他们被要求执行词级任务,监控偶尔呈现的抽象名词。对于配对词序列、句子序列和随机词序列,行为准确度分别为 91 ± 2%、88 ± 2% 和 95 ± 1%(图 S3,请参阅在线补充材料以获取此颜色版本数字)。在图 3D 所示的 MEG 频谱中,对于配对词序列和句子序列(对于配对词和句子序列,Ps = 0.0006 和 0.0001)观察到显着的 1-Hz 峰值,双边分布(图 3EF) ,分别配对单边引导程序),但不适用于随机词序列(P = 0.468)。对配对词序列的显着 1Hz 效应与词频模型的预测一致。然而,它明显弱于左右半球对句子序列的 1Hz 效应(两个半球的 Ps = 0.0003,配对 2 侧引导;图 3G),包括左侧额下回(IFG),左侧颞中回(MTG)和双侧颞上沟(STS;图S4A,该图的彩色版本见在线补充材料)。相对于句子序列,对配对词序列的 1Hz 效应较弱,这与语义相关性模型不一致,该模型预测配对词序列和句子序列之间的 1Hz 效应能力相当(图 3C,上图)。此外,在所有序列中都观察到显着的双边分布的 2Hz 效应(Ps < 0.0003,配对 1 侧自举;图 3DEF),并且在序列之间没有显着差异(图 3H),这与模型预测一致,表明神经无论顺序结构如何,单个单词的跟踪都同样强大。这些结果表明,单词之间语义相关性的神经跟踪相当薄弱,不能充分解释句子的神经跟踪。

接下来,我们进一步测试了在组块水平的任务中,与在单词水平的任务中的反应相比,在显性序列组块的过程中,神经追踪是否可以得到加强。除了词级任务外,听者还被要求在听配对单词序列的同时,在不同的块中执行另外两项任务,即组块级任务和听觉任务。在词级任务、组块级任务和听级任务中,行为准确率分别为91±2%、80±5%和96±2%(受试者的平均值)(图2)。在图4A所示的MEG中,在组块水平任务(P=0.0001)中观察到对配对单词序列的1-Hz反应,但在听觉任务中没有观察到(P=0.456)。为了比较不同任务之间的神经反应,我们复制了图3中单词水平任务的结果。显著的1-Hz反应的反应图谱显示,块水平任务是双侧激活,而块水平任务的神经源主要位于双侧颞叶和额叶(图4BC)。重要的是,在块水平任务中,对配对单词序列的1-Hz反应显著强于单词水平任务(两个半球的Ps=0.0003,配对的单侧引导;图4D),包括左侧IFG、左侧MTG和双边STS(图4D)。S4B,参见在线补充材料以获得该图的彩色版本)。此外,在所有任务中都观察到显著的双边分布的2-Hz反应(Ps<0.0003,配对单侧引导;图4ABC),且没有显著差异(图4e)。这些结果表明,即使在相同的配对单词序列中语义相关性相同的情况下,组块水平的任务,即显性序列组块,也能比单词之间的语义关系更有效地驱动皮层反应。

图片

大脑如何将单词分组为多单词块,例如短语和句子,引起了激烈的争论。大量研究支持短语和句子的神经跟踪更可能反映多词块的心理表征(Ding et al. 2016, 2017b; Jin et al. 2020),并且不能用单个词的词汇属性来完全解释(Jinet al. 2020;Burroughs et al. 2021;Lu et al. 2022)。然而,尚不清楚语音的神经跟踪是否可以通过单词之间的语义相关性来解释。该研究比较了神经活动跟踪语义相关性与神经活动跟踪两种类型的多词块,即由策略句法知识定义的句子和由人工分块规则定义的块。我们的研究结果表明,δ-band 神经活动主要由句法定义的句子(图 3G)或人工规则定义的块(图 4D)驱动,而不是单词之间的语义相关性。

除了单个词分析之外,最简单的词级分析形式是分析相邻词之间的语义关系。在这里,语义相关性是指语义相似性(例如“旅行”-“旅程”)和语义关联(例如旅行计划)。语义相关性假设可以解释句子结构的神经表征,它建立在心理学文献中的启动效应 (Tulving and Schacter ,1990) 和神经科学文献中的神经适应 (Grill-Spector et al. ,2006) 之上。单词之间的语义相关性会强烈影响单传感器 MEG/EEG 效应和全局场功率。例如,经典的 N400 效应对单词之间的语义相关性很敏感,可以在单个 MEG/EEG 传感器中观察到(Kutas and Federmeier,2011)。在目前的研究中,我们表明在相同的词级任务中,词间语义相关性的神经跟踪比句子的神经跟踪要弱,这与语义相关性模型的预测不一致。由于 N400 是单词之间语义相关性的强大神经标记,因此它为什么不驱动对配对单词序列的强烈的1Hz 效应似乎令人惊讶。一个潜在的原因是这里使用的语义类别很宽泛(例如动物和植物),因此每个类别中的单词通常没有很强的相关性,这会削弱 N400 效应(Federmeier et al.,2003 年)。此外,已发现 N400 效应的定位在神经影像学和神经生理学研究中具有很强的左侧化作用,例如左上颞区(见评论,见 Lau et al. 2008)。 N400 效应被假设为整合 (Hagoort et al.,2004) 或语义检索 (Kutas and Hillyard,1980; Kutas and Federmeier ,2011) 的结果,类似于目前基于语义相关性的整合研究。因此,拓扑图中显示的左侧神经跟踪的观察结果(图 4B)与先前的研究一致,表明可能存在介导语义处理的左侧主导神经结构。

除了语义相关性假设之外,有人认为其他词属性,例如词性和词汇语义信息,可以潜在地解释短语和句子的神经跟踪,而无需推断短语和句子处理(Frank and Yang,2018)。然而,最近的研究为词汇语义和词性信息的神经跟踪提供了负面证据(Jin et al. 2020; Burroughs et al. 2021; Lo et al. 2022; Lu et al. 2022)。例如,词汇语义的神经跟踪比句子的跟踪要弱(Lu et al. 2022)。在将句子中的单词顺序打乱后(例如,“cottonsheatheatgrass”到“sheepcottongrasseat”),包含与句子相同的周期性词性信息但没有正确句法结构的新刺激不会引起神经反应以词性信息的速度(Lo et al. 2022)。结合目前的研究,它表明词级特征不能完全解释短语和句子的神经跟踪。

功能性 MRI 和立体脑电图研究表明,词块的心理结构在双侧颞叶和额叶中有所表现(Ding et al. 2016;Bulut et al. 2017;Nelson et al. 2017;Keitel et al. 2018)。与先前的证据一致,目前的研究表明,双边分布的神经反应与显式分块规则(图 4D)或隐式语法知识(图 3G)定义的多词块相关。虽然这两种多词块都可以驱动强大的大规模神经活动,但它们是否涉及类似的神经机制仍有待确定。已经假设大脑对块边界敏感并遵循域通用计算原则进行编码。电生理学研究提供了支持这一假设的初步证据。例如,在语音中的短语边界(Steinhauer et al. 1999; Li and Yang 2009)和音乐中的结构边界(Zhang et al. 2016)观察到闭合正移效应。在语音 (Ding et al. 2016)、非语音声音 (Chait et al. 2007; Sohoglu and Chait 2016) 和电影 (Zacks et al. 2001) 的事件边界处观察到瞬态神经活动。

尽管已经提出了用于块处理的域通用计算原理,但在不同上下文中该原理的实现是否由相似的神经机制介导是难以捉摸的。首先,当听众关注单个单词的语义特征时,可以观察到句子的神经跟踪,这表明句子分析在某种程度上是自动的,类似于在词级处理中发现的(Ding et al. 2018)。相比之下,需要侦听器显式解析序列的块级任务反映了一个更受控制的过程,该过程可能涉及顺序决策(Connell and Hofmann 2012;Barascud et al. 2016)。其次,神经影像学研究表明,不同的大脑区域参与了具有不同规则复杂性的语言处理。例如,新学习的具有从简单到上级复杂性的人工规则激活了额叶的后到前梯度(Koechlin and Summerfield 2007;Badre 和 Nee 2018),而具有不同复杂性的句法规则始终激活 Broca 区域(Jeon and Friederici 2015)。总之,这些证据表明,显式序列分块可能会参与自然语音理解不需要的执行控制过程(Koechlin and Summerfield 2007)。因此,基于显式序列分块任务的结论可能无法推广到仅隐式或不需要序列分块的其他语音处理任务。

最近的研究表明,跨语言的音节速率通常在 2-8 Hz 的范围内(Ding et al. 2017c;Poeppel and Assaneo,2020),而高于音节的结构的神经反应往往发生在 4 Hz 以下,落在δ 波段范围(通常定义为 1-3 Hz)。组块速率的神经夹带是否与内在神经振荡有关仍然存在争议。神经生理学研究表明,慢速神经振荡短语可以调节时间注意力和预测(Arnal and Giraud 2012;Morillon et al. 2014),这与神经语言学解释相关,即注意力应用于每个多词块的开始。因此,δ 波的皮层动力学为多词块分析提供了合适的时间标尺(Keitel et al. 2018; Lo et al. 2022; Lu et al. 2022)。此外,在多词块中,已经发现神经活动的力量持续增加或建立在其他频率标尺上,例如 β (Bastiaansen et al. 2010; Bastiaansen and Hagoort 2015)、γ (Peña and Melloni 2012 ) 和高γ (Ding et al. 2016; Nelson et al. 2017)。不同频率尺度的神经跟踪可能反映这些频带之间的强耦合(Lakatos et al. 2005; Giraud and Poeppel 2012)以及语义和句法信息的处理(Bastiaansen and Hagoort 2015)。

众所周知,对语音的神经反应受到任务的强烈调节(Makov et al. 2017; Ding et al. 2018)。首先,多词块的心理构造可以压倒词之间语义相关性的神经跟踪。Jin(2020)设计了两种语义相似的词对周期性变化的词序列(例如“teacup-button oyster rabbit”),并要求听众根据实验规则对词对进行分组。结果表明,神经活动显着跟踪由规则定义的多词块,而不是词之间的语义相关性。目前的研究通过证明语义相关性的 δ-band 神经跟踪相当弱,即使听众可以访问句子上下文中单个词的语义属性。其次,之前的一项研究表明,听众可以回忆起无人注意讲话者的性别(Cherry 1953),这表明性别检测任务是一项容易的任务,即使没有自上而下的注意力也可以处理声学信息。目前的研究在听觉级任务期间没有观察到对配对词序列的 1Hz 效应,这也与之前的电生理学研究一致,即 N400 分量仅在需要语义处理时才会减弱 (Chwilla et al. 1995 )。

总之,大脑皮层低频神经活动主要反映了基于句法规则将字词构建成句子的过程而不是编码词汇之间的语义相关性。