眼球追踪和脑电图揭示自然阅读的快和慢节律



文献:Henke, L., Lewis, A. G., & Meyer, L. (2023). Fast and Slow Rhythms of Naturalistic Reading Revealed by Combined Eye-Tracking and Electroencephalography. Journal of Neuroscience. https://doi.org/10.1523/JNEUROSCI.1849-22.2023

摘要 ¶

神经振荡支持语音和语言加工,这些神经振荡不仅来源于声学上的节律信号,也可能体现了内源性加工节律。本研究支持了这一说法,发现在没有任何刺激节律的条件下,人类在自然阅读过程中眼球运动的节律模式与脑电图(EEG)部分频率节律模式一致。在两个频段中观察到了一致的节律周期:一个是关于单词眼跳的4-5Hz的节律与整个大脑皮层的θ频段保持一致;第二个是注视时长约1Hz的频率与枕部δ频段活动一致,并且这个节律对应句子末尾,表明与多词语块的形成有关。即阅读期间的眼球运动包含与大脑活动振荡同步发生的节率模式。这表明语言加工对阅读施加了偏好的加工时间尺度,很大程度上独立于刺激的实际生理节奏。

重要陈述 ¶

所谓的神经振荡就是信息的采样、分组和传输由有节奏的大脑活动支持。除了对外部刺激进行采样之外,这种节律也可以是内源性的,从内向外影响处理。特别是内源性节律可能会影响语言处理的速度,探究这一点是很有挑战的,因为语音包含掩盖内源性活动的生理节奏。为了克服这一挑战,研究使用自然阅读,不强制要求读者以特定的频率采样。研究观察到了与脑电图记录到的大脑活动同步的眼球运动的节律模式。这种节律性不是由外部刺激强加的,这表明有节奏的大脑活动可以作为语言处理的起搏器。

1. 引言 ¶

听觉神经科学强调语音和语言处理中神经振荡的参与(Meyer, 2018; Poeppel and Assaneo, 2020; Poeppel and Teng, 2020),振荡追踪声音上的节奏以支持语音感知和信息摄取(Giraud and Poeppel, 2012; Poeppel and Assaneo, 2020),例如,θ波段振荡(4–8hz)跟踪音节(Luo and Poeppel, 2007; Peelle et al, 2013; Doelling et al, 2014),δ波段振荡(< 4 Hz)追踪韵律短语(Bourguignon et al, 2013; Molinaro et al, 2016)。在听觉领域之外也观察到了这种追踪:枕骨θ波段和δ波段的振动与说话者的嘴唇运动(Crosse et al., 2015; Park et al., 2016; Bourguignon et al., 2020; Biau et al., 2021)和手语同步(Brookshire et al., 2017) 。

神经振荡除了追踪刺激节律,也能追踪chunking和预测等内源性(Giraud, 2020; Haegens, 2020; Kandylaki and Kotz, 2020; Klimovich-Gray and Molinaro, 2020; Lewis, 2020; Meyer et al., 2020a, 2020b),例如,θ波段振荡引导语音的时间预测,δ波振荡同步多词chunking,支持可能的内源性性质,δ频段相位可以驱动组块,即使当发散的声音提示存在时。

通过语音研究神经振荡的内源性功能很有挑战,因为即使微弱的语音的节律也很混乱,为了克服这个问题,本究自然阅读过程中眼球运动和脑电图(EEG)的同步记录。文本本身不会把时间结构强加给读者,因为单词出现在空间而不是时间,因此,阅读过程中的时间行为或电生理节律是由读者的大脑内生施加的。相应的,据报道,视觉的节律性波动——独立于外部线索的空间注意力转移。这些似乎与眼球迅速扫视运动密切相关,可能通过增加神经元处理后续刺激的兴奋性来优化视觉反应增益,有节奏的视觉采样甚至与空间眼球运动无关,表明它为信息取样提供了一个内生的参考框架。

本研究调查了阅读中的眼动时间规律是否反映了大脑中振荡周期的内源性节律,阅读时从一个单词移动到另一个打次的眼跳约200-250ms,引起眼跳的节律为 4–5 Hz,而相应的电生理频段追踪听觉中的音节。假设阅读中单词的采样是纯内源性的,因为文本输入不提供任何外源性的时间节奏。这也符合内部语言和认知因素对阅读时迅速扫视的影响。除了单词采样,研究也想评估多词chunking以证实chunking相关的δ频段内源性振荡的主张。研究通过测量词与词之间注视时间的变化来测量多词chunking操作,因为据研究表明在多词单元结尾的阅读时长增加。同样,在学习视觉运动序列的过程中,组块结尾伴随着反应时间的突然变化。总之,研究希望看到眼动规律与脑电频率活动之间的关系。

2. 材料和方法 ¶

使用苏黎世认知语言处理语料库,记录12名英语母语者在阅读时的眼球追踪和脑电活动,研究分析了语料库的自然阅读任务的简单性和自然性。参与者阅读了300个句子并回答了其中一部分阅读理解问题。句子呈现在6个block中。采用EyeLink1,000 Plus基于红外视频的眼球跟踪器,采样率为500Hz,使用128通道EEG Geodesic Hydrocel系统以Cz点作为在线参考,在0.1-100Hz范围内在线带通滤波。

只考虑了眼跳和在词上的注视时间,原始处理去除了与阅读无关的注视,

采用了Hollenstein及其同事最初研究的预处理流程,研究使用了104个EEG通道进行分析

3. 结果 ¶

眼跳的统计分析显示在4.4Hz处显著频率峰值,对注视持续时间差异时间序列的频谱分析显示峰值在0.49 Hz和4.3 Hz。

图1

IISPC分析揭示了在从2.5到9.5 Hz的频率范围内,在眼跳开始周围的6200 ms的整个时间窗内,在后部EEG传感器上具有空间上广泛的统计显著性峰值聚类(眼跳开始后130 ms,5 Hz时电极E83处的峰值相干性),对注视持续时间差异时间序列的相干性分析揭示了后部EEG传感器上的显著聚类在1–2.5Hz(1 Hz时电极E83处的最大相干性;图3c,d)和3.5–5 Hz的峰值。

图2

将注视持续时间的周期性变化及其与脑电图的一致性与多词单位的加工联系起来,分析了句子边界的短语聚类作为语块结尾的代理。句子最后一个单词的注视持续时间差异的相位角没有表现出显著的不一致性。这可能是由于数据的采样稀疏(即,每个单词一个注视点)导致置换数据中的随机聚类,事后评估相位聚类是否局限于显示最大相干性的所选电极。分别对低频下相干性显著集群内的所有电极进行了分析,在考虑电极的多重比较的FDR校正后,簇内68个电极中的53个显示出统计学上显著的相位聚类。

4. 讨论 ¶

研究发现自然阅读时的眼球运动显示出与脑电图振荡活动同步的周期性。在两个不同的频段中,眼球运动与视觉皮层上方的脑电图反应同步,类似于语音的多路听觉采样,(较快的)眼跳节律可以反映单词的主动采样,而(较慢的)注视持续时间的节律变化可以提示将单词整合为更大的多单词单元的内源性组块机制,这一解释也得到了EEG在传感器上的相位聚类的支持,这些传感器显示了与注视持续时间变化的一致性。研究者认为他们的结果可能表明,读者主动将句子结尾与神经振荡的特定相位角对齐,这有助于语言组块。同时也发现了注视时长差异一个4Hz的峰值与脑电图一致。这可能反映了眼跳的节律,在每次注视开始时插入注视时间的差异,之后跟随一个眼跳。由于文本不提供时间信息,节律性电生理活动可能是阅读的内源性起搏器。作者说本研究无法回答这是否有利于理解,这需要对理解进行更精细的评估(例如,逐字评估)。

本研究发现了与阅读期间眼跳5Hz节律相对应的脑电节律,眼跳频率和与θ波段振荡的同步性对应于θ波段振荡在听觉加工中的作用,类似于对语音中音节的采样,θ频段振荡可以为阅读期间的单词处理提供最佳灵敏度。也有很多研究证明了θ频段振荡在视觉注意力中的作用。在阅读过程中,每一次眼跳都会将新的字母带入注意力的焦点。一些研究认为θ波段振荡可以调节眼跳,可能通过主动增加神经元兴奋性来放大即将到来的刺激,从而优化输入增益。眼跳可能将信息摄取发生的时间(即注视)与最佳灵敏度的时间点(即周期的特定阶段)对齐。起搏器隐喻也得到了视觉采样频率与空间选择无关的研究结果的支持。虽然引发扫视的认知过程发生在几十毫秒之前,但是不能称之为因果关系。因此,避免将结果解释为指导眼跳运动启动的认知过程的指标。

研究还认为,研究材料使用的是英语,即字母与读音之间的联系不透明,从而导致更长的注视时间。比如,有元分析表明,14种语言的眼跳周期在3.9至5.2Hz之间,这表明语言处理的影响超出了知觉采样,相应的有研究表明阅读过程中的扫视也受到内部语言和认知因素的影响。未来的研究还需要调查不同语言的电生理节律是否有所不同。

此外研究还发现注视持续时间的变化与δ频段内脑电活动表现出周期性和同步性,句尾的δ频段相位聚集性表明,读者以他们喜欢的电生理处理速度积极地对较大的单位进行采样。已有大量研究表明δ频段神经电生理活动用于将语音主动切分成多个词块。词块大小可能受δ频段振荡的波长的限制,与多字单元的时间限制一致。已知读者会设置隐形的分段边界以利于整合,与我们的注视时长差异所强调的速度减慢类似的减速也被认为反映了这种设置。但是,本研究认为将δ频段活动与组块操作联系起来,并不能排除更一般的功能,周期性组块可以实例化注意主动分配中的域一般功能。在这种观点下,δ频段周期与组块的对准可能会将注意力引向刺激中的关键信息。未来的研究应该调查阅读过程中行为对信息整合的影响。此外,时间的变异性使得读者不太可能主动抽样整个句子;因此,我们需要进一步的研究来理解抽样单位的具体类型。

总之本研究认为在阅读过程中,θ和δ频段的采样分别用于单词和词块的主动采样和整合。但是,研究者也认为本研究结果不能确认阅读和内源性神经震荡之间的因果关系,然而,从进化论的角度来看,阅读的实践肯定是在存在θ和δ频段振荡的情况下发展起来的。所有观察到的效应都在视皮层上方达到峰值,那里相关的节律之前已经在阅读之外报道过。作者承认他们不能得出这样的结论,即观察到的节律确实反映了振荡动力学,或者更确切地说,是一系列被唤起的反应。研究者认为虽然有研究充分证明眼跳和注视都会诱发相关成分,但这并不能解释周期性和阅读的时间规律性。最重要的是,视觉输入或运动活动没有特定的周期性变化,可以作为组块节奏的对应物。未来的研究应该解决这些局限性。

作者还认为,研究中观察到的眼动和脑电之间的同步性与两种频率都是一种内源性的、主动地信息选择和组合方式的可能性一致,这也可能与阅读过程中产生的内生语言有关。一方面,内生语音受环境因素、元认知以及语言因素的影响,这与阅读是相似的。另一方面,有研究表明读者生成隐含的韵律轮廓,这可能是言语生成系统帮助句法结构形成的一种机制。有观点认为,阅读中众所周知的句末总结效应可能反映了隐含韵律边界的插入(Hirotani et al,2006),类似于语音中的停顿和子句结尾的加长。然而,这些发现可能不一定与内心的言语有关,但同样可以很好地反映信息整合的组块过程。例如,阅读涉及跳过单词和倒退眼球运动(Rayner,1998),这表明语言输入的采样方式比语音更稀疏。稀疏采样仍然允许提取所有必要的信息,因为副中央凹加工甚至允许在单词注视之前访问该单词。尽管副中央凹加工可以收集额外的信息,但主要还是以一次注视一个词的方式读取样本。相比之下,语音采样通常是以音节的速度进行的(例如,Poeppel和Assaneo,2020),每次神经采样产生不同数量的语言信息。在阅读过程中,读者提取映射到语音上的语言信息,这表明语音处理是阅读的一部分。并且对语音同步的神经元受损与阅读障碍有关,并且发育性阅读障碍患者对语音和非语言听觉节律的跟踪能力受损。这种缺陷也可能是阅读障碍的根源,例如,阅读障碍的读者表现出非节律性的眼动模式,注视频率增加,注视时长更长。未来的工作可以扩展到阅读障碍人群,也有助于解决有节奏阅读的行为益处。

阅读过程中的眼球运动是周期性的,与大脑后部区域的神经振荡同步。θ频段的振荡可以为阅读单个单词提供最佳的灵敏度,而较慢的Delta频段的振荡可能有助于将单词整合成组块。通过这种方式,神经振荡内源性地塑造了阅读。