眼睛活动追踪语音和听觉序列感知过程中与任务相关的结构

文献：Jin, P., Zou, J., Zhou, T., & Ding, N. (2018). Eye activity tracks task-relevant structures during speech and auditory sequence perception. Nature communications, 9(1), 5374. https://doi.org/10.1038/s41467-018-07773-y

相关重点 ¶

  • 垂直EGO与EEG都能追踪视觉中的层级结构
  • 视觉对听觉中音节速率的反应要远小于句子

摘要 ¶

运动系统是否参与了言语和听觉理解等高级知觉任务，本研究表明在没有任何与句子相关的视觉或韵律提示的情况下，这种眼肌活动在语音聆听过程中与心理构建的句子同步。在垂直眼电图(EOG)中观察到对句子的眼动跟踪，无论眼睛是睁着还是闭着，以及通过眼睛跟踪测量的眨眼时间。并且追踪句子的眼球活动收到注意力的调节，眼睛活动还跟踪非语言听觉和视觉序列中的高级结构，并捕捉时间注意力的快速波动。对非视觉节律的眼动追踪可能反映了跨感觉和运动区的任务相关的时间结构的全局神经节律同步化，这可能有助于实现时间注意和协调皮质网络。

1. 引言 ¶

已知大脑可以追踪语音和音节中的基本单位和更高层级的单位，但是不知道运动系统是否参与了语音和其他声音中的高层级结构。对感觉加工的研究表明，时间上的选择性信息加工，即时间注意，是通过感觉运动系统中的低频神经振荡来实现的，并可以通过外显的运动来促进。支持这一假说的神经生理学证据大多来自对由多个感觉序列组成的复杂场景的研究，这些研究表明，皮层活动优先与所关注的感觉序列同步。在单个序列中，例如语音流，感觉运动活动的阶段是否被锁定到优先处理的单元，以及这种活动是否可以调节肌肉活动，仍有待确定。本研究调查了感觉运动活动是否能够跟踪感觉序列中的高级结构，包括语音和非语言的听觉/视觉序列，以及它是否反映了时间注意，记录了大脑和外周眼球运动系统。眼球活动由大脑皮层控制，因此可以反应大脑皮层的反应。已知，眼睛活动，包括瞳孔放大、眼睛运动和眨眼，对注意力和认知负荷都很敏感。本研究通过一系列涉及语音、非语音声音序列和视觉序列的实验，发现眼睛活动与感觉序列中的高层结构同步，并受到时间注意的调制。这表明运动/注意网络参与了言语/听觉感知，表明在序列处理过程中，高级结构的节奏可能作为一个同步信号来协调跨大规模皮质网络的神经处理。

2. 结果 ¶

在口语句子条件下，让受试听声音生相互独立，语言上构成更层级结构的单位（短语，句子）的一系列音节，任务是让受试通过按键反应判断一个试次中最后一个句子是否是完整的，即包含主谓。在实验过程中要求受试闭眼，同时记录EEG和EOG。EEG频谱分析结果表现出3个峰值，分别是音节、短语和句子，脑电反应地形图显示出所有三个峰值频率的中心分布。

图1

垂直EOG在频谱中也显示出显著的语音率响应，即使在实验过程中眼睛是闭着的，也不会呈现与语音相关的视觉信息。并且，EOG和EEG对句子节律的追踪的峰值之间相关不显著，？？？表明EOG和EEG捕捉到的是不同的反应成分。

在第二个实验中调查哪项眼球活动追踪了句子节律的反应，如眨眼、扫视或瞳孔大小的变化，通过Eyetracker光学监测眼睛活动，同时记录包括EOG和EEG在内的电生理信号。第一个条件下，受试观看屏幕上随意的点，点的移动与同时呈现的语音无关。眼睛追踪数据显示，眨眼显示出明显的语速波动，而瞳孔大小与语音没有很强的同步性（图2a），眼跳速率也显示出对句子速率的弱反应。表明了在自由观看随机点时，1Hz垂直EOG反应主要反映了眨眼。

图2

图3

第二个条件是在黑暗的房间中看着空白屏幕，第三个条件环境设置与第二个条件相同，但是受试闭眼。在这一条件下，不能记录瞳孔的变化，EEG和EOG也反映出对句子节律的追踪，控制条件下，即音节不能组成短语，句子的条件下，EEG、EOG和眨眼反应都不再观察到句子频率的反应，进一步表明语音中包含的句子是形成EEG、EOG、眨眼反应1Hz峰值的必要条件。

对语音的注意也可能调节着眼睛的活动，为了测试时间注意是否影响眼球活动对句子结构的追踪，设计了第三个实验。要求受试在实验的一种条件下注意每个句子的第一个音节，在另一个条件下注意每个句子的第三个音节，任务是所提示得辅音是否包含在要注意的音节中，两种条件下，受试听到的语音材料完全相同，只是注意的焦点不同。如果反应相位锁定在注意焦点，即注意到的音节，则两个条件之间将存在~180°的相位差异，即注意到四音节句子中的第一个或第三个音节。EOG和EEG的波形表现出有节奏的波动，并受到听者注意力集中的强烈调制，当EOG/EEG反应被过滤到以1Hz为中心的窄频段时，注意力调制尤其明显。两种条件下，EOG和EEG的功率谱都在1Hz和2Hz处显示出频谱峰值。为了量化响应之间的相位差，研究对图3b中的响应波形应用了傅里叶变换，并从傅立叶系数中提取了响应相位（3d）。在1 Hz时，对于EEG、垂直EOG和水平EOG，条件之间的相位差分别为71°(99%/95%置信区间：38-105°/45-96°)、142°(74-234°/94-205°)和172°(59-243°/107-219°）。因此，在1Hz时，EOG和EEG的相位都受到时间注意的调制，但EOG的相位被调制得更强。在2 Hz频率下，脑电、垂直眼电和水平眼电的相位差分别为−10°(−23°~1°/−19°~−1°)、−9°(−54°~62°/−43°~35°)和134°(9~263°/40~241°)。因此，对于EEG和垂直EOG，注意选择性地调制句子节律的神经反应。

图4

图5

实验3表明，眼球活动与句子中注意到的音节是相位锁定的，随之而来的一个问题是：注意时刻的眼动追踪是语音加工的一种特殊现象，还是序列加工的普遍现象？因此另外设计了2个实验以解决这个问题。在实验4中，受试者听一个等时的音调序列，并且必须在内部将每四个音调分组为一个知觉组。受试者在一个条件下注意每个知觉组中的第一个声调，在另一个条件下注意第三个声调。任务是检测所关注的音调是否被调频音调所取代。进一步对比了睁眼和闭眼的条件。

在实验4中，当眼睛睁开时，在垂直EOG、眨眼率和眼跳率的反应谱中观察到显著的1-Hz峰值，当闭上眼睛时，在垂直和水平EOG中观察到显著的1-HZ频谱峰值。在反应波形和1-HZ反应的相位中，都可以看到注意焦点，即注意力是指向第一声还是第三声，强烈地影响着眼睛的反应。当眼睛睁开时，在1 Hz频率下，垂直眼电、水平眼电、眨眼率、跳读率和瞳孔大小的相位差分别为162°(127-194°/114-204°)、53°(−65°-218°/−106°-234°)、159°(115-197°/95-210°)、−141°(−179°-−102°/−186°-−76°)和−106°(−182°-30°/−233°-77°)。闭眼时，垂直眼电和水平眼电的1 Hz相位差分别为167°(77~265°/22~334°)和147°(−52°~278°/−53°~301°)。因此，与实验3类似，在实验4中，眼球活动与四音组同步，其相位受到时间注意的强烈调制。

在声调序列中，可以灵活的定义多少个声调为一个感知组，因此研究又测试了当受试把8个音调归为一组时是否也能得到类似的结果。这个实验称为实验4b，结果观察到了八个声调知觉组的眼动跟踪，其相位也受到注意的调制(图5)。在0.5Hz频率下，眨眼率、跳读率和瞳孔大小的相位差分别为190°(150-252°/133-288°)、172°(142-206°/133-221°)和101°(52-145°/22-70°)。

之前4个实验表明，眼睛与听觉虚列中的高层级结构显示出同步性，而眼睛的活动直接影响视力。实验5呈现了一系列视觉形状，间隔200ms，视觉序列是周期性的，每个周期包含10个形状，在持续时间上对应2S，让被试执行和听觉虚列中类似的任务。受试必须在每段时间内注意第五个形状，一个三角形，或第十个形状，一个圆圈。眼动数据表明，眨眼与视觉序列中的2-S刺激周期是同步的，并且在注意形状期间的眨眼率很低。眼跳率和瞳孔大小也显示出明显的跟踪2-S刺激周期。在0.5 Hz时，两种条件的相位差分别为：眨眼率为183°(173-193°/175-191°)，眼跳频率为162°(120-205°/101-218°)，瞳孔大小为197°(100-343°/53-384°)。

通过分析单个试次序列之前、期间和之后的EOG功率，观察到在刺激期间眼睛活动通常被抑制，EOG功率在刺激开始后逐渐降低，在刺激结束后急剧增加。

实验6测试了当音节之间的SOA值在200到400ms之间浮动时，EOG/EEG反应是否仍然能够跟踪口语句子。结果表明对句子的神经和眼球反应并不局限于等时呈现的音节序列。

3. 讨论 ¶

与听觉实验相比，视觉实验中眨眼频率的刺激同步性变化更强。也有一些实验发现对结构的追踪也反应在眼跳率和瞳孔大小上，但是眼跳率和瞳孔大小的变化可能仍然是由眨眼所驱动的，原因如下：眨眼驱动眼跳和瞳孔大小的明显变化。

已有研究提出低频神经活动是时间注意的指标，自上而下的注意和对声音特征的低频神经跟踪之间存在明显的关系。

瞳孔扩张程度与眼皮睁开程度与注意或者唤醒程度以及处理难度有关，有研究表明，当听语音时，句法越复杂其瞳孔越大。

有研究表明当观看故事视频时，眼球活动追踪故事结构，关键场景中眨眼次数越少。并且视觉中对音节或声调节律的反应要远小于句子节律的反应。

研究认为眼肌活动本身对言语理解没有因果关系，而相关的运动皮质激活则通过某种机制影响言语理解。