文献:Lu, L., Sheng, J., Liu, Z., & Gao, J. H. (2021). Neural representations of imagined speech revealed by frequency-tagged magnetoencephalography responses. NeuroImage, 229, 117724. https://doi.org/10.1016/j.neuroimage.2021.117724
论文原文 ¶
1. 引言 ¶
心理意想是一种准知觉体验,可以在没有外部刺激的情况下被内在地表征出来,言语心理意想的主观体验在人类中无处不在,比如某人在脑海中说话唱歌。之前的fMRI研究表明言语心理意想涉及与听觉感知的颞叶脑区相同的机制,同时也会激活传统听觉皮层之外的脑区,例如与言语产出相关的额下回Broca脑区和与记忆储存和提取相关的颞顶结合部,然而fMRI的时间分辨率低,不足以充分表征意想言语快速神经动力学的内在结构。近来有研究使用时间分辨率高的EEG和MEG来研究内部意想言语,获得了与言语想象和感知之间的共同机制观点一致的神经生理学证据,意想语音还会引起颞上叶和颞顶结合部的高γ活动变化,并与显性语音共享一个语音处理网络(Brumberg et al .,2016)。并且研究表明通过使用表象-感知重复范式,自上而下产生的语音心理表象和自下而上刺激驱动的感知之间存在早期互动(Ylinen et al., 2015 ; Whitford et al., 2017 ; Tian et al., 2018 )。但是如何快速组织和内部构建具有单词、短语和句子等高层级结构的意想言语,本研究旨在探讨意想言语高层级神经表征以及与言语感知的关系。
本研究选用了中国传统诗歌“绝句”包含4个五音节的句子作为实验材料,原因是(1)受试者熟悉中国传统诗歌,能够在没有任何外部线索的情况下,根据他们的记忆迅速产生一首中国诗歌的心理意象,使得在没有外部刺激的情况下对意象的言语进行神经追踪;(2)中国传统诗歌的节奏使其适合以标记的频率捕捉对诗歌音节和句子的周期性神经反应。并假设意想言语(即想象诗中的音节和句子)中节奏结构的神经表征与言语感知中的神经表征具有共同的机制。
2. 实验材料和方法 ¶
2.1 被试 ¶
24名被试,其中14名女性,平均年龄22.7岁,自我报告右利手、无听力损失、无精神障碍。
2.2 刺激 ¶
在Adobe Audition软件生成一个频率为440 Hz 持续时间为50ms的纯音刺激,采样率为16 kHz,一个包含80个纯音的序列以作为参考音,两个纯音开始的间隔为250ms,参考音的时长共20s。
语音刺激为3首中国传统诗歌,分别是“悯农” “静夜思”和“春晓”,每首诗包含20个音节,4个句子。在这里,将一首诗的节奏结构定义为周期性地将音节组合成句子。用人工合成这些语音刺激,每个音节的持续时间调整为250ms,方法是用25ms的cos 平方下降斜坡填充一个静音或删除一个音节的结尾。一首诗的持续时间为5s,重复4次以匹配参考音。
2.3 流程 ¶
实验共包括3个条件,分别是(1)意想条件(2)感知条件(3)控制条件,每种条件包括15个trial,在意想条件和感知条件中每个trial使用一首诗,因此每种条件下每首诗重复3次以组成15个trial。给被试呈现3个条件的顺序采用拉丁方设计排列,每个条件下15个trial的顺序是随机的。
在每个trial开始前屏幕上会显示相应的指导语,在意象条件下的指导语为“请跟着纯音大声想象下面这首诗”,然后屏幕上会呈现目标诗歌,被试准备好之后用右手食指按下反应键,然后屏幕上呈现的诗消失,只呈现一个注视点,在1-1.5s的随机间隔后,一系列纯音作为参考声音双侧呈现给受试者,因此刺激表征的节律也是4Hz,同时被试需要根随参考音在头脑中想象目标诗4次,以产生80个跟随纯音的80个心理构建的音节。并且每5个音节组成一个句子,因此句子的频率被标记为0.8Hz。因此,通过频率标记范式可以在没有显性发音的意想条件下追踪意想语音的内部结构诱发的信号。
在感知条件下,指导语为“请认真听接下来呈现的诗”,并且诗的内容也呈现在屏幕上,句子层级的节律在感知条件下也别标记为0.8Hz,音节的节律为4Hz。在控制条件下,指导语为“请在心里自由数数”,被试在没有严格遵循纯音呈现的情况下,在脑海中计数,直到声音序列结束。控制条件下的自由计数任务旨在保持被试的注意力,并控制纯音呈现引起的4 Hz水平刺激反应。2.4 MEG和MRI收集 ¶
在实验期间用MEG记录被试大脑反应,并用3T磁共振扫描仪上收集被试头部结构的磁共振数据。
3. 结果 ¶
3.1 意象和感知言语诱发的节律性神经反应 ¶
在意想条件下观察到了显著的0.8Hz以及它的谐波(1.6Hz)的谱峰,在感知条件下,不仅在0.8 Hz及其谐波处(1.6Hz),而且在从1.4 Hz到4.4 Hz的其它频率处也有显著的谱峰,交错为0.2 Hz,0.2 Hz的交错谱峰是由在感知条件下在单个trial中试重复呈现同一首诗引起的(?),而在控制条件下仅观察到了4Hz的谱峰。分布显示了在4 Hz刺激水平和0.8 Hz句子水平的双侧反应。4Hz在意想条件和控制条件下都观察到了右侧化的功率反应,但在感知条件下却没有观察到;并且0.8Hz的句子频率在意象和感知条件下都没有发现大脑半球的偏侧化。
用重复测量方差分析比较了各种情况下的频谱反应,可以看出刺激的4Hz水平在条件之间的差异是显著的,事后比较(Bonferroni校正)显示,与感知条件下比意想条件和控制条件下的峰值功率更强,意想条件下的峰值与控制条件下的功率谱峰值无差异。句子的0.8Hz水平在条件之间的差异也是显著的,意想条件下和感知条件下的峰值显著大于控制条件,并且意想条件与感知条件无显著性差异。这表明意想条件和感知条件下都能引起句子频率的神经反应。3.2 标记频率下大脑活动的源估计 ¶
研究采用L1范数源估计方法,发现在意想条件下额下回(IFG)的左侧盖骨和三角形部分以及右侧缘上回(SMG)在0.8 Hz时被显著激活。在感知条件下,双侧颞上回,左侧Heschl回,左侧楔前叶(PrC),右侧缘上回(SMG)和右下顶小叶(IPL)在0.8 Hz时被激活。4 Hz的刺激频率涉及更广泛的脑区,从双侧听觉皮层延伸到分布式皮层网络。
意想条件和感知条件下0.8Hz激活的脑区在右侧缘上回(SMG)重合,而左侧额下回(IFG)只在意想条件下被激活,而其他脑区包括双侧颞叶皮层和右下顶叶,仅涉及感知的而非意象的言语。这些结果表明,对想象和感知言语中句子水平节奏的神经追踪依赖于共同和不同的大脑皮质网络。4. 讨论 ¶
本研究首次提供了意想言语句子的高层级节律的神经动力学证据,需要注意的是一首诗中的句子级节奏不仅是由基于句法或语义的组块(Ding et al. 2016)引起的,而且还与一种在时间上周期性地构造一首诗的押韵方案(Obermeier et al., 2013)有关。押韵方案还会诱发韵律预期,从而调节语音识别中的早期语音处理(Chen et al. 2016)并导致预测性语音分段(Teng et al. 2020)。因此,本研究中捕获的句子级节律神经活动本质上是由基于诗歌内容的音韵、句法和语义细节的多种成分诱发的。本研究的核心发现是能够追踪想象言语中句子水平的节律性神经活动,并进一步定位对这种内部言语结构起反应的神经簇。
研究中发现左下额叶皮质涉及想象言语的表达,与记忆储存和提取以及听觉工作记忆密切相关的右颞顶结合区在想象诗时被句子水平的节奏激活,这可能是由于被试在脑海中试图产生诗时为生成语音序列所做的准备。这一发现与Lu等人(2019)的研究一致,该研究表明,在有节奏的内部计数任务中,左IFG(额下回)和右SMG(缘上回)有助于将数字组织成心理组,这表明这些脑区在自上而下构建想象的言语的诱导机制中发挥着至关重要的作用。并且无论是在想象条件下还是在感知条件下,句子水平的速率都激活了右侧SMG(缘上回),这表明在想象和感知语音中建立高层级结构的共同机制可能源于右侧颞顶结合部,这与先前的发现是互补的,即颞顶结合部是多个高阶脑功能的连接区,包括记忆和语言处理流( Carter & Huettel, 2013 )。
未来可以用视觉提示作参考刺激,以进一步消除声调相关的大脑反应对言语/想象的影响,同时也应该监测发音运动(例如,使用肌电图传感器)以排除肌肉运动对MEG数据造成的污染。