同时进行言语产出与他人言语感知时的神经竞争



文献:Dietziker, J., Staib, M., & Frühholz, S. (2021). Neural competition between concurrent speech production and other speech perception. NeuroImage, 228, 117710. https://doi.org/10.1016/j.neuroimage.2020.117710 论文原文

听觉言语是指理解他人的言语。准确地理解他人的语言需要在大脑区域的分布式网络中进行神经处理。识别听觉语音的第一个重要大脑系统是位于颞上皮层(STC)的听觉皮层(AC)。在AC的神经水平上,一些研究表明,左前STC (aSTC)活动增加有助于理解他人的言语(Evans et al.2014; Scott et al.2000)。特别是当噪音水平降低会导致AC的活动增加。除了aSTC是语音识别的关键皮质节点外,还有研究指出,双侧STC中部(mSTC)和STC后部(pSTC)与他人语音的感知有关(Evanset al.2014; Okada et al.2010; Osnes et al.2011)。 人类不仅会听其他人的语音样本,还会在说话时听自己的语音样本与他人的语音的唯一区别是这些语音样本是由听者自己产生的,包含一些由骨传导引入的声学效应。值得注意的是在自我语音的感知过程中降低噪声水平会导致较低水平的AC活动。对主动言语产生的研究发现,AC的活动减少主要局限于双侧MSTC和PSTC(Behroozmand et al.2015;Christoffels et al.2011,2007),右脑的影响更强(Franken et al.2018)。在主动自我言语过程中,AC中的这种抑制效应可能起源于预期语音和实际语音之间的差异很小,从而没有发声错误发生。因此,这种抑制效应可能有助于发现和纠正发声错误,并将对后续言语产出的干扰降至最低(Hickok,2012)。因此,在主动自我言语过程中对AC活动的抑制效应通常随着自我言语反馈记录过程中噪声水平的降低而增强(Hickok,2012)。 综上,AC中伴随他人语音感知和自我语音产生的神经效应在AC的mSTC和pSTC子区域中重叠(Cheung et al.2016;Evans and Davis, 2015;Rampinini et al.2017),但却引发了相反的信号动态,当识别他人语言的同时产生自我语言时,这可能会导致神经竞争或神经相互作用。这种神经竞争也需要神经解决这种冲突的机制,到目前为止,这种机制还未被探索。

语音感知的神经动力学研究的一条常见路线是使用噪声来降低和掩盖其他人的语音样本。本研究中一个关键的不同之处是在他人言语的感知过程中引入了一个听者内部的噪声源。因为这种“噪音”是由听着产生的,所以它对听者来说更容易预测。因此,与常见的神经分辨和神经相互作用机制相比,听者内部产生的噪声可能会潜在地引起更多的非线性神经效应,既有衰减的性质(给定噪声的可预测性),也有增加的性质(减少对自身言语的神经抑制)。后者可能尤其如此,因为在主动的自我言语中引入某种类型的噪声信号(其他语音)会在一定程度上减弱AC抑制效应,这可能会与AC活动相互作用,从而影响其他言语感知。

在额叶下部皮质(IFC)也经常发现言语感知和自身言语产生的神经活动,因为此区域结构上与AC很紧密(Friederici,2011;Frühholz et al.2015),并且与AC有功能联系(Frühholz & Grandjean,2012;Hickok,2012)。腹侧运动前皮质(VPMC)在感知和产生语言的过程中都是活跃的(Aziz-Zadeh等人,2010;Hickok,2010;Parkinson et al.2012)。在他人言语的感知和自我言语产生都会导致IFC中的活动增加,但两个任务的IFC神经活动在空间上可能是分开的,vPMC中可能有重叠。目前尚不清楚IFC及其子区域如何处理言语感知和言语产生的同时任务,但这一特定情况可能导致重叠额区的联合神经加工增强,或导致某些IFC次区域的每个语音信号的强调。为了研究AC和IFC中同时产生自我言语和他言语知觉的神经元之间的相互作用,本研究探索了语音元音形式的简单语音的产生和感知,集中在三个主要问题上:(A)当同时进行时,简单语音的产生和感知过程在AC中是否相对偏侧化?(B)它们是否在STC的特定次区域重叠、竞争和(非线性)相互作用以争夺神经资源?以及(C)腹侧(前)运动皮质VPMC和IFC在同时自我言语产生(即言语运动规划)和他人言语感知中的额外作用是什么?

28名成年人,右利手,视力正常或矫正到正常,听力正常。

实验目的是调查参与者在产生自我语言(SELF组)的同时识别他人语言(OTHER组)的能力。OTHER和SELF组的语音材料都由元音/a/、/e/、/i/和/o/组成。对于OTHER,由一名男性和一名女性预先录制这些元音的发声,因此有8个不同的录音,这些录音是持续300 ms的24位元音发声,采样率为44.1 kHz,70 dB声压级。 选择元音作为语音材料是因为1,可以很容易地被fMRI环境中的参与者识别出来。2,很容易将OTHER和SELF组的语音材料区分开。3,可以被发音检测器准确识别,并准确地触发OTHER组语音的呈现,并确保两组组之间的语音样本之间有适当的重叠。

主动自我言语任务:被试在听他人语音的同时根据提示产生自我语音,并选出听到的他人所发出的元音(4个按钮)。在同一次测试中他人语音与自我语音不相同。在每次试验中,屏幕上有大写字母(“A”,“E”,“I”或“O”)提示,提示呈现约2秒,参与者发出相应的元音要持续1秒。如果参与者没有按要求发出相应元音则不继续接下来的实验,排除此数据。 发声检测器指示参与者的自我发声,并立即提示他人语音的呈现,确保了在自我发声时总是同时呈现他人语音和自我语音。SELF语音以大约70 dB SPL的音量播放给参与者,并通过滤波器,使低于1khz的频率增加 2db,高于1khz的频率减少2db以模拟骨传导。

SELF和OTHER使用mr兼容耳机(OptoActive IITM ANC耳机)呈现,产生4种不同的刺激条件: 1,左耳同时听到两种声音的条件OLSL, 2,右耳同时听到两种声音ORSR, 3,OLSR–左耳为OTHER, 右耳为SELF, 4,ORSL–左耳为SELF, 右耳OTHER(图1)。

听觉信号引起比同侧更强的对侧AC活动,这种侧化呈现能够研究单侧效应,并解开语言产生和感知机制的神经重叠。

被动自我言语任务(作为基线比较条件):仅被动倾听SELF和OTHER,不主动发声,但在OTHER上包含与实验1中相同的分类任务。实验1中主动条件下的自我录音被回放给参与者,参与者同时听自己的和他人的语音录音。“SELF”和“OTHER”随机组合,两组的元音不相同。参与者的任务是通过使用与实验1中相同的4个按钮来识别他人语音。

本研究使用现有数据库的8秒长的声音片段(Belin等,2000)来识别人类双侧上皮层的声音敏感区域。在参与者听这些语音片段时进行功能性语音定位扫描来确定两个半球沿STC的语音敏感区域(颞语音区TVA;图1 c)。此功能性语音定位扫描显示双侧AC的活动在空间上扩展,覆盖初级AC(TE1.0-1.2)、次级AC(PTE)和高阶AC(峰值位于TE3)(图1c)。使用左侧和右侧AC中TVA的功能定义,将实验1和2中发现的激活模式的讨论限制在位于TVA内部的活动上,以确保只讨论与语音处理相关的AC活动。

每个实验包括4种不同的条件,在这4种不同的条件下对每个参与者的反应时间和其他识别的准确性水平进行了量化。每个受试者的RTS和准确度水平接受随机效应组分析,采用2×2重复测量ANOVA,包括前面提到的受试者内因素。

在实验1中,在2×2条件下在反应时上没有差异 (F1,27<2.321, p>0.139;n = 28) 且没有交互作用(F1,27=0.956, p = 0.337, n = 28),在准确度水平上没有差异l (F1,27<0.460, p>0.503,n = 28)但有交互作用 (F1,27=6.354, p = 0.018,n = 28)。与OLSL相比,OLSR的实验表现有显著的改善(p=0.019),即向左耳展示他人的语音比向左耳同时展示自我与他人语音能更好地分类来自左耳的他人语音(图1b)。

图1

对主要实验的AC活动的分析仅限于语音敏感区域(VA)内的激活。在实验1中,首先根据实验条件确定了SELF和OTHER单侧刺激的神经效应(左耳[OLSL>ORSR],右耳[ORSR>OLSL])。考虑到展示的两个语音样本都是同侧的,研究发现每次对比的对侧活动主要在次级AC (PTe)。在整个对侧和对称的激活模式中,有一个激活峰突出,如[OLSL>ORSR],当将两个语音样本呈现给左耳时,研究发现同侧左侧AST中有额外的激活峰(图1D)。 将SELF和OTHER分别呈现在不同的耳朵和大脑半球,比较两种情况,以评估自我抑制和其他积极皮层效应的潜在偏侧化神经指征。结果显示SELF和OTHER都引起了相似水平的神经激活,而SELF没有明显的抑制作用。 将两个语音样本同时呈现给左耳(OLSL)或右耳(ORSR)所产生的功能活动,与将两个语音样本分别呈现双耳(ORSL或OLSR)进行比较。 量化两种类型的激活模式:1,减少的活动:如将两个语音样本向左耳的呈现与只向左耳呈现SELF进行比较,前者较之后者有显著的对侧活动(OLSL>ORSL),应该是左耳OTHER的缺失所导致的,这一活动称为“减少的活动”,用∗标记了"减少的活动"的原因条件(OTHER*)(图2A)。

图2

2,增加的活动:如将两个语音样本向左耳的呈现与只向左耳呈现OTHER进行比较,后者较之前者有显著的对侧活动(OLSR>OLSL),应该是右耳OTHER所导致的,将其标记为加号(SELF+)(图2B)。对于后者的活性增加,我们发现在次级AC(PTE)中,SELF+(基于[OLSR>OLSL]和[ORSL>ORSR])和OTHER+(基于[ORSL>OLSL]和[OLSR>ORSR])的活动一致对称地增加,而对于对照[ORSL>OLSL]和[OLSR>ORSR],PSTG中对于OTHER+的活动是额外的。 当所有语音样本被呈现在左耳并主要在右AC区处理时,与OLSL条件相比,激活减少且相当不对称。在右侧AC中,OTHER∗([OLSL>ORSL])位于右侧MSTC和ASTC,SELF∗([OLSL>OLSR])位于右侧PTE。此外,左侧ASTC对SELF∗的活动([OLSL>ORSL])类似于刺激单侧OLSL的活动(图1D)。

实验2: 在反应时(F1,27<2.817,p>0.105,n=28)和准确性水平(F1,27<2.832,p>0.104,n=28)方面没有差异(图1B)。 在神经活动方面,单侧刺激([OLSL>ORSR]和[ORSR>OLSL])的比较显示,结果与实验1在PTE中相似,但遗漏了左侧ASTS对SELF∗的激活(图2a)。比较单侧和双侧条件下,活动只增加而没有减少(图3)。与实验1中的PTE激活不同,活动增加主要位于同侧AC(单侧联合耳刺激的同侧),但也有部分位于对侧高水平AC,范围从mSTC到PSTC(图3B-C)。

图3

在实验2中,只发现双侧额叶皮质(vPMC,IFC)的活动增加,但没有偏侧到左脑或右脑。 与额叶激活不同,除左侧mSTC激活(t27=1.681,p=0.176)外,在实验2中,所有AC激活均显著偏侧于其报告的大脑半球(n=28,t27=2.662-9.287,p=1.830×10−8-0.023)。

在他人语言的行为分类表现方面,研究发现四种情况下的反应时间表现相似。条件OLSL(与条件OLSR相比)在较低的性能准确性方面未达最佳。这种较低的性能准确性可能是由于在OLSL期间,两种语音信号主要呈现给非主导的右半球(Price, 2012),但是当在OLSR中将自我语音交换到右耳时,这个问题得到改善。OLSR表现出更好的性能(与OLSL相比)的发现与其他语音识别中右耳优势的一般观察相矛盾(Lazard等人,2012),可能是在解码其他语音的同时产生自我语音的过程中,OLSR条件导致两个任务之间的干扰最小,因此左交流可以准确地监测自我语音的产生(Christoffels et al., 2007;Hickok, 2012),而其他语音识别是由相关的右脑语音解码机制执行的(Abrams等人,2008;邢等人,2016)。 比较四种实验条件时引发的大脑活动:对侧半球大部分对称的活动主要集中在PTe上。该区域应该代表整合声学特征以进行进一步处理的次级AC (Griffiths和Warren, 2002)。这个PTe可能在听觉处理的早期阶段代表和分离两个语音样本。 对称PTe效应的一个例外是OLSL条件下左aSTC的活动。这一不对称的发现表明,当呈现在左耳而不是右耳时,自我和其他语音处理会产生特定的相互作用,并伴随着被认为是其他语音识别中心的神经活动(Evans等人,2014;Scott et al., 2000)。 比较两种刺激条件(OLSR和ORSL)下对自我语音的神经抑制效应和对其他语音的神经增强效应:使用这些单边条件确保在左AC或右AC中直接比较各自的条件(自身语音、其他语音)。如果AC会以相反的信号动态响应自己和其他语音样本,则在这些条件的比较中应该最大化这种信号差异。但这些比较都没有导致显著的神经激活,因此,本研究的数据表明,对于自我言语的对侧被抑制的皮层效应与普通的其他言语加工的神经活动水平相似,或其他言语的同侧影响导致对侧的自我言语抑制效应的最小化或调制。在AC中通常观察到的对自我言语的神经抑制效应似乎只有在纯自我言语的条件下才能观察到(Hickok,2012),但当引入额外的听和任务条件时,这种效应被调节了。在同时的自我言语中呈现其他言语可能被认为是一种具有挑战性的噪声条件,而自我言语抑制效应随着外部噪声的增加而减弱。(Christoffels等人,2007)。

激活减少的神经模式是相当不对称的,而且在实验1中非常特异。在右侧的mSTC和ASTC中发现了其他语音处理的单独峰值,在右侧的PTE和左侧的ASTC中发现了自我语音处理的单独峰值。这表明自我的语音信号与其他语音处理之间的潜在交互效应。当相互比较双边条件时(即两个语音样本被呈现给不同的耳朵时)没有发现这些峰值,这一事实也突显了两个语音信号之间的交互效应。在左侧ASTC中发现的活动与在比较单侧条件时发现的左侧ASTC中的活动相似,这也揭示了左侧ASTC的不对称效应。单侧和双侧条件之间更具体的比较指出,导致这种活动减少的是右耳自身语音样本缺失的影响(即SELF∗)。因此将这个区域标记为主要负责解码自己的语音信号。对于其他语音加工(Evans等人,2014;Scott等人,2000),左侧ASTC通常被发现是声音意义分析的腹侧加工流的一部分(Rauscheck ker和Scott,2009)。

实验1和2中发现的神经激活情况如图4所示。

图4

本研究的数据显示了几个重要的发现: 左交流区在记录他人和说话者自己发出的语音信号方面具有更广泛的功能作用。 与正常语音处理中占主导地位的左侧偏侧相比,其他语音处理似乎在右侧交流中招募了额外的神经资源。 双侧额叶语音处理区域,如IFC和vPM,只有当个体需要在同时呈现的回放语音样本中区分他人和自己的语音时才会活跃。 综上,这些结果表明,对于其他语音感知,大脑组织更加灵活,神经资源的适应性分布更强。