人类感觉运动回路中语音序列的转换

文献：Müsch, K., Himberger, K., Tan, K. M., Valiante, T. A., & Honey, C. J. (2020). Transformation of speech sequences in human sensorimotor circuits. Proceedings of the National Academy of Sciences, 117(6), 3203–3213. https://doi.org/10.1073/pnas.1910939117 论文原文

言语理解包括在颞叶、额叶和顶叶皮层的广泛回路中的语音、句法和语义处理。言语短期记忆的具体功能依赖于与语言感知和产生有关的核心区域:后颞皮质、运动区和前运动区以及额下回。

在口头短期记忆方面，什么样的神经过程支持讲话的回放?较合理的假设：心理重放源于神经重放，即当人们在脑海中重放一系列单词时，与最初的听觉，知觉相同的神经群可能会被激活。这与常见的观察结果相一致，或者说，知觉输入的复杂序列的“再激活”可在这些序列的生动图像中观察到。 但还有另一种假设：当人们默念一系列单词时，所使用的表征与原始听觉感知中的表征不同。一项颅内成像研究发现，在感知和产生相同音节时，腹侧感觉运动回路以不同的活动模式做出反应。当假词(如“pob”)被记住并大声说出时，双侧皮层回路似乎在感觉和运动表征之间“转换”。因此猜想：在心理上默读整个句子可能是由在感觉和运动表征之间转换的电路所支持的。

作者首先要确定哪些表征是共享的，哪些表征在感知和默读自然语言的数秒过程中发生了变化。这里使用皮质电描技术ECoG来测量在感知和默读5到11个单词的自然口语句子时，人脑外侧表面的时间分辨的神经活动。作者也操纵了语音的语义连贯性，连贯的单词序列比不连贯的更容易回忆。这里又产生了另一种猜测，即语义敏感的大脑区域更可能在感知和默读中表现出活动的重新激活。

被试：16名（11名女性），接受了难治性癫痫的评估 参与者被要求记忆和重复句子(图1 A-D)。

图1

每个试验包含三个阶段:感知、默读和发声(图1A)。在感知阶段，参与者听了一组句子（S1和S2)。在默读阶段，要求参与者默读S2。参与者要默念一次，一字不差，不带口型。最后，在发声阶段，参与者要以他们听到的速度一字不差地说出这段话。屏幕上的视觉符号提示参与者进入每个阶段。 关于句子组：四句话组成了一个“刺激组”，其中两句话作为S1，两句作为S2。在每一次实验中，语义上下文和连贯都是不同的：在一半的试验中，S2在语义上是连贯的，是S1的自然语义延伸。在另一半试验中，S2在语义上是不连贯的，与S1没有明显的语义关系。在连贯和不连贯的实验中，参与者都只默读一次S2，然后逐字重复S2。S2的含义取决于S1中呈现的语境。S1的最后一句话在两种情况（连贯与不连贯）下都是相同的。将所有16名受试者的电极组合放置在大脑的外侧和内侧表面。

本研究测量了16名参与者在执行句子重复任务时的神经反应，参与者在复述中能准确地再现连贯和不连贯的句子，连贯句子的回忆略好于不连贯句子。

为了描述句子感知和默读过程中的神经活动，作者关注硬膜下ECoG电极测量的局部电场宽带功率(70 ~ 200 Hz)的变化。因为该频段的振幅变化是对群体放电的可靠估计，对大部分外侧皮层的视听刺激提供可靠的反应，并且对语音感知和产出敏感。收集参与者的数据，结果发现左、右半脑皮层表面密集覆盖，只有枕叶皮层除外(图1E)。

为了量化总体激活，作者将每个任务阶段的宽带功率响应与试验前基线进行对比，并确定了在每个阶段表现出持续激活的电极(横向视图，图2)

图2

对于S1，左、右颞上回、颞中回、背侧运动皮层和前运动皮层以及左额下回和额前皮层的宽频功率高于基线。当参与者听S2并默读，激活的模式相似，但有一个明显的区别:在颞下、顶叶和额背区域的广泛电极上持续存在低于基线的活动“环”。这种低于基线的活动环在左半球最为明显，且在S1中没有观察到，这表明它与参与者为S2默读做准备时的主动注意有关。默读产生了不同于感知阶段的激活模式:只在左侧运动皮层和前运动皮层附近，以及极少双侧额叶外侧和额叶下端电极和左侧后颞叶部位，宽带活动持续在基线以上。分布在额叶、颞叶和顶叶皮层的电极的活动降低到基线以下。 为了在区域水平上可视化时间分辨的激活模式，研究人员将电极分组为9个解剖学定义的兴趣脑区ROI(图2 F)。ROI的平均时间过程反映了图2E中的整体激活模式。虽然在句子感知期间观察到高于基线的反应，但在默读期间，所有roi的平均宽带功率都低于基线(图2F)。

在感知和默读句子时，若神经回路表现出增加的活动，则该区域可能支持该句子的短期记忆。在被试中，运动和前运动部位始终参与感知和默读任务。为排除感知和默读激活发生在不同参与者中的可能性，研究人员测量了被试在两个任务阶段均高于或低于基线的静态活跃位点的连接(共149个位点)。分析证实，在两个任务阶段中，几乎所有高于基线的活跃位点(20个位点中的17个)都集中在左半球的感觉运动和前运动皮层周围(图2G，红色电极)。除了运动皮层，作者还观察到左侧后颞上皮层、，右侧中颞上回和右侧额下回的一个电极的持续激活。在S2期间激活、默读期间失活的部位(36个绿色电极)集中在颞上皮层和颞中皮层周围。在两个任务阶段中失活的部位(92个蓝色电极)主要分布在颞叶和运动皮层周围(见图2E中S2期间失活的部位)。最后，左额叶皮层有一区域在默读时激活，但在感知时失活。 综上:感觉运动区和前运动区感知和默读阶段的持续激活，但其周围颞叶和顶叶区域的默读活动普遍受到抑制。

研究者评估了与句子感知和默读有关的哪些区域编码了特定句子的信息。一个区域可能会由于一般的任务需求而增加或减少其活动，而不是对所听到的特定句子进行编码。平均激活图(图2E)强调了存在持续激活变化的区域，而不考虑每个电极响应的时间剖面。研究者测试了每个区域的激活时间线是否具有句子特异性。为此，这里应用了一种测量区域级响应可靠性的技术(图3A)来量化9个解剖ROI的句子特异性响应。在每个ROI中，对于连贯和不连贯的句子，使用刺激的子样本来估计一组电极权重(即空间滤波)，使刺激重复响应的稳定性最大化(图3A)。然后，为了获得对每个ROI的时间线中包含多少句子特异性信息的无偏估计，研究者测量了同一任务阶段，但不同(样本外)的句子及其重复中加权响应的稳定性(图3B)。

图3

左半球的运动皮层对连贯和不连贯的句子都表现出最稳定的、针对句子的反应(图3C)。在S1的听觉呈现过程中(无需默读)，观察到左侧STG和MTG以及左侧vSMC的句子特异性反应时间过程。在S2(默读目标句)的呈现过程中，在左侧dSMC和左侧dPMC中分别观察到句子特异性信息。这些效应在连贯句和非连贯句中都有观察到。 在默读过程中，研究者观察到左感觉运动皮层中弱稳定的句子特异性反应（图3)。左dSMC的效果仅对连贯句(、ρ = 0.20, P = 0.019)具有统计学意义，但对不连贯句(ρ = 0.19, P = 0.054)也有类似效果。同样，左vSMC的影响仅对连贯句子具有统计学意义(ρ = 0.19, P = 0.033)，但对不连贯句子具有相似的影响(ρ = 0.15, P = 0.072)。尽管在这些位置的可靠性比在知觉阶段观察到的要弱，但它足够强大，可以在连贯和不连贯的独立句子组中复制。 在大声复述过程中，研究者在左vSMC和dPMC中观察到稳定的句子特异性反应。

先前的分析显示，特定句子的神经活动在颞叶、感觉运动皮层和前运动皮层最为活跃——但特定句子的活动是特定于每个刺激中的个别时刻的吗?对此作者比较了感知S2和默读期间的所有单独时间点上的句子特定活动。使用交叉验证过程中重合的每个ROI的优化权重，研究者计算了在刺激的第一次呈现中，特定时刻的活动水平的相关性，并将其与句子刺激的第二次呈现中的所有可能的时间点进行比较。时间相关分析产生二维时间-时间相关矩阵(图4)，矩阵的对角线显示了匹配时间点的相关性。

图4

在左半球，研究人员观察到三种句子特异性反应模式，具有不同程度的时间特异性(图4 C和D）

图5

一：STG和MTG仅在时间-时间对角线上表现出句子锁定活动，且仅在句子感知期间。 二：在TPC中观察到，句子特异性反应在时间上扩散，并在感知和默读阶段都出现在对角线上和非对角线上。还有迹象表明，可靠的活动模式在感知和沉默排练之间是共享的:S2阶段的信号与默读阶段的信号广泛相关(4D)。 三：在运动区和前运动区(vSMC, dSMC和dPMC)，观察到时间编码模式，表明从感知S2到默读的表征转换(图4c和D)。在感知S2期间，感觉运动回路表现出明显的时间锁定的句子特定活动(即沿对角线的相关性升高)。在默读期间，感觉运动回路中的特定句子活动在时间上更分散，没有锁定到句子中的特定时刻(相位内对角线上的值不高于相位内对角线上的值)。在感知和默读阶段，运动区域和前运动区域的句子特异性活动是不同的:感知期间的稳定活动与默读期间三个区域中的任何一个区域的刺激锁定活动都不相关(图4D, vSMC, dSMC和dPMC，交叉阶段)。这种结果并非默读过程中知觉活动的简单镜像。没有证据表明时间锁定的感知活动在默读中重播。

额叶和顶叶这些区域是否编码了高级语法或语义特征?有模型表明更高层次的句子特征(语义和语法)被存储为主要的短期记忆痕迹，在句子回忆时用于重新生成信息模式。研究者测试了每个ROI中的共有的句子特异性表征是否对刺激的高级语义敏感，分三步进行： 首先，研究人员分析证实了：在感知和默读过程中，前额叶和顶叶共有的电极对句子特异性信息进行编码。其次，测量了默读期间每个区域的句子特异性活动，在由S1生成的两种不同语义的语境是否相同。发现当参与者默读S2时，只有aPFC对S1提供的上下文信息敏感(q < 0.05，图5B)。但对于不连贯句子，其活动模式是相似的(图5B)。在所有其他roi中，句子特异性活动不受S1语境信息的影响(图5B)。这表明在默读过程中编码句子特异性信息的区域(即运动区域和前运动区域)并不代表高级句子语境。相反，每个句子的高级语义内容只影响了aPFC的时间扩散表征。最后，证实了在前额叶和颞叶皮层的感知和默读阶段产生了相同的时空模式。

图6

本研究数据表明，感觉运动和运动前皮层支持口头短期记忆的主要模型提出的听觉-运动接合。在SMC和PMC中，研究者观察到在感知和演练及演练活动中广泛的联合激活，这预测了后来句子复述的准确性。与听觉-运动接合并行的是，更多抽象的句子特征在前额叶和颞顶回路中保持。为了更好地理解高级语义特征如何约束和促进人们的内在言语，未来的工作应该研究默读时感觉运动回路与额叶和颞顶叶皮层之间的相互作用。