了解人类大脑皮层和海马区的层次序列表征

文献：Henin, S., Turk-Browne, N. B., Friedman, D., Liu, A., Dugan, P., Flinker, A., … & Melloni, L. (2021). Learning hierarchical sequence representations across human cortex and hippocampus. Science advances, 7(8), eabc4530. https://doi.org/10.1126/sciadv.abc4530

摘要 ¶

感觉输入以连续的序列方式，人类将其作为分割的单元来体验，例如，单词和事件。大脑发现规律性的能力被称为统计学习。结构可以在多个层次上表征，包括转移概率、序数位置和单元的同一性。为了研究大脑皮层和海马体中的序列编码，在人类受试者暴露于包含时间规律的听觉和视觉序列时，从颅内电极进行记录。发现在几分钟内对规律性的神经追踪，具有横跨大脑区域的特征轮廓。早期处理追踪低级特征(例如音节)和已学单元(例如单词)，而后期处理只追踪已学单元。了解快速成形的神经表征，具有从编码过渡概率的早期大脑区域到相关区域和编码顺序位置和单位识别的和海马体的复杂性梯度。这些发现表明，在分层组织的皮质-海马回路中，存在多个用于序列学习的并行计算系统。

1. 引言 ¶

我们从世界中接受连续不断的输入，并以可消化的方式体验它。例如在语言领域中获取和使用需要从通常没有清晰的声学边界和语言元素之间的停顿的连续语流中提取有意义的序列，如单词、短语和句子。这种细分能力是偶然和毫不费力地出现的，并被认为是人类发展进化的核心构建。幼儿可以学习音节或形状之间的过渡概率(TPs )，以在最小程度的暴露后提取嵌入的规则。其中一项开创性研究表明，8个月大的婴儿在短暂接触一种人工语言的连续序列后分割单词，其中音节之间的TPs指示单词边界。自从这一发现以来，类似的能力已经在成人身上得到证明，他们也依赖于TPs和其他统计特性。这种行为被称为“统计学习”(SL)，发生在许多不同的感官形态、任务甚至物种中。SL代表了一种基本行为，然而支持这种认知功能的大脑机制却知之甚少。大脑区域如海马和额下回(IFG)与视觉和听觉SL有关。由于以前的研究集中在SL后大脑如何变化，这些大脑区域在获得统计规律过程中的作用在很大程度上仍未被探索。关于这些习得的规律代表了什么信息，以及这些大脑区域的序列编码是相似的还是互补的，知道的就更少了。在SL过程中提取的规律性从简单到复杂，包括相邻元素之间的TPs(即，给定局部上下文的不确定性)，序列中的序数位置（即，元素是否取第一、第二、第三等位置）以及识别学习单元（例如特定的高阶组块，单词）。在感觉模式中观察到SL的事实提出了一个问题，即规则的提取和表征是否由相同的大脑区域和算法支持。

为了探讨个问题，本研究记录了23名癫痫患者在SL任务中的颅内记录(皮层脑电图(ECoG))。使用神经频率标记(neural frequency tagging ,NFT)以识别在不同时间尺度(例如，音节和单词)上SL刺激反应的潜在规律性的记录部位。NFT充分利用了大脑皮层活动跟踪语言结构层级节奏的事实，从而允许对特定频率的语言活动进行“标记”。结合ECoG和NFT，我们描述了神经反应的位置和时间调整。在识别出反应位点后，使用代表性相似性分析(RSA)来确定时间规律性的哪一个方面被表征，例如TPs、序数位置和同一性。最后，联系神经回路、在线动态和听觉、视觉模式中的SL表征变化。

发现SL在听觉和视觉两种形式中都发生得很快，在这两种模式中，部分重叠的神经回路编码统计单位(例如，单词和分形对)及其组成感觉元素(例如，音节和图像)。这种学习得到了神经表征的相似性空间的快速变化的支持，其结构在多个水平上编码:(i) TPs，具有按概率强度分组的元素；(ii)序数位置，元素按序列顺序分组；以及(iii)统一性，其中元素由它们所嵌入的单元分组。听觉和视觉元素经历了相似的SL相关表征变化，但涉及的脑区仅部分重叠。这些结果对人类基本学习能力的机制提供了见解，揭示了皮层区域如何对世界结构做出反应。也强调了NFT是一个研究学前婴儿和其他非语言患者群体附带学习的通用工具。

2. 材料和方法 ¶

用MacTalk合成十二个辅音-元音音节，音节长度相等，韵律使用Praat变平，用MATLAB将单个音节连接起来，创建两个序列：结构化序列和随机序列。在结构化序列中，操纵音节之间的TPs，使得四个隐藏单词(每词包含三个音节)被嵌入序列中。从而产生连续的人工语言流，其基本音节呈现速率为4 Hz，单词速率为1.33 Hz。在随机序列中，跨音节的TPs是相同的(例如，P = 1/11个音节)。每个序列持续大约2分钟(540个音节)，呈现五次。为了避免在音流的开始和结束处潜在的单词提示，分别音频流的第一个和最后一个音量在1.5秒内上升和下降。没有告知受试者结构，为了确保任务的一致性，要求受试执行一项覆盖任务，即要求他们指出随机嵌入听觉流中的音节重复。十六个音节重复被随机嵌入到每个表征组的序列中。

一旦两个音频流(随机的和结构化的)都播放给受试，会告知受试其中一个音频流包含一个隐藏的结构，其中包含四个“单词”。一个“单词”被定义为一个在语流中重复出现的三音节无意义单词。然后，受试者执行一项2AFC任务，他们听两个音频片段，一个接一个地呈现，并要求选择包含隐藏单词的一个。16个试次，呈现内容包含所有可能单词和部分单词的组合，第一和第二音频片段中的单词呈现顺序在试验中平衡，因为对单个音节的暴露是相等的，所以对真实单词的偏好超过对部分单词的偏好表明了SL的发生。

视觉SL任务的程序与听觉SL任务相同；然而，在这项任务中，序列是由八个分形组成的(四组两个分形对，双重)。分形取自A. C. Schapiro, L. V. Kustner, N. B. 和Turk-Browne2012年研究中使用的。分形之间刺激开始的不同步性设置为375，每个分形呈现233毫秒，间隔150毫秒。在结构化序列中，操纵分形之间的TPs，使得四个隐藏的分形对(每个两个分形)被嵌入序列中，导致分形的连续流具有2.6 Hz的呈现速率和1.3 Hz的分形对速率。在随机序列中，所有可能的分形之间具有固定的TPs。每个序列大约持续2min。与听觉任务一样，不告知被试序列中潜在的结构。为了确保任务的一致性，要求受试执行一个掩护任务，在这个任务中，当一个分形重复时，他们用键盘指示。每个序列块中随机嵌入16个分形重复。在受试接触两种流(随机的和结构化的)后，实验者向他们透露，一种流包含四对分形，形成了一个重复流。然后，被试完成了16个双选项强迫选择测试试验，在这些试验中，他们从暴露阶段与由跨越配对边界的一对分形组成的衬托相比，判断一对二联体的相对熟悉度(例如，分形1至2对4至6)。

ECoG记录从在纽约大学Langone医学中心的综合癫痫中心接受临床激发的侵入性监测的总共23名耐药性局灶性癫痫患者(13名女性，平均年龄35岁，范围16至59岁，21名右利手)获得。11名受试者只参加了听觉SL，6名受试者只参加了视觉SL，还有6名受试者同时参加了听觉和视觉SL任务。大脑活动记录了3689个(平均每个受试者120±30个)颅内植入的埋在硅橡胶薄片中的硬膜下铂铱电极。宏电极布置成网格阵列(8 × 8个触点，10或5mm的中心到中心间距)、线性条带(1 × 8/12个触点)、或深度电极(1 × 8/12个触点)、或它们的某种组合。硬膜下电极覆盖了左和/或右半球的外侧和内侧额叶、顶叶、枕叶和颞叶皮质的大部分。使用NicoletOne C64临床放大器从网格、条形和深度电极阵列获取记录，从0.16到250 Hz进行带通滤波，并在512 Hz进行数字化。颅内EEG信号参照面向开颅部位附近颅骨的双触点硬膜下带。数据随后被下采样至250 Hz，并应用60Hz陷波滤波器来消除任何线路噪声伪像。目视检查所有电极；从随后的分析中移除了具有过多噪声伪影的那些(移除了3689个电极中的185个)。

对每个患者进行术前和术后T1加权磁共振成像，并根据共同记录的磁共振成像确定电极相对于皮质表面的位置，将共同配准的skullstripped T1图像非线性地配准到MNI-152模板，然后使用共同配准的图像在蒙特利尔神经研究所(MNI)空间中提取电极位置(投影到表面)。使用free surfer(http://surfer . NMR . mgh . Harvard . edu)计算每个患者大脑的三维重建。在所有的图中，电极位置被投射到MNI-152模板大脑的左半球，除非另有说明。

通过计算所有五次暴露试验中每个参与者的d’分数来评估在线附带任务中的表现。当附带任务被嵌入连续的听觉或视觉刺激流中时，如果参与者在重复出现的250到1500毫秒内做出键盘反应，则音节或图像重复的检测被认为是准确的(“击中”)。通过单样本t检验评估d’得分的显著性，通过配对t检验评估不同条件下(结构化与随机)d’得分的比较。

这项研究的主要假设是SL可以通过标记在基本单位频率下节律同步化的电极来识别例如，单词率和配对率。因此，使用相位相干分析作为一种手段来识别(“标记”)在1.33 Hz的基本单位频率下表现出显著相位相干的电极。对于每个实验，来自序列(结构化或随机)的所有五个block的原始信号(FPs)被连接，然后被整形为10个词的片段(10个词× 90个试次×电极)，并通过快速傅立叶变换转换到频域。在90个试次中，计算每个电极的相位相干性，R 2 = （∑ N cos ∅ ）2 + （∑ N sin ∅） 2。通过将相干响应的幅度与1000个相位混洗替代数据集进行比较来确定每个感兴趣频率(例如1.33和4 Hz)下的响应的显著性，然后使用BenjaminiHochberg程序对每个受试者的所有电极进行错误发现率(FDR)校正。使用这种技术，在所有受试者的所有电极中识别出在1.33 Hz(电极选择标准，FDR校正后P < 0.05)表现出显著峰值的FP反应。从这组电极中，识别出两个响应子集:在单位+刺激(例如，单词+ syll和对+分形)下表现出显著峰值的电极，以及在基本单位速率下仅在相位相干谱中表现出显著峰值的电极(例如，仅单词和仅对)。对HGB信号的包络进行相同的分析，使用八个半对数间隔的恒定Q Morlet小波滤波器(中心频率在70和150 Hz之间)提取，随后跨频带平均，并取平均响应的希尔伯特变换的绝对值，识别一组HGB响应电极用于进一步分析。因为ECoG记录不能在受试者之间平均，汇集了所有受试者中识别的FP和HGB反应电极。然后使用随机重采样技术控制单个电极的影响。

被NFT识别为有反应的电极被标绘在使用MNI坐标的标准大脑上。基于Desikan-Killiany皮质图谱(图S4和S12)，分析了每个感兴趣区域(ROI)的每个受试者和每个场类型(FP和HGB)的响应电极的数量。为了更好地了解大脑的哪些区域显示了这些词率和对率响应，将电极分组到六个主要ROI中，并分析了在给定ROI中发现有响应的电极的比例。然后，比较了各感兴趣区域的这些比例，并计算了给定感兴趣区域比其他感兴趣区域贡献更多响应电极的比值比(图S4和S12)。这提供了一个在任务中大脑区域活跃程度的估计。

对于在所有block中确定的高阶速率(即，字速率或对速率，1.33 Hz)下具有显著相位相干性的所有响应电极，计算响应潜伏期。为了识别每个电极表现出初始显著响应的时间点(例如，到第一次显著响应的时间)，通过顺序添加试验(每次试验10个字)并使用瑞利测试在1.33 Hz下评估相位一致性来计算相位相干性。对于每个电极，估计每个电极达到显著性(在所有测试电极上进行FDR校正)的时间点(以字数表示，例如试验次数)(参见图S5B和S13B)。此外，对所有响应电极的P值进行平均，并在不同任务条件下进行比较(结构化与随机)，以评估不同条件下相位相干性的差异。

为了评估对每个标记(音节和分形)的神经响应的相似性，在所有响应电极(FP响应+ HGB响应)上进行多元空间模式分析。首先，通过跨所有标记和试验计算的噪声协方差矩阵来“白化”所有单个试验，并且从每个trial中减去跨所有标记的平均反应(例如，非特异性反应)。接下来，在电极子类型(例如，单词+ syll或仅单词)内的所有响应电极(例如，样本×显著电极)上对数据进行矢量化，并且计算每对记号之间的空间模式向量的相异度。使用记号之间的交叉验证的相关距离(例如，音节“tu”对“pi”)和使用五重交叉验证来评估相异度。对标记(例如，试验)的所有神经反应被分成五个折叠，使用一个折叠中20%的数据作为验证集。对于每个折叠，计算交叉验证的相关距离，其中一个分区(训练集)的模式向量被投影到独立数据集验证集的模式向量上。对所得到的代表性相异矩阵进行主成分分析，并且绘制前两个维度以产生所有对之间相异分数的二维可视化（图2）。随后，使用特征编码的假设模型，通过比较类别内与类别间的相似性来估计表征空间的量化（即，标记之间神经反应的相似性）。

为了量化反应能够捕获学习的流的特征的程度，即TP、序数位置和/或同一性，我们计算了同一类别中的项目和属于所讨论的另一类别的项目之间的相似性差异(皮尔逊相关性)。为了控制驱动相似性的任何一个电极的影响，通过按类型(例如，FP和仅单词)随机采样响应电极并为每次重采样计算所有记号(例如，音节或分形)之间的相似性矩阵来计算该估计。这个重采样过程重复200次(替换)，并且使用Wilcoxon秩和检验(双侧)将同一类别(类别内)内所有元素的平均Fisher变换相关性与跨越相反类别(类别间)的所有项目进行比较。例如，在评估每个单词具有三个标记的顺序位置编码(即，听觉任务)时，将同一类别内的标记对之间的相似性(例如，所有第一位置比较、所有第二位置比较和所有第三位置比较)与该类别之间交叉的标记对的相似性(第一位置对第二位置、第一位置对第三位置等)进行比较)。为了评估TP编码，将具有相同低TP的所有标记对(类别内所有第一位置比较)与具有高TP的所有标记对(类别间所有第二位置比较+所有第二位置-第三位置比较)进行比较。对于统一性编码，将同一单词(类别内)内的标记对之间的相似性与跨越不同单词(类别间)的所有标记之间的相似性进行比较，排除所有序数位置比较(所有第一位置比较、所有第二位置比较等)。

3. 结果 ¶

在潜在三联体结构序列和随机音节序列中，受试覆盖任务的准确率无显著差异。表明被试注意力完全在两个序列上。但是，对结构化音节流中重复音节的反应时间明显快于随机音节流。表明潜在的结构的学习易化了任务。

在告知受试其中一个音节流中包含潜在的结构，并要求使用隐藏单词和部分单词之间的二选一强制选择(2AFC)任务来评估结构化流中隐藏单词的识别。部分词由之前显示的音节序列组成，但它跨越单词，因此总体TPs较低。在所有受试者中，对隐藏单词的离线外显识别没有超过随机(50%)表现。

让健康受试再次执行了相同的实验流程，对重复音节的监测结果和以上结果相同，即在结构化音节流中的反应时间更快，而隐藏单词识别任务中健康受试群体的表现要显著高于随机水平。

从17名参与者的1898个颅内电极获得了直接的神经生理信号，全面覆盖了额叶、顶叶、枕叶和颞叶以及两个半球的海马。利用NFT来评估神经活动的时间动态，以搜寻以学习规则的速率做出反应的皮层区域。先前已经使用非侵入性技术，即脑电图(EEG)和脑磁图(MEG ),证明了NFT对追踪SL的敏感性。因此能够明确地分辨出表现出对所学规律的选择性时间调谐的皮层区域。具体来说，NFT用来追踪流的两个层次上的分段单元的表征。研究期望在结构化和随机流中以音节频率(4 Hz)同步化。预计在暴露于结构化但非随机的音节流期间，应该出现词级频率(对应于三联体边界或1.33 Hz)的节律同步，这与结构化流的分段一致。首先分别评估了结构化流和随机流中的场电位(FP)和高伽马频段(HGB)包络的电极内相位相干性。与假设一致，电极在结构化和随机流的相位相干谱中以音节速率(即，4 Hz)显示出显著的峰值。此外，结构化音节流在单词速率（1.33Hz）处也有一个显著的峰值。还观察到结构化流在2.66 Hz处的显著相位相干峰，这可能反映了音节对速率的振荡，这与受试除了三元组本身之外还可以学习嵌入三元组中的顺序对的证据相一致，或者可替换地，可以学习单词速率的谐波或拍频。结构化流中的单词速率反应迅速出现，在一些电极中早在50个单词暴露时就观察到显著的反应。在结构化流中，词速一致性的显著性随着时间的推移而增加，但在随机流中则没有，因此排除了与学习无关的内源性节律同步效应。结构化流中单词速率的一致性在参与者中重复，17名患者中有16名表现出明显的节律同步化；相比之下，在随机流的词速率下，没有电极显示出节律同步化。这一发现进一步支持NFT作为一个敏感和强大的工具来评估在线SL。

图1

研究利用ECoG提供的独特的空间分辨率来定位在结构化条件下哪些皮层区域与单词速率同步（图1D），在电极之间观察到不同的时间调谐响应。一个调谐曲线对应于以词和音节速率(词+音节)显示显著一致性的电极。这些主要位于颞上回(STG )，较小的簇位于运动皮层和盖部。另一个调谐曲线反映了仅在音节速率(仅音节)下显示显著相干性的电极，这些位于IFG和ATL(图1D)。这些功能响应表明对输入(在这种情况下，音节)和高阶学习单元(对于词+ syll电极)的时间选择性，或者只对高阶学习单元的时间选择性，而不对传达该结构的输入的特定声学特征作出响应(对于只有词的电极)。这种组织反映了听觉处理层级的神经解剖学，在STG中具有低阶功能，而在周围的额和颞顶叶皮层中具有高阶功能。因此，推断只有单词的反应可能来自比词+音节反应更高级的处理阶段。贝叶斯分析也支持了这一推论。

到目前为止，NFT的结果提供了连续听觉流分割的证据，在STG的较低阶区域和周围额顶和颞顶皮层的较高阶区域具有特征调谐。绘制了NFT的响应电极后，我们接着问了一个问题:是什么驱动了这种分割？对分段的神经响应可以基于流中的至少三个统计线索:TPs(在word中，TP = 1.0在字之间，TP = 0.33)、序数位置(第一、第二或第三位置)或特性。虽然这三种线索都可以用来标记单词的开始和结束，从而推动分段，但它们在内容上有所不同，并促进独特的认知功能。例如，基于TP的编码以及高TP和低TP之间的熵的必然差异可以作为强预测误差提示来驱动注意力和分段。序数位置的编码代表了一种灵活和抽象的代码，允许元素的重组，并可能解释先前关于幻像词的发现，由此受试者接受在暴露阶段从未出现过的字符串为合法的，只要序数位置被保留。然而，只有基于特性的编码才能获得完整的单词，然后这些单词可以被映射到意义上。

使用了多元模式相似性方法评估表征哪方面的信息，例如，在单词特性的情况下，推断SL会改变刺激的表征空间，使得属于同一单词的音节会在电极之间唤起更相似的神经活动模式；这种聚类反过来可以为细分提供基础。或者，音节的神经表征可以通过序数位置或TP聚集，可以测试学习了哪一个线索，以及是否在大脑区域中观察到相似或互补的编码。量化了在NFT分析(FP或HGB)中被识别为表现出单词-唯一和单词+音节一致性(见图C)的电极组内音节的表征空间，又分别研究了海马体中跨电极的神经表现，因为先前的研究表明海马体对于强健的SL是必要的。分别为每对音节计算了每组电极内电极间的原始神经活动模式之间的相关距离，并应用多维标度(MDS)来可视化相似性结构。这三组电极编码不同的信息:对于单词+音节电极，音节之间的距离显示了一种仅基于TPs的表征（图2A）。根据给定前一个音节的概率是低(第一)还是高(第二、第三)对音节进行分组。相反，只有单词的电极表征顺序位置（图2B）。根据音节在单词中所占的位置(第一对第二对第三)以及它们所属单词的身份(图B，维度2)对音节进行分组。最后，海马电极显示仅通过单词特性分组(图C)。仅对于word + syll电极观察到低TP编码（2D左）；对于只有词的电极，观察到顺序位置的可靠编码；在单词专用电极和海马体中都观察到了单词特性（2D右）。这些结果表明，即使短暂暴露于听觉的规则结构，也可以重塑整个皮层和海马体的音节表征空间，产生沿几个维度的集群神经代表。通过TP、序数位置和特性的反应聚类与暴露过程中的快速学习一致，因为它们在第一个block(~2分钟)中不存在，而在第五个block中存在。

图2

将连续输入分割成离散单元也扩展到视觉域中的刺激，例如，构建场景和事件的表示。听觉和视觉中是否具有相似的SL分割机制存在争议。为了研究相似的编码原则是否在视觉模态中起作用，我们在12名颅内患者中测试了视觉SL。受试暴露在简短的(2分钟× 5个block)分形图像的视觉流中(每个375毫秒)，操控序列的结构。在结构化流中，每个分形被分配到一对分形的第一个或第二个位置（3A）。通过随机插入每对分形对生成了一个连续的分形对流，每对之间没有中断或其他线索。为了使不同模态的结果具有可比性，保留了更高阶的单位频率，即1.33 Hz，因此呈现了一对分形。在随机流中，分形被插入相同的次数，但是在分形层次上是以随机的顺序插入的。因此，没有要分割的配对。

与听觉序列一样，没有告知受试者一些序列中存在结构，同样受试要执行一个覆盖任务，即监测偶尔出现的两个分形中的单个重复。行为结果表明两种流中的准确率没有显著差异。表明受试在两种流中都很投入、专注。并且再次发现结构流中的反应时间明显快于随机流。

然后受试执行了一个2AFC识别任务来评估分形对的显性学习，受试线下表现为随机水平。然后和听觉流一样，研究招募了一群健康受试，执行了同样流程的任务，结果显示显性识别任务明显由于随机水平。

图3

通过NFT来识别12名患者的1606个颅内电极的神经生理记录中显示SL的大脑区域，广泛覆盖额叶、顶叶、颞叶和枕叶皮质。分别评估了结构化和随机流中FP和HGB包络的电极内相位相干性。在结构化流中观察到了成对速率(即1.33 Hz)下相位相干谱中的显著峰值。对于结构化流和随机流，都发现了分形率(即，2.66 Hz)下的显著峰值，而在随机流中没有观察到成对速率响应增加。平均而言，在430对暴露中观察到配对率反应的增加，一些电极中观察到最早的响应是30对。

研究观察到电极的两个时间调谐分布图之间的解剖和层级分割：一个显示在分形和对速率(对+分形；图3D，底部)并且主要聚集在枕骨(条纹和条纹外)和顶叶皮层(顶叶内沟)内，而另一个仅在成对率下显示显著的节律同步(仅成对；图D，顶部)位于额叶(中部和上部)、顶叶和颞叶皮层更靠前的位置。

在听觉模式中，研究观察到了基于跨电极组的TPs、顺序位置和单词特性的序列学习的表征变化。视觉规则如何塑造神经表征呢？由于视觉模态中的学习单元仅包含两个元素(即，对)，基于TPs和序数位置的分组产生类似的结果——两个线索都预测每个对中的第一分形与其他对的第一分形的分组，以及第二分形与其他第二分形的分组。但是，这些线索的表征性影响可以用不同的、非排他性的方式量化。

研究发现，海马体的分组仅根据配对的特性……

图4

4. 讨论 ¶

追踪较低级感觉输入(即，音节和分形)和较高级单元(即，单词和对)的大脑区域和仅代表学习的较高级单元(即，单词和对)的大脑区域。这些不同的反应揭示了一个解剖层次:前者映射到早期的感觉处理阶段(如STG和枕叶皮层)，而后者包括晚期的非模态处理阶段(如IFG和ATL)。即早期处理是领域特定的，而后期处理是领域通用的。

“statistical model” 假设学习者表征输入元素之间的统计学关系但不明确表征记忆中统计一致的单位。相反， “chunking models”假设学习者在记忆中表征来自输入的统计上一致的信息单元，使得存储的表征是离散的信息块。这两个模型都只在行为学上得到了印证，未来有趣的发现可能是这两种模型机制在人类大脑中共存，之前报道两个模型的差异结果是由于不同任务导致神经加工过程参与的差异。

SL中神经变化的主要组织原则在听觉和视觉领域是相同的。听觉和视觉SL所涉及的皮层区域仅部分重叠，编码感觉输入和高阶单位的反应聚集在涉及音节的听觉SL的STG周围和涉及分形的视觉SL的枕叶皮层周围。更有趣的是，专门进行高阶单位表征的区域也被部分分离。虽然像IFG和ATL这样的区域在这两种模式中都追踪高阶单位，但是中额和顶上皮层似乎分别不同地参与听觉和视觉SL。虽然不同领域对序列的表征可能是相似的，但是在不同的回路中，就像语言、音乐和数学中的嵌套树结构一样，它们都是由不同的回路来表达的。