神经振荡对句法结构的构建



文献:Kazanina, N., & Tavano, A. (2022). What neural oscillations can and cannot do for syntactic structure building. Nature Reviews Neuroscience, 1-16. https://doi.org/10.1038/s41583-022-00659-5

1. 引言 ¶

大脑如何理解话语?有两点可以确定的是:1)无法从长期记忆中全面检索解释,因为话语可能是完全新颖和不可预测的,因此,需要对构成词义的组合。2)句子不仅仅是单词的线性序列,相反每个句子中都能推断出一个潜在的结构,它定义了单词和单词之间的层次关系,丁鼐等人的基于其研究结果提出神经震荡对语言结构层级的追踪是非常重要的。

但是从神经震荡在句法结构构建的领域的操作来看,以上的提议分为两种:

  • 第一种:神经振荡通过振荡与unit对齐,将语言输入线性地分组块(或分段)为语法unit,对齐通常通过相位重置来实现,可以由声学标志和/或内生生成的词分组来驱动。简称为“oscillations for chunking

  • 第二种:振荡执行跨时间尺度和/或大脑区域的信息多尺度整合任务,以构建词或词组之间的分层语法关系,这种功能通过跨频率交互作用实现。简称为“oscillations for integration

2. Oscillations for chunking ¶

很多在探讨神经震荡在句法结构构建作用的研究中直接指的是 oscillations for chunking,即将单词串分割为更高级别的语法单位,假定Delta -与语言输入中的语法短语相对齐,从而将输入分成unit。从生理学上讲,这一观点基于神经节律同步对感觉和行为表现的影响,例如在注意力研究中。节律性注意理论将节律同步定义为神经相位与刺激相位的对齐,假设相位对准是通过连续的相位重置正在进行的神经振荡来响应输入中的周期性感觉标志,从而调整内部振荡的周期(频率)及其相位来追踪外部刺激。

chunking的观点有两种来源:一种是理论的,一种是经验的。其中理论方面就是Giraud 和 Poeppel提出的认知神经模型,这个模型认为震荡将连续的语音分割成音节,4-7-Hz范围内的θ振荡相位与语音包络的振幅调制相一致,而语音包络的振幅调制又与音节单元边界密切相关。句法结构的构建过程被简化为将单词线性分组为句法短语,而不是构建一个短语可以嵌套并相互支配的层次结构。

源于经验的观点基于丁鼐等人在频率标记研究中发现的对句子中潜在句法属性的频谱反应,即不同时间尺度的皮层活动同时追踪了抽象语言结构在不同层次上的时间进程。但是 oscillations for chunking 的观点在自然语言中的证据是不足的。本文总结了5个oscillations for chunking 这个假设观点的挑战。

甚至在单一的话语语境中一个词也可以有不同的音节长度,例如“虫”、“毛毛虫”、“小毛毛虫”“又长又小的毛毛虫”,尽管它们的长度差异很大,但都属于名词短语,在句法结构中充当的作用是相同的。根据每个语法层级都对应有一个神经震荡的假设,那么这些名词短语都有相同的神经加工过程,即使用相同的短语层级振荡进行chunking,但是这些明显的长度差异说明,这一情况是不可行的,因此不会有专门频段对句法短语进行神经追踪。

那么丁鼐等人的研究中是如何追踪短语的呢?那是由于丁鼐等人研究中使用的刺激是由高度限制的句法和语音的构成。例如总是双音节名词短语后紧跟着双音节动词短语,恰恰是这一设计说明了丁鼐等人的发现可能不是神经震荡的chunking作用,2Hz和1Hz的波谱可能反应了解析器对句子和短语常规构建的诱发反应。因此,丁鼐等人类似研究中发现的节律活动可能只是“句法层级unit存在的副产品,而不是这些unit存在的机制。” 还不清楚在θ、δ和次δ波段的种群活动是否可以在功能上等效。

短语 ‘a long bug’的音节数比词 ‘caterpillar’音节数更少,导致词的节律与短语节律有重叠。

当考虑到相邻属性时就打破了音节组块和句法组块之间类比,音节chunking都符合线性相邻的结构,而句法chunking不是全部符合线性相邻的规律的。由于句法短语不能彼此连续,因此不能将连续的震荡周期以与音节相同的方式即以输入序列顺序分配给各个短语,即单个振荡可以与语法短语同步是具有欺骗性的。

‘What did John say that the grey monkey ate?’ 中的疑问词what是动词 ‘ate’的直接宾语,两个词之间隔了很多个词,正确的语法解释需要将不连续的词提取并连接在一起,并且疑问词 ‘what’和动词‘ate’的距离可以更远,比如‘What did John say that the grey monkey sitting on the top shelf of the cabinet ate?’,chunking观点中构建语言单位的唯一方法是通过将词序列压缩成一个单一的震荡环是不合适的。

以 Meyer为代表的的人提出,多个单词分块成所谓的句法短语以构成复杂的意思,多个短语形成一个层次结构,该层次结构对句子作为一个整体编码的场景内的关系进行编码。但是这种说话回避了一个问题,句法关系如何被 delta短语所编码?在句法方面,delta短语的地位充其量是不清楚的:尽管它们可能很短,或稍短,但它们在句法上决不是原始的。作者认为将δ频段的节律同步应更谨慎的认为是没有语法功能的“δ语块”,delta追踪在语音加工中的感觉运动或工作记忆中具有重要作用。

3. 整合震荡 ¶

震荡活动以分层原则将语言输入中的元素组合成更大的实体,神经振荡在信息整合中的潜力最初是在视觉中的结合问题的背景下讨论的,即由不同的神经群体代表的视觉对象的各个特征–如边缘、颜色和运动–如何在一个神经回路中被结合成一个统一的表征的问题。在理论上,有人提出,编码单个特征的神经元集合之间的同步或其他时间上相关的神经元活动可以为信息整合的任务提供手段。如Singer所提出的:大脑皮层可能利用了以毫秒级精度同步神经元放电的选项,以便将这些反应结合起来进一步联合处理,即利用时间同步来编码关系。

大鼠位置导航时神经震荡的跨频互动为语言加工神经编码时的震荡整合提供了一种思路,这种说法也在过去几十年中得到了发展, ‘oscillations for integration’与 ‘oscillations for chunking’ 的最大区别在于整合震荡的周期不需要与语言不同层级的unit的持续时间匹配。

4. 未来的研究方向 ¶

要想探究大脑对句子结构的构建机制,首先要确定大脑结构构建的目标与现存的句法构建模型(DORA 和VS-BIND)是一致,但显然这两个模型都存在很大的局限性。作者提出,未来可以聚焦于高γ频段在句法构建中的作用(Nelson, M. J. et al. Neurophysiological dynamics of phrase-structure building during sentence processing. Proc. Natl Acad. Sci. USA 114, E3669–E3678 (2017).)。