语言结构构建的神经关联;丁鼐关于Kazanina & Tavano (2022) 的回应



文献:Nai Ding, Zhejiang University,The Neural Correlates of Linguistic Structure Building: Comments on Kazanina & Tavano (2022)

丁鼐认为 KT(Kazanina & Tavano,2022)对DMZTP(Ding, Melloni, Zhang, Tian, and Poeppel in 2016 )的研究存在几点严重的误解,并且文章中包含了互相矛盾的观点,并提出了关于此主题研究的建议。具体如下:

1. 对DMZTP研究的误解 ¶

DMZTP的假设是,神经活动可以跟踪每一个心理构建的语言结构,并在研究中证明了神经活动能追踪例如“the boy laughed” , “my daughter smiled”等 ((X Y)P1 Z)P2结构句子中的P1和P2结构成分,这里的追踪的意思是记录的神经活动的波形显示了与语言结构的持续时间相称的特征,DMZTP研究中只考虑了类似((X Y)P1 Z)P2 结构的相对简单的句子。而KT 却把这认为句法成分的追踪只能是线性成分。

与KT的观点相反,没有证据表明皮质活动只能追踪持续约500ms的语言结构,即使是 DMZTP研究中使用的句子持续时间也有1-2s,并且随后有研究通过操控音节的速率来使同样的短语以1H或2Hz的速率呈现以区分对短语的追踪和潜在的1Hz和2Hz的神经活动(Sheng et al., 2019),结果是无论短语以1Hz还是2Hz呈现,皮层都能以相似的神经活动追踪追踪短语结构。此外,最近的一项研究直接调查了通过时间压缩语音对语言结构进行神经跟踪的频率范围,结论是即使在句子速率高达2-3 Hz时,神经活动也可以跟踪句子(Lo,2022)。

2. 矛盾点 ¶

KT更多关注了语言结构如何从工作记忆中清楚,例如最后一段中提到了未来应该致力于高γ频段活动与句法结构清除的关系;而前面KT又说“DMZTP研究中的2 Hz和1 Hz处的频谱峰值可以简单地反映对应于解析器定期构建短语和句子并将它们从工作记忆中清除的诱发反应”。

KT一方面说很多短语包含十几个单词,并不是所有的短语持续时间都是500ms,一方面论文中又说,短语的频率大多集中在δ频段。

3. 建议 ¶

一方面,连接主义研究,包括现在的深度神经网络方法,普遍否认句法结构的存在;另一方面语音追踪的MEG/EEG反应是否与神经振荡有关是一个激烈争论的话题。也就是说,尽管KT讨论了两个概念之间的联系,即神经振荡和语言结构构建,但事实上对这两个概念本身是否有意义存在激烈的争论。

丁鼐认为,这一领域的研究不应同时解决所有可能层面的问题。根据David Marr的划分,认知神经科学研究可以分为3个层次,即计算层次、算法层次和实现层次。例如,语音跟踪响应是由诱发响应还是正在进行的神经振荡的相位重置产生的,这是神经实现水平上的问题。这个问题是一个重要的神经科学问题,原则上可以限制句法分析所允许的算法种类。但是,关于这个问题的研究目前处于原始阶段,其中诱发的反应和振荡很难区分,并且它们中任一种的神经机制在很大程度上是未知的。因此,丁鼐建议在寻找句子加工的神经关联时,不要对哪种神经活动是相关的有偏见,例如,诱发的或振荡的。相反,应该投入更多的努力来探索算法层面的问题(在Marr的意义上),例如,什么样的处理步骤和表征可以解释所观察到的对句子的神经反应的空间或时间动态。例如,在下列问题中,实地从问题1和2的调查中获益比从问题3和4的辩论中获益更多。

问题一:某些神经活动,例如低频活动、高伽马能量或尖峰频率,能追踪很长或很短的短语吗?

问题二:句法复杂性、韵律和语义如何影响,例如,短语的神经跟踪?

问题三:跟踪1秒长短语的神经反应应该被称为δ频段还是次δ子频段活动?

问题四:锁相到音节/短语的神经反应应该被称为神经节律同步/同步到这种单元的神经活动还是追踪/编码这种单元的神经活动?

脑磁图和脑电图具有极好的时间分辨率,但空间分辨率相对较低。因此,脑磁图和脑电图研究通常集中在神经活动的时间动力学上,这可能会导致一种错觉,即大脑内部有一个单一的神经振荡器或诱发反应发生器,负责监督例如语音处理。这只是一个错觉,因为它回避了振荡器在哪里以及振荡器如何与大脑中的分布式语义表征相协调的问题。脑磁图和脑电图无法解析编码每个语言单位的神经群体,但这并不意味着它们不存在。