口语理解中短语的神经追踪是自动的和任务相关的



文献:Ten Oever, S., Carta, S., Kaufeld, G., & Martin, A. E. (2022). Neural tracking of phrases in spoken language comprehension is automatic and task-dependent. Elife11, e77468. https://doi.org/10.7554/eLife.77468

1. 背景及本研究 ¶

尚不清楚对句子中语言抽象结构的追踪是语言内容的影响还是任务的调控,为了调查这一问题,本研究让被试在两种条件下(句子和词串)做四个不同任务(被动、音节任务、单词任务、单词组合任务)时记录他们的MEG,然后比较两种条件不同任务的时大脑δ频段能量,连接性、MI等信息。

2. 方法及材料 ¶

20名荷兰母语者参与实验。

刺激材料用的是Kaufeld et al., 2020研究中所使用的,由自然地口语句或者含10个词的词串组成,句子包含两个并列分句,结构如下:[Adj N V N Conj Det Adj N V N]。词串是原始句中单词打乱版本,为确保词串不符合语法,遵循以下结构规律:[V V Adj Adj Det Conj N N N N] or [N N N N Det Conj V V Adj Adj]。共使用了60个句子。

要求被试对这些刺激做4个不同的任务:被动任务,音节任务,词任务,词组合任务。

在音节任务中,被试在每句话后听到两个词类音,每个都由一个音节组成,声音片段是从先前呈现的句子中随机选的音节和从所有其他句子中随机选的音节,参与者的任务是通过按键指出两个声音片段中的哪一个是前一句的一部分。

在词任务中,每个trial之后会呈现两个词,其中一个词是从刚刚呈现的句子中随机选取的另一个词是从其他句子中随机选的。被试需要辨别哪个词是刚呈现的trial中的词。

在词组合任务中,每个trial之后呈现两个单词对,四个词都是刚呈现句子中的一部分,但只有一对是按正确的顺序,被试需要辨认哪一对是刚才呈现过的。

实验开始前要求被试先盯着屏幕中的十字注视点,在1.5s到3s内呈现实验刺激音频,结束1s后开始呈现任务,在词任务和词组合任务中,任务是以视觉的形式呈现的。而音节任务是一个一个呈现音节,在被动听任务中被试按照指导语按键直接进行下一个trial,2个condition X 4个任务=8个block,每个block持续8min,为了避免转换成本,总是连续做两个相同的任务在一个condition中。

3. 结果 ¶

在两种condition下的三种任务表现如下图1所示,方框边缘表示平均值的标准误差,使用成对样本t检验,发现条件和任务之间的显著交互作用以及条件和任务之间的主效应。只有在单词组合任务中,句子condition的准确率显著高于词串condition的准确率,另外两中任务中则么有这样的效应。

图1

使用前20个主成分分析的三个不同感兴趣区域(ROI)的总体时间-频率响应与预期一致,最初的诱发响应之后是对正在进行的语音的更持续的响应。从这些感兴趣的区域中,提取了三个不同频段(短语、单词和音节)中的互信息。这里集中讨论区分了句子和词串的短语频段。

图2

对于STG中的短语时间尺度,发现与词串条件相比,句子中的MI明显更高;而对于MTG来说,除了条件的主要影响之外,还发现了条件和任务的交互作用。发现除了被动任务,其他任务都有显著的条件影响,句子条件的MI更强。对于IFG,发现了条件和任务的主要影响。短语任务的MI高于单词任务。

图3

研究发现对于STG条件和任务具有条件的主效应,整体上句子比词串的能量更强,短语任务比被动任务的能量更低,短语任务比音节任务的能量更低,而短语和词任务的能量无显著区别。

MTG δ频段能量总体平行于STG,具有显著的条件和任务主效应,成对比较显示短语任务比被动任务能量更强,而与音节任务相比短语任务的能量更低,被动任务与词任务之间无显著区别。

对于IFG研究只发现了条件的趋势效应,句子条件下的δ频段能量更强。所有频段总体上是句子条件比词串条件的能量更强,较低层级的任务的能量更强。

如图5所示,总体连接模式显示δ和α频段的连接性最强,并且在δ频段发现STG-IFG连通性的主要任务效应,并且与被动任务相比,短语任务具有更高的连接性,其他任务与短语任务相比无显著区别。

图4

对于MI分析,只有在MTG中,准确性才有显著影响。如图7A所示,短语任务中,当准确度高时,句子和词串条件之间的差异比准确度低时更大,句子条件的准确度更大。对于连接性分析,如下图7B所示,研究发现STG-MTG连接性有一个显著的条件×准确度交互作用。独立于任务,当准确率低时,句子和词串之间的差异更强,加权相位滞后指数(WPLI)更适合句子条件。总的来说,与词串条件相比,句子的WPLI更强,但相互作用似乎表明,在单词任务中尤其如此(p = 0.005),而在其他任务中则不然。

图5

控制年龄后的分析表明,在 STG 和 MTG中,年轻的被试在句子和词串之间有更大的差异(句子的δ功率更高)。

4. 讨论 ¶

语言网络的不同节点表现出不同的追踪模式,在STG中,发现独立于任务,与词串相比,在句子中对短语时间动态的追踪更强,然而,在MTG中发现只有在主动的任务中,句子追踪能力才会提高。在IFG中,与词串相比对句子的追踪总体上有所增加。此外,对短语层级的追踪在单词组合任务(即短语)更强,与此同时,在单词组合任务中,IFG-STG的δ频段的连接性增加。行为表现似乎与MTG和STG-MTG连接性追踪的MI相关。这表明在短语时间尺度上的追踪既取决于信号中存在的语言信息,也取决于所执行的特定任务。

尽管总体上存在条件效应,任务也会影响神经反应,并且任务效应在三个ROI是不同的,在STG中没有任务效应,而在MTG中存在一个任务和条件的交互作用,在MTG中只有当指导被试做主动任务时句子条件的短语层级的追踪才会增加。

还发现被试颞叶皮层的MI和连接性影响行为表现,特别是 MTG–STG 的连接性独立于任务与准确度相关。行为的连接性和追踪相关性并不能解释行为表现的所有变化。