工作记忆和加工速度的个体差异预测视觉世界中的预期口语加工



一、文献名称 ¶

Huettig, F., & Janse, E. (2015). Individual differences in working memory and processing speed predict anticipatory spoken language processing in the visual world. Language, Cognition and Neuroscience, 31(1), 80–93. https://doi.org/10.1080/23273798.2015.1047459

论文原文

二、研究背景 ¶

语言处理往往非常快速、高效和准确。这至少在一定程度上是因为发展中的和成熟的语言使用者预测即将到来的语言输入。许多关于预期语言处理的研究都集中在预测所使用的线索(例如,预测即将出现的单词所使用的信息类型)和预测的内容(例如,预激活的表征类型)上。近年来,研究人员开始关注预期语言加工的机制。一些语言学方法假设可能的句法结构的概率分布的差异驱动预测。到目前为止,很少有研究调查中介(mediating factors)因素对预测结果的影响,例如,工作记忆和一般处理速度对预期语言处理的作用几乎没有被研究过。

本研究进行了一项眼球追踪实验,并进行了几项控制任务,以评估工作记忆和处理速度是否独立地影响以荷兰语为母语的成人的语言介导的预期眼球运动。为了减少语义匹配的主题指称和/或简单的单词关联(例如动词和名词之间的关联,例如“谴责报纸”中的谴责和报纸,或“编织布料”中的编织和布料)导致预期的可能性,主试向被试提供了简单的荷兰语口语指导,比如“kijk naar de afgebeelde piano”(看着展示的钢琴),因为他们正在看着目标物体(例如钢琴)和三个无关的干扰物。这样一来,荷兰语的“de”或“het”是句子中唯一可以用于预测的线索。因为荷兰语有一个双向语法性别系统,并区分普通性别和中性性别。性别标记在伴随名词或指代名词的许多一致元素上,如限定词、形容词、指示词和代词。本研究使用了限定名词,其前面是限定词de(普通名词),如de piano中的“the piano”,或如het paard中的“the horse”,前面是限定限定词het(中性名词)。因此,被试可以使用文章中的性别信息预测即将出现的名词。

使用听觉非词重复(NWR)任务作为言语/语音短期记忆的指标和向后数字广度任务来评估工作记忆的个体差异,后者更适合测量记忆中项目的操作,而不是它们的存储和再现。为了评估空间工作记忆,研究使用了Corsi块敲击任务(Corsi,1972)。为了测量一般的处理速度,同时使用了数字-符号替换(DSS)测试和字母比较任务。最后,为了确保任何潜在的个体差异不仅仅反映非语言智力(通常被称为“g因素”),还对参与者使用了Raven的进步矩阵。

三、实验过程 ¶

105名被试(其中21名为男性),母语为荷兰语,年龄32-77岁不等,在口语教学开始之前,被试还预览了大量视觉对象(4000毫秒),以便他们能够识别这些对象的本质。

被试收到了40条口头指令(例如“kijk naar de afgebeelde piano”——看展示的钢琴;或“kijk naar het afgebeelde paard”——看展示的马)。其中20个指令包含普通性别词,另外20个包含中性性别词。 例如,在一次试验(图1a)中,目标对象piano是一个“de word”,但三个无关的干扰物(pig、paper和plate)是中性词(“het”)。相反,在其他一些试验(图1b)中,目标是中性(“het”)词(例“paard”——马),但三个无关的干扰物(scissors, shark, screwdriver)是“de词”。包含普通和中性性别名词的指令是随机的。在口语说明中,在冠词和名词之间插入“afgebeelde”一词,以确保参与者有足够的时间预测目标对象。

Fig-1

个体差异测量:

工作记忆:非单词重复 。这项任务包括展示50个非单词,所有这些单词在荷兰语中在语音上都是合理的,每个非单词只呈现一次,然后要求被试重复非单词。中间实验时间为3秒。不同音节长度(两到五个音节)的非单词混合呈现,但呈现顺序保持不变。

工作记忆:向后数字跨度。一系列数字依次显示在计算机上。每个数字显示一秒钟。在展示数字序列(例如3 6 2)后,参与者被提示按相反顺序回忆数字(例如2 6 3)。用电脑键盘输入答案。

空间工作记忆:Corsi块任务 。被试看到九个相同的块组成的图案,不规则地放在屏幕上。然后以每秒一个块的速率高亮显示这些块的数量。参与者的任务是按突出显示的顺序单击相同的块。

处理速度:DSS 任务。被试将获得一个由9个不同符号组成的键,每个符号与1到9之间的一个数字配对。然后,被试执行一项任务,他们必须用一行数字替换相应的符号,方法是将符号写在每个数字下面。被试有90秒的时间用尽可能多的数字替换符号。

处理速度:字母比较。被试在电脑屏幕上看到两个字母串(都是辅音):一个在屏幕上半部分居中,另一个在屏幕下半部分居中。被试被要求通过按下标有“相同”或“不同”的回复按钮框上的按钮,尽可能快速、准确地决定这两个字母串是相同还是不同。

被试分别接受测试,并坐在离电脑屏幕较远的位置。记录眼球运动。照片的位置是随机的。口头指令通过耳机播放。在每次试次开始时,出现一个中心固定点。然后出现了视觉显示。在画面出现在屏幕上4000毫秒后,口语句子的听觉呈现开始。语音指令开始后,图片在屏幕上再保持5000毫秒,然后是500毫秒的空白屏幕。参与者被告知要仔细听说话者的指示(例如“看展示的钢琴”)。他们被提醒,如果可能的话不要把眼睛从屏幕上移开。整个实验持续了大约20分钟。被试完成眼球追踪实验后,进行个体差异测量。

Fig-2

图2显示了从口语的声音开始(“de”或“het”)到文章开始后3000毫秒,对指令中指定的目标对象的注视比例的时间历程图,以及绘制的平均无关干扰源。

Fig-3

图3显示了目标和干扰物注视之间的对数转换差异分数的时间过程图。因变量是转化目标和干扰物外观的比率,使用以上对数比率作为时间的函数。其中P(T)指凝视目标物体的概率,P(D)指凝视平均干扰物物体的概率。

Fig-4

图4显示了实验过程中预期注视的对数转换差异比率。该图表明,在最初的几次试验中,可能存在一些任务熟悉效应,在整个实验中可能存在一些小的学习效应。然而,预测没有理由对环境中随时间变化的突发事件不敏感。

Tab-1

表1给出了个体差异测量值之间的相关性,以及个体差异测量值与目标预测性外观测量值之间的相关性。使用主成分分析推导了三种记忆测量(空间短时记忆、听觉短时记忆和工作记忆)下的一种工作记忆结构,以及两种速度测量(DSS和字母匹配)下的一种加工速度结构。

Tab-2

表2显示了新结构变量工作记忆和处理速度以及预测注视之间的相关性。表2显示,工作记忆结构与预期注视正相关,加工速度结构与预期注视负相关(速度结构上的值越高,表示加工速度越慢)

Fig-5

还比较了同时包含工作记忆和速度的模型与仅包含工作记忆或速度的模型之间标准变量的解释差异。散点图描述了标准变量(预测注视比率)与工作记忆和速度结构之间的关系,如图5所示。

四、讨论及其他 ¶

参与者在观看四幅图时,会听到诸如“Kijk naar deCOM afgebeelde pianoCOM”(看看展示的钢琴)之类的指示。荷兰物品(“het”或“de”)带有性别标记,因此图片仅与目标物在性别上一致,从而允许使用图片中的性别信息预测即将到来的目标物。被试在名词出现之前很早就锁定了目标,这强烈表明他们预期到了目标对象。多元回归分析显示,在本研究中,工作记忆和加工速度独立地解释了参与者语言介导的预期眼动的最大方差。结果与工作记忆是长期视觉和语言表征(即类型)与特定位置(即标记或索引)联系的纽带这一概念是一致的。在本实验中,视觉显示中的物体首先编码在视觉空间类型的工作记忆中,数据与以下观点一致:语言工作记忆和空间工作记忆都会影响语言介导的预期眼动(表1)。

研究结果表明,加工速度不仅通过与工作记忆的关联与预测加工有关,而且还解释了语言介导的预期眼动的变化,超出了工作记忆已经解释的范围。这表明,信息处理速度的个体差异对预测性处理起着重要作用。