听力过程中词预激活产生的影响:听力者产生的预测是否会指定在语音水平?



一、文献名称

Drake, E., & Corley, M. (2015). Effects in production of word pre-activation during listening: Are listener-generated predictions specified at a speech-sound level?. Memory & Cognition, 43(1), 111–120.https://org.doi.10.3758/s13421-014-0451-9

二、研究背景

已经证明,听者对即将到来的材料的预测可以指定到语音水平,例如一个特定的词的开始是预期的。语音产生系统在理解过程中是活跃的。即使不需要语音输出,感知语音也会启动语音运动系统。发音肌肉在听语音时被激活,而在听非语音时则不被激活,这种运动系统的兴奋性增加伴随着布洛卡区活动的增加(Fadiga, Craighero, Buccino, & Rizzolatti, 2002; Watkins, Strafella, & Paus, 2003; see also Pulvermüller et al., 2006)。虽然没有实证证明理解过程中的预测是通过言语-运动区域来实现的,但已经证明理解过程中的词汇预测是在表层形式水平上进行的(DeLong, Urbach, & Kutas, 2005)。当阅读预测一个名词的句子时(例如“the day was breezy so the boy went to fly…”),理解者在遇到与预测的名词形式不合适的不定冠词时(例如“an”,预测的是kite),会表现出N400振幅增加。这种影响只与即将出现的单词在语音形式水平上被指定有关,因为a和an之间的区别在语义和句法水平上是空的,而且纯粹是基于即将出现的单词的语音形式(辅音和元音)。目前尚不清楚所引发的语音形式表征是否包含听者语音产生系统中语音水平表征的激活。

在本研究中,我们探讨了语音形式预测在理解中的作用是否可以在言语产生的行为测量中观察到。如果预测在语音模拟的生成中确实涉及到语音产生系统,我们将期望在听者自己的语音产生系统中看到预测的效果。先前从图-词干扰、图-图干扰和句子听力范式的研究结果为这种效应的可能性质提供了一些指导。语音产生系统在理解过程中是活跃的,理解可以包括在音位水平上预测词的形式。这些发现表明,理解过程中的预测涉及到语音产生系统。

三、研究过程

在三个实验中,参与者听到带有高度可预测延续的听觉句子片段(例如He managed to fix the drip from the old leaky .……),并在音频的偏移处命名图片。选择的图片名称与可预测的单词(tap-TAP)或有部分语音重叠(tap-CAP, tap-TAN),或没有重叠(tap-CONE)。文章想研究的是是否会看到语音重叠的影响,这将证实在语音理解过程中,预测项目在产生系统的语音水平上被激活。

研究目的:在本研究中,我们调查了这种特定于单词形式的预测是否会以类似于干扰词实际出现时所观察到的方式影响图片命名延迟。

(一)实验一

1.被试

27名成年人(18-24岁),英语单语者。

2.材料

三个实验中使用了相同的句式和图片。选择的词能够强烈预测下面的单词;根据他们遇到的情况,图片的名字要么与可预测的单词相对应,要么在语音上与单词重叠,要么不相关。12张图片被用作实验项目。另外12张图片作为填充项。

我们使用了36个实验句干,其中3个会预测the name of each of the 12 experimental pictures。在实验中,我们操纵了由句干预测的单词和伴随的命名图片之间的语音关系。在实验1中,我们使用了matching(tap-TAP)、onset-overlap(tap-TAN)和rimeoverlap(tap-CAP)三个条件。

3.程序

每个实验开始都有一个熟悉阶段,在此期间,参与者观看了24张实验图片和填充图片,每一张图片都有一个印好的名字,并大声地给图片命名。每张图片和相应的名字总共出现了三次。在每个实验中,依次进行5个实验模块的熟悉过程。参与者被要求尽可能快速准确地说出每张图片的名字。

模块1和5的纳入主要是为了为并行语音成像研究提供一个控制条件。这些模块可以让我们确认,当这些图片单独呈现时,参与者能够正确说出所有图片的名称。每一张图片都是单独呈现的,并且需要被大声地命名。参与者在展示即将被命名的图片之前,会观看屏幕中央的一个注视点2.9秒

在模块2、3和4中,参与者再次观看注视点,但这次是在听一个句子句干的时候。要命名的图片立即出现在句子词干的最后一个单词的offset。参与者再次被要求尽可能快速准确地说出照片的名字。在block 2、block 3和block 4中,每个实验画面分别呈现4次:在每个实验条件下呈现一次,在反向语音控制条件下呈现一次。每个句子主干在每个模块被每个参与者听一次,在三个模块的每个条件下听一次。

4.结果

Tab-1

表1按条件汇总了错误总数

Fig-1

图1显示参与者在每种情况下正确反应的平均时间。我们进行了两项分析:一项是对所呈现的图片进行(正确)命名的延迟,另一项是产生错误的可能性。首先将匹配条件的观察结果与所有其他条件的观察结果进行比较;其次将上下文预测的单词与图片不同的两种情况(不匹配条件)与反向控制条件进行了比较;第三,比较了两种不匹配的情况(rime重叠和onset重叠)

匹配条件下的系数明显小于其他三种条件的组合,而两种重叠条件下的系数明显大于后向控制条件下的系数。两种重叠条件(z < 1)之间无明显差异。

(二)实验二

1.被试

共有21名成人(14名女性,7名男性)参与实验2,平均年龄为20岁(18-26岁)。英语单语者。

2.材料

在实验2中,我们将起始重叠条件替换为无重叠条件(tap-CONE)。

3.结果

比较了匹配条件和其他条件;不匹配的两种条件和后向(backward)控制条件;不匹配的两种条件(rime 和no)。随着实验的进行,参与者的反应速度再次加快,并且在匹配条件下的反应速度比其他条件更快。在三个非匹配条件下,No存在差异。

Tab-2

对于实验2,我们再次分析了总错误数。匹配条件下的误差比其他条件下的要少,不匹配条件下的误差比后向控制条件下的要多。我们发现rime重叠和无重叠条件没有差异。

Tab-3

(三)实验三

1.被试

21名平均年龄为20岁(18-27岁)的成年人(14名女性,7名男性)参与了实验3。英语单语者。

2.材料

在实验3中,我们将实验2的rimeoverlap条件替换为onset-overlap条件,从而可以直接比较onset-overlap和no-overlap的条件

3.结果

将匹配条件与所有其他条件进行比较,将两个不匹配条件与backward控制进行比较,最后将两个不匹配条件(onset重叠与no重叠)进行比较。

随着实验的进展,参与者的反应速度更快,在匹配条件下反应最快,其他差异不显著。

四、讨论及其他

在三个实验中,我们证明,在听到一个强烈预测了一个给定的干扰词的句子片段之后,如果图片名称与干扰词完全一致,那么给图片命名的时间要比在其他任何情况下都要快。与预期相反的是,我们在其余的条件下没有发现响应延迟的差异:无论预测的单词在开始时与图片名称重叠,在结束时与图片名称重叠,或者根本没有,命名时间都没有差异。此外,这些条件下的命名延迟与后向控制条件下相同,在后向控制条件下,无法从听觉语境预测特定的单词。在理解过程中,听力者内部产生(预测)的词汇并没有在语音(语音)水平上明确规定。

在三个实验中,我们没有发现证据表明理解相关的预测会在产生系统中产生抑制。然而,这种影响似乎并没有扩展到语音产生系统所能达到的语音级表征:让参与者产生在语音上与通过理解可预测的单词重叠的单词并不会促进产生,除非重叠是完全的(因此图片名称在语音以外的水平上与预测的单词匹配)。