日常语言暴露影响听力理解中特定单词的预测:一项视觉世界眼球追踪研究



一、文献名称 ¶

Ito, A., & Sakai, H. (2021). Everyday language exposure shapes prediction of specific words in listening comprehension: A visual world eye-tracking study. Frontiers in Psychology, 12, 607474. https://doi.org/10.3389/fpsyg.2021.607474

论文原文

二、研究背景 ¶

对双语儿童的研究表明,语言接触的数量和质量对他们的语言习得都有重大影响,学习早期阶段和晚期阶段的语言暴露似乎可以预测人们的语言技能,根据基于用法的语言习得理论,接触频率是语言习得的关键,因为人们通过分析语言输入的分布特征来学习语言规则(Ellis,2002)。减少语言接触的效果可能会影响正字法处理的效率,尤其是在使用许多正字法复杂字符(如日语和汉语)的语言中,因为人们可能会忘记他们习得的单词的正字法形式。如果频繁接触这种语言可以增强视觉记忆,那么另一方面,减少接触可能会降低汉字的处理效率。

根据在听力和阅读理解过程中支持语音和正字法交互激活的单词识别模型(Frost和Ziegler,2007),听觉刺激(例如,一个口语单词)激活语音和相应的正字法表征。这种双模态激活似乎取决于语言熟练程度,因此更熟练的语言使用者往往在音韵学和正字法之间有更强的联系(Veivo and Järvikivi,2013;Veivo et al.,2016)。

正字法和语音形式的分离预测 :本篇研究是基于Ito2019年的研究,他在视觉世界眼球追踪实验中使用日语测试了语音和正字法形式的预测。在东京(实验1)和柏林(实验2)研究了母语为日语的人对正字法和语音形式的预测,以检验日常语言暴露对预测的影响。

如果人们能预测一个高度可预测词的正字法和语音形式,研究期望在可预测词被提及之前,人们会更多地关注正字法和语音上的竞争对手,而不是无关的对象。此外,如果经常接触目标语言有助于statistical probabilities的使用(见Kuperberg和Jaeger,2016),研究预计东京组的预测效果比柏林组更强。

二、研究过程 ¶

57名母语为日语的学生,他们的视力正常或矫正为正常。所有参与者都表示日语是主要语言,他们在学校里学习过英语。其他学习过的语言包括汉语(15人)、德语(10人)、西班牙语(9人)、法语(7人)、俄语(5人)、意大利语(1人)、韩语(1人)、葡萄牙语(1人)、挪威语(1人)和阿伊努语(1人)。

听觉刺激与Ito(2019)中使用的相同,其中包括20个包含高度可预测目标词的关键句子。例:

EP-1

视觉刺激是通过用物体替换Ito(2019)中的单词而产生的。每幅图有一个目标物体和三个干扰物体(图1)。在四种情况下,只有关键物不同:

在目标条件下,关键对象代表可预测的目标词;

在正字法条件下,它代表一个在正字法上与汉字中的目标词相似,但在语音上与目标词不同的词;

在语音条件下,它代表一个在语音上与目标词相似,但在拼写上与汉字中的目标词不同的词,语音条件总是与目标条件共用一个mora,因为日语中的语音启动通常需要至少一个mora重叠;

在不相关的条件下,关键对象代表一个在正字法或语音上与目标词不同的词

Fig-1

在Ito(2019年)的评分测试中评估了与目标词的拼写相似性,如表1所示。确保了正字法\语音\不相关条件中的关键词与目标词在语义上不相关。在filler试次中,所有关键对象再次呈现,使用非预测性句子和另一个项目的干扰物,以测试是否存在对特定对象的固定偏见(例如,由于其视觉特征)。

Tab-1

在进行实验之前,被试需要熟悉这些物体。在训练阶段,所有物体(包括干扰物物体)都会一个接一个地给出它们的名字,并要求参与者记住它们,以便他们以后可以命名。在测试阶段,参与者只看到对象并给其命名。不正确命名的对象会被重复,直到它们被正确命名。

在眼球追踪实验中,参与者被要求通过耳机听句子,然后点击句子中提到的物体,如果没有提到任何物体,则点击背景。图片出现1000ms后再出现目标词,当被试点击对象或背景时,鼠标指针消失。句子说完3000ms之后,图片消失。在眼球追踪实验后,参与者进行了语言流利性测试(字母流利性和类别流利性)以及根据汉字改编的汉字读写测试

Fig-2

图2表明了每种情况下关键物体的平均注视概率。在相对于目标词起始的-800ms到200ms的时间窗口内,目标对象比无关对象吸引了更多的注视,这种差异随着时间的推移而增加,目标条件下的注视概率也比无关条件下的注视概率有一个更清晰的峰值,根据Ito(2019),我们测试了当正字法干扰物与目标词更相似时,正字法干扰效应是否比不太相似时更强。图2表明,正字法(与无关)条件的显著影响,但正字法干扰效应与正字法相似性没有交互作用。因此,正字法干扰效应不依赖于正字法相似性。

个体差异分析:

研究进一步测试了参与者的预测性眼动是否由他们的语言能力测试分数介导。图3绘制了相关矩阵。相关分析未显示预测性注视与语言水平测量之间存在任何显著相关性,但目标物体的预测性注视与汉字书写分数之间存在正相关。

Fig-3

实验1发现,在目标词被提及之前,参与者更有可能关注目标对象,而非无关对象,这表明参与者预测了目标词的一些信息。更重要的是,他们也更可能关注正字法干扰,而非不相关的对象上,这表明参与者预测了目标词的正字法形式。研究没有找到预测语音形式的证据。在个体差异分析中,该研究也没有发现预测性眼动和语言能力测量之间有任何明确的关系,除了汉字书写分数较高的参与者更有可能预测性地注视目标物体而不是不相关的物体(然而,在实验2中没有发现这种效应)。