类别内声调信息对汉语母语和非汉语母语者单词识别的影响



1.参考文献

Qin, Z., Tremblay, A., & Zhang, J. (2019). Influence of within-category tonal information in the recognition of Mandarin Chinese words by native and non-native listeners: An eye-tracking study. Journal of Phonetics, 73(), 144-157. https://doi.org/10.1016/j.wocn.2019.01.002

2.研究背景

使用视觉世界范式的口语单词识别研究表明,辅音和元音中的类别内语音细节会影响词汇访问。研究结果表明,类别内音段信息以梯度方式影响词汇激活。类别内语音信息必须作为词汇表征的一部分存储,以影响词汇激活。但类别内的声调信息是否会类似地影响声调语言中的词汇激活。词汇声调是高度动态的,要求汉语母语者根据说话者的音高范围来评估他们听到的声调,并在听到更多的音高轮廓时不断更新该评估结果。声调的动态性使在语音识别中使用声调信息变得困难。

关于词汇声调感知的研究表明,汉语母语者主要依靠音高轮廓来区分声调。汉语母语者表现出对声调轮廓差异的分类感知,并且对类别内音高变化不敏感。换句话说,汉语母语者对词汇声调的感知与语音变化的大小不成比例。这被解释为汉语母语者在水平声调和上升声调之间建立了清晰的语言界限,并忽略了声调类别内的语音细节。但这项研究使用视觉世界范式,假设类别内的声调信息仍可能影响汉语母语者的词汇访问。如果声调的类别内语音信息限制了词汇访问,则当目标词的音高接近于竞争词的音高时,应该表现出更多的竞争效应。

还研究了英语母语的汉语学习者在使用类别内声调信息方面是否不同于汉语母语者。先前关于汉语声调学习的研究集中在没有词汇声调的情况下,L2学习者是否难以识别汉语,以及对声调学习最有效的训练。因此,关于类别内声调信息对二语学习者词汇激活的影响知之甚少。

类别内声调信息是否会影响英语母语者的汉语单词识别,很可能取决于英语母语者声调表征的细节程度。与汉语母语者相比,英语母语者对类别内音高变化更敏感,英语母语者应该能够发现词汇声调的细微音高差异。但不清楚他们是否可以将这些细微差异与声调类别相关联。声调加工的困难归因于二语学习者对声调的有限接触,导致二语学习者的声调词汇表征更粗糙,更难解释与声调类别有关的类别内声调信息。

如果二语学习者对声调的语音细节敏感,但是很难将这些细节与声调类别联系起来,那么在刺激与标准声调不同时,会表现出更多的竞争效应,无论目标词音高接近或远离竞争词音高。研究使用T1(即高平调)和T2,因为这两个声调的早期音高信息不同,一开始就可以区分开。因此可以确定声调开始时听到的类别内声调信息是否影响了词汇激活。

3.研究方法

a.被试

36位汉语母语者和26名英语母语者,英语母语者在12岁以后学习汉语并且认为自己精通汉语。所有被试均为大学生,听力正常,没有言语或语言障碍史。英语母语者还完成了汉语熟练程度的任务。

b.设计

在每个试验中,被试听到一个目标词,并看到四个图像,分别对应于:一个目标词,一个竞争词,两个干扰词。所有词都是具象化的单音节名词。

共六对T1-T2词(T1:/ja/“鸭”;T2:/já/“牙”),用作目标词和竞争词。两个词音段相同,声调不同,语义上不相关。在这些试验中,目标词和竞争词都以半元音开头,匹配T1-T2词的词频。对于每对T1-T2词,都有一对T3-T4词(T3,/tɕǐN/“井”; T4 /tɕìN/“镜”)用作干扰词。两个词音段相同,声调不同,在语音和语义上与目标词和竞争词无关。匹配T3-T4词的词频。 T1和T2词作为目标词分别听三遍。

还包括两种类型的填充实验。第一种填充实验中,T1-T2目标词和竞争词以辅音开头(T1,/tʂha/“叉”; T2 / thá/,“茶”),共6对。也有T3-T4词(T3,/ɕɥě/‘雪; T4 /ɕjàu/‘笑’)作为干扰词。这些T1和T2词作为目标词也分别听3次。第二种填充实验将干扰词作为目标词,也听三遍(见第2.3节)。

选择黑白图像代表实验中的每个词。十二位以汉语母语者使用1–6的分数(1表示非常差,6表示非常好)对表示相应单词的图像进行评分,都获得了很高的分数。

共36个关键实验(6对词×2个声调×3个标记)和108个填充实验(18对词×2个声调×3个标记)。

c.刺激

一位男性产出所有刺激。重新合成T1-T2和T3-T4词。使用Praat将所有目标刺激的持续时间标准化为445毫秒。 接下来,重新合成T1-T2词的音高,以使其音高轮廓与竞争词更相似或更不同。T1(T1-Standard,T1-Distant和T1-Close)和T2(T2-Standard,T2-Distant和T2-Close)。标准T1和标准T2是T1和T2的自然产出。T1-Distant与T2的声学距离比T1-Standard更远,T1-Close与T2的声学距离比T1-Standard近。通过将标准音高轮廓的起点升高或降低10 Hz,可以创建听觉上距离更近、更远的标记。之所以选择10 Hz,是因为它足够小,以至于声学上更接近的声调不会接近边界。

为了确保T1和T2刺激都在同一个声调类别内,并且距离T1-T2的声调边界足够远,六个汉语母语者判断了自然性,(1-6,1表示“不好”,6表示“不错”),并将它们分为不同的声调。被试认为刺激是自然的,并正确识别了其声调类别。按照类似的方法对填充试验中的T3-T4目标词进行重新合成。

d.程序

首先完成了单词熟悉任务。接下来完成了单词图片关联训练,以确保被试在眼动追踪实验之前可以区分声调。被试得到反馈,只有正确识别了所有图片,任务才结束。最后进行了眼动实验。要求被试单击与听到的单音节词相对应的图片。每次试验中,图像出现2000毫秒(预览阶段)。然后这些图片消失,屏幕中央出现十字并持续500毫秒,然后十字消失,四张照片重新出现在屏幕上(同一位置),听觉刺激同步播放。包括四个ROI(图像周围300×300像素)。为了减轻被试的记忆负担,分三次进行了单词熟悉任务、单词图片关联训练和眼动追踪实验。

4.数据分析

只分析了反应正确的数据,排除了1%的汉语母语者数据和21.5%的英语母语者数据。从目标词出现后20-800ms的时间窗口内,提取出对目标词、竞争词和干扰词的注视比例。因变量是目标词和竞争词注视比例之差。使用增长曲线分析(growth curve analysis,GCA)对注视比例差异进行建模。

5.结果

汉语母语者在确定目标词时表现出高准确率(99%),英语母语者准确率较低(78.5%)。汉语母语者平均反应时为1,521毫秒,而英语母语者为2380毫秒。表明汉语母语者比英语母语者具有更高的准确度和更短的RT。

a.汉语母语者

对于T1试验,汉语母语者在远距离条件下的注视比例差比标准条件低,说明在远距离条件下,类别内声调信息不会使目标词的激活胜过竞争词,并且在近距离条件下也不会抑制目标词的激活。

对于T2试验,条件的显着效应意味着汉语母语者在远距离条件中的注视比率差异高于标准条件,而近距离条件的显着影响表明,汉语母语者在近距离条件下的注视比率差异低于标准条件。与标准条件相比,远距离条件下随着时间的推移,目标词注视的比例越来越高,竞争词注视的比例越来越低。与标准条件相比,在近距离条件下目标注视的比例越来越低,而竞争词的注视比例越来越高。因此,对于T2试验,与标准条件相比,在远距离条件下目标与竞争词之间较大的声学距离,使目标词的单词激活显著大于竞争词;相反,与标准条件相比,在近距离条件下目标和竞争词之间的声学距离较小,从而抑制了目标词的激活。这些结果表明,T2的类别内语音细节限制了汉语母语者的词汇访问。

b.英语母语者

远距离和近距离条件的显着效应说明,与标准条件相比,英语母语者在远距离和近距离条件下注视比例差异较低。与标准条件相比,在远距离和近距离条件下,随着时间的推移,目标词注视的比例越来越低,竞争词注视的比例越来越高。这些结果表明T1实验中,与标准条件相比,类别内声调信息在远距离和近距离条件下均会抑制英语母语者的目标词高于竞争词的单词激活。换句话说,与原声调在听觉上不同的声调破坏了英语母语者的单词识别能力。

对于T2目标词的试验,近距离条件的显着效应表明,与标准条件相比,英语母语者在近距离条件下的注视差异比例更低。对于T2目标词试验,无论是在远距离还是近距离条件下,类别内声调信息都没有明显抑制英语母语者的单词识别。

6.讨论

本研究使用视觉世界范式研究了汉语母语者是否对类别内声调信息表现出敏感性,以及汉语母语者和二语学习者在使用此信息方面是否彼此不同。结果表明,只有在目标词为T2的情况下,母语者的目标胜过竞争词激活才在远距离条件下得到增强,而在近距离条件下得到抑制。相比之下,当目标单词为T1时,在远距离和近距离条件中,英语母语者的目标胜过竞争词的激活均受到抑制,而当目标词为T2时,汉语水平较高的英语学习者的目标词激活被抑制。这些发现表明,汉语母语者和非汉语母语者在声调表征方面可能有所不同。