英语母语和非母语者的语音预测时程研究：视觉情境眼动研究

文献： Ito, A., Pickering, M. J., & Corley, M. (2018). Investigating the time-course of phonological prediction in native and non-native speakers of English: A visual world eye-tracking study. Journal of Memory and Language, 98, 1–11.http://dx.doi.org/10.1016/j.jml.2017.09.002

原文

1.文章概述 ¶

人们在语言理解过程中预测即将出现的单词的各个方面，包括含义或句法，可以预测语音或正字法词形。但对这些预测何时发生或它们在多大程度上依赖于认知资源的可用性知之甚少。

  • L1语音信息的预测

2种ERP实验：1.可预测词被替换为与可预测词形式相似的词或非词。这种刺激引起的 N400 比与可预测词不同的词或非词要小。这些发现表明，读者预先激活了可预测单词的形式。然而，也有可能读者在遇到与形式相关的词（钩子）后激活了可预测词（书）的形式。例如，读者可能遇到 hook 并将其与可预测的句子上下文结合以激活 book；2.a/an：kite in ‘‘The day was breezy so the boy went outside to fly…“，a kite VS an airplane，可预测名词短语,不期望但似是而非的名词短语。意外的名词（飞机）比预期的名词（风筝）引起更大的 N400 振幅。

这两项研究的结果并不完全一致。此外，使用改编自 Martin 等人的材料，另一项研究未能复制 Martin 等人的条件影响，也没有发现文章完形填空概率对文章 N400 的任何分级影响。理解者可能并不总是确信名词（例如，kite）将是下一个词（例如，句子可以继续令人印象深刻的风筝）。但无论出于何种原因，N400 对物品的影响似乎并不一致。因此，使用另一种范式研究语音预测尤为重要。

而且已有研究的局限性在于不能直接揭示预测发生的时间。

本文基于Rommers, Meyer, Praamstra, and Huettig (2013) 的实验，他们对单词物理属性（形状）的预测进行了研究。本文使用语音相关的竞争者。

  • L2语音信息的预测

L2 说话者可用的资源比 L1 说话者可用的资源更有限。与 L1 说话者相比，L2 说话者访问词汇信息的速度可能较慢或语义网络较弱。因此L2相比L1，预测性更弱。

有证据表明，L2 说话者可以预测即将出现的单词的某些特征，包括语义或句法信息，但L2是否能狗预测语音信息尚不清楚。

与 L1 说话者相比，L2 说话者可能不太能够使用上下文信息进行预测。然而，当相关单词高度可预测时，L2 说话者实际上可能会预测语音信息。本文通过使用高度可预测的目标词来解决这个问题。

另一个对 L2 理解预测的潜在影响是来自 L1 的竞争信息。如果L1被自动激活，在 L2 理解期间在 L1 中做出的预测可能会干扰在 L2 中做出的预测。换句话说，可能会发现 L2 中明显缺乏预测，不是因为 L2 说话者没有预测，而是因为他们试图同时用一种以上的语言进行预测。

迄今为止，没有证据表明在 L2 听力理解期间 L1 语音预激活。因此，当前的研究调查了在听英语句子的 L1 日语 - L2 英语使用者是否预先激活了日语语音形式，这些单词是高度可预测的英语单词的翻译等价物。

24个英语母语者，没有接触过日语；24个日语母语，第二语言英语的被试。所有被试视觉正常，没有语言障碍。L2被试平均英语接触时长13年。

16个句子，每个句子和4个视觉情境匹配。目标词，英语竞争词（语音相近），日语竞争词（目标词对应日语的语音相似），不相关的词。4个词之一+3个干扰项。

句子

图1

实验句饱含高度可预测单词，平均17.6个词；16个filler句子和实验句长度一致。

  • 使用完形填空概率测试评估目标词的可预测性

L2显著低于L1，但都显著高于Martin et al. (2013)实验中的可预测性。预计高完形填空概率将最大化检测语音预测效果的可能性，特别是其时间过程。

  • 图片命名测试

首先，被试一一看到64个实验对象，他们的英文名称在视觉和听觉上同时呈现（名称由同一说话者以与实验句子相同的方式记录）。被试被要求将图像与单词相关联，以便他们以后能够命名它们。

然后，他们被要求使用前面给出的词来命名每个物体。错误命名的对象（L1 参与者为 0.9%，L2 参与者为 6.7%）被重复，直到参与者正确命名它们。

眼动实验：被试被要求听句子并判断每个句子是否提到了显示器中的任何物体。每个试验都以漂移校正开始，然后是 500 毫秒的空白屏幕。视觉场景在实验性试验中可预测词出现前 1000 毫秒呈现。在填充试验中，当句子没有提及场景中的任何内容时，在提到干扰者的单词出现前 1000 毫秒或在任意选择的句子中间位置出现。

L1 99.1%，L2 93.3%，高精度表明图片相对容易与预期名称相关联。

L1 100%，L2 99.2%，不正确回答的试验被排除在眼动追踪分析之外。

对项目有特定偏好的2个项目被排除。

1.线性混合效果模型linear mixed-effects model：

2.增长曲线分析

图2

  • L1 和 L2 说话者在听到目标词之前都比不相关的对象更多地注视目标对象，但两组的英语竞争词注视无关对象的时间过程不同。L1 说话者的合并线性混合效果模型表明，从目标词的语音开始前 600 毫秒到目标词开始后 1000 毫秒，L1 说话者比不相关的对象更有可能注视目标对象。这种对目标对象的偏好表明被试对目标词可预测性的敏感性。

在任何时间窗口中，相对于无关对象，L1 说话者都没有表现出对日语竞争词的任何偏见。这些结果表明 L1 说话者预测了目标词并预先激活了他们的语音信息。

  • 在目标词出现前 800 毫秒和 700 毫秒之间，以及从目标词出现前 350 毫秒到目标词出现后 1000 毫秒，L2 说话者比无关对象更有可能注视目标对象。这一发现表明，L2 说话者也预测了一些关于目标词的信息。然而，仅在目标词出现后的 600 毫秒到 1000 毫秒内，L2 说话者比不相关的对象更关注英语竞争词。英语竞争词的这种后期效应表明，L2 说话者没有预测语音信息，但他们确实在遇到目标词后激活了与目标词相关的语音信息（例如，通过启动）。从目标词出现前 1000 毫秒到目标词出现后 1000 毫秒，日语竞争词条件和无关条件之间没有任何差异。因此，没有证据表明说 L2 的人曾经激活了可预测单词的日语翻译的音系。

  • 增长曲线分析：测试了母语语言与目标预测效应和英语语音竞争效应的相互作用

图3

英语竞争词和无关条件之间的注视差异随着时间的推移而增加，并在 L1 说话者达到一个明显的峰值后下降，而条件在L2整个时间窗口没有差异。（图3上）

L1 说话者在时间窗口的中间显示条件之间的最大差异，但 L2 说话者在时间窗口结束时显示出最大的差异。英语竞争词与无关条件的比较，与语言组的交互作用在二次项上也显着，英语竞争词与无关条件之间的差异达到了峰值大约在 L1 说话者的时间窗口的中间，而 L2 说话者的差异在相应的时间窗口中似乎最小。（图3下）

因此，L2 说话者在后期时间窗口中的英语竞争效应不能归因于竞争对象的视觉吸引力。

  • 进一步探讨L2英语竞争效应与其接触英语时长的关系

研究目标词出现后600ms-1000ms，注视时长比例的差异，发现2者之间正相关，英语暴露时间越长的L2会有越强的英语语音竞争效应。

图4

和Rommers et al. (2013)对形状预测的研究一致，在目标词出现前500ms可以进行预测。但是形状预测的形状竞争效应比语音竞争效应持续的时间长。可能的原因：形状和语义相关，语义竞争效应比语音竞争效应持久。语义预测可能需要比语音预测更广泛和更不详细的信息（例如，语义类别，如水果），并且预测的语义信息可能比预测的语音信息与上下文相关的时间更长。

但对这一结果的分析基于2个不同研究。

另一个和Rommers et al. (2013)不同的实验设计在于：本研究进行了命名任务，可能会让被试在眼动实验中更关注语音加工。可能换成打印的文字呈现代替实物会更合适。

在目标词出现前500ms进行预测说明他们并没有简单地预测紧随其后的单词的形式。相反，他们预测了可预测且可能出现在下游的词的形式。

L2 说话者对目标物体进行预测性眼动，但他们的预测性眼动比 L1 说话者慢。此外，没有迹象表明 L2 说话者预测了语音信息。可能的原因：

1.基于产出的预测：使用语言产出相关机制进行语音预测。与 L2 产生相关的额外困难意味着与 L1 产生的情况相比，语音表征不太可能被构建。

2.在 L2 说话者中，图片与其名称之间的关联不像在 L1 说话者中那样强烈，因此图片可能在 L2 说话者中触发语音激活的程度较小。但是被试都完成了命名任务。语音竞争者启动效应与 L2 说话者接触英语的时间长度相关。

没有发现 L2 说话者激活英语目标词的 L1 翻译的证据。因此，结果不支持 L2 中缺乏语音预测是由于 L1 中语音预激活的干扰的提议。可能的原因：

1.整个实验是英语的

2.日语竞争效应太弱，没有在眼动中体现。没有日语竞争效应可能是因为图片命名任务是用英语进行的。

3.图片命名促进了词形激活/名称检索，增加了英语的激活。

4.缺少正字法，英语目标词和英语竞争词之间不仅语音相关，拼写也相似；而日语近语音相关。

L1 和 L2 的说话者都对即将出现的单词进行了预测。然而，L2 说话者比 L1 说话者更晚做出预测，本文认为与 L2 处理相关的资源限制延迟了预测处理。 L1 说话者似乎可以预测与高度可预测的单词相关的特定语音信息，但 L2 说话者不能。这一证据表明了对语音预测的限制，并且与语音预测可能并不总是发生的建议相一致。

1.汉语多音字（实物图片）/同义词（文字呈现）

2.形状和语音的预测的时间问题，语义和语音竞争效应的持续时间。