一、文献名称 ¶
Fritz, I., Kita, S., Littlemore, J., & Krott, A. (2020). Multimodal language processing: How preceding discourse constrains gesture interpretation and affects gesture integration when gestures do not synchronise with semantic affiliates. Journal of Memory and Language, 117, 104191. http://doi.org/10.1016/j.jml.2020.104191
二、研究背景 ¶
在日常会话中，信息不仅通过言语来传达，还通过伴随言语的手势来传达，手势-语音融合过程受多种因素的影响，包括手势-语音同步，即时间重叠。目前的研究对手势只有与语义同步才能融入语音的结论提出了挑战。我们将手势的“语义附属关系”定义为靠近手势的言语部分，这些言语部分是言语-手势语义链接的焦点。
文章通过一个行为实验和ERP实验来探究言语和手势的关系 论文原文
三、研究过程 ¶
实验一、行为实验 ¶
行为实验测试了我们的话语操纵是否会影响被试如何解释标志性手势的意义。
a、被试 ¶
17名以英语为母语的人参加了这项行为实验。一名参与者由于严重的视力障碍被排除在分析之外。
b、材料 ¶
53个刺激，每一个刺激都由一个介绍句、一个目标句和一个手势组成。通过改变介绍句是否为手势的解释提供有用信息来操纵语篇信息。（有两种条件：在相关语篇条件下，导言句提供了与手势含义相关的信息，因此可以帮助理解手势的含义，而在不相关语篇条件下则不行。在这两种情况下，手势都放置在目标句子开头的实义词上。如果没有话语信息，这个词就不能消除手势的歧义。）
使用错配范式。在手势匹配条件下，手势与目标动词匹配。反之。
例子
c、材料的记录与编辑 ¶
句子由母语为英语的女性录制。不会用同样的手势重复同样的动词，为了让手势视频显得自然，手势演员被要求说出目标句子的开头，并在说出单词的同时做出这个手势，手势的比划从不与动词同步，而是总是在动词开始之前终止。
d、过程 ¶
被试的任务是仔细听和看每个视频，然后回答关于他们在视频中看到的手势的四个问题，视频放在目标动词之前，这样最初的手势解释就不会受到动词的影响。问题4要求参被试评价目标动词与手势的匹配程度，而不考虑他们自己对手势的解释。总的来说，每个被试对分为四个板块的212种刺激做出了反应。
实验1的例子实验。
e、研究结果 ¶
问题1要求被试写下他们自己对手势的解释，我们通过计算所有被试对特定手势的不同反应的总数来确定反应的多样性。同一个动词在不同语法形式下的回答被省略，如:fly, flying, to fly都被算作“to fly”的回答。没有动词的答案(例如，下，宽，上)被算作单独的回答。研究发现，与相关语篇条件相比，不相关语篇条件下每项回答的多样性显著增加
问题2：问及的是解读手势的难度有多大？研究返现话语类型对手势解释有重要影响。在相关语篇条件下的手势比在不相关语篇条件下的手势更容易理解。
问题3/4：以手势匹配(匹配/不匹配)和话语(相关话语/不相关话语)为主体内自变量。结果表明，语篇与手势匹配具有显著的交互作用。事后配对t检验显示，在相关语篇和不相关语篇中，匹配手势的评分显著高于不匹配手势，证实了我们的手势-动词匹配操作。在相关语篇条件下，匹配手势被认为比在不相关语篇条件下更适合与动词匹配
问题4询问了目标动词与手势的配合程度，无论他们自己如何解读手势，本研究未发现语篇效应，也未发现手势匹配与语篇之间存在显著交互作用。只有手势匹配产生了显著的效果，匹配手势被认为比不匹配手势更好地表征动词。
四、讨论 ¶
实验1考察了与手势语义相关的前一语篇在手势语义不一致的情况下是否会限制对手势的解释。研究结果表明，被试对手势的解释受到了话语操纵的影响。首先，与手势含义相关的先前话语的存在，降低了参与者对手势解释的反应多样性，即在相关语篇条件下，被试对手势的赞同程度高于不相关语篇条件。
其次，被试认为与不相关语篇条件相比，相关语篇条件下解读手势的难度更小。
第三，比起不相关语篇条件，被试认为他们的手势解释在相关语篇条件下更接近我们的匹配目标动词。相反，对于手势不匹配，我们没有发现两种语篇条件下的差异。
除此之外，虽然话语discourse影响了被试的手势解释，但是他们都认为手势能与目标动词很好地匹配，且不受话语discourse的影响。
手势的意义是依赖于话语方式构建，准确来说，意义构建不仅依赖于与手势同现的词语，还依赖于之前的话语信息，但是不能说话语暗示能完全消除手势的歧义，而是它们能限制可能解释的数量。