言语与手势共现，跨文化交际的多模态研究

一、文献名称 ¶

Lin, Y. L., (2017). Co-occurrence of speech and gestures: A multimodal corpus linguistic approach to intercultural interaction. Journal of Pragmatics, 117, 155–167. http://doi.org/10.1016/j.pragma.2017.06.014

二、研究背景 ¶

​ 说话人的手势在语义上与言语共同表达，在言语中起着不同的语用功能。“手势编配言语”有很多种不同的方式。手势和言语有相似的认知表征。虽然以前的多模态语料库研究广泛报道了叙事中的手势使用、特定语境下的英语、学术语境和儿童语言发展，但很少有研究关注更多的人际和跨文化交流方面的研究问题，或考虑说话者语言能力的作用。文章基于语料库语言学的方法，研究了不同母语、不同英语熟练程度的人在英语作为通用语(ELF)语篇中的言语和手势共现关系，旨在构建一个跨文化互动的多模态语料库，并研究如何用这种语料库来促进我们对手势-言语关系的理解。

三、研究过程 ¶

以台湾大学16名台湾学生、16名印尼学生和16名印度学生为研究对象。每组参与者的性别比例都是相等的，所有参与者都不是以英语为母语的人，年龄在20岁到25岁之间，平均将英语作为第二语言或外语学习了8到12年。

1、言语的哪些语义范畴最常与手势同时出现?在不同文化/语言背景的说话者中，联合手势言语的差异有多大?（“联合手势言语”指的是在面对面的口头对话中，与手势共同产生的话语或短语。这些共现词或整个词汇短语被识别出来，以反映共现手势的意思;它们也被称为手势的“词汇关联词”）

2、手势-言语关系的模式是什么?在不同文化/语言背景和英语熟练程度的说话者之间，这种关系有多大的不同?

​ MMCOIC是Multimodal Corpus of Intercultural Communication（跨文化交际的多模态语料库）

​ 根据CEFR（用于描述不同水平的语言能力）,根据参与者的整体英语水平，将他们平均分配到高级和中低水平。高级组包括中高级(B2+)至高级(C1);中低水平组主要为中低水平(B1)学生。

​ 被试随机配对，每个配对由两名来自不同国家但英语水平相近的被试组成。他们在大学教职员休息室面对面用英语随意交谈。被试可自由创建双方都感兴趣的话题，所有交流都被录制。然后根据标准正字法实践被转录成电子书面文本，最终形成了200358个单词的语库。

​ 要将所有的词汇关联词收集到一个纯文本文件中，该文件适用于语义标注的语料库分析程序。把文件上传到Wmatrix，然后根据USAS标记器，将语义标签自动分配给每个词汇关联词，包含21个主要的话语域，这些话语域依次扩展为232个细粒度的语义类别。标签准确率为91%，之后进行人工检查。

​ 研究认为co-speech手势可以被定义为伴随说话的自发交流的手势。在co-speech手势的编码过程中，招募了5名编码员。转录本被分为两组，每组都由两名编码人员一起分析。第五个编码人员分别查看每个集合中50%的数据，验证注释并解决分歧。

​ 手势识别有三个标准，每个标准在0-2的范围内打分，2为最高值：

1）运动是否容易察觉、有良好的幅度或以其速度很好地标记;

2）移动的位置是否在说话人的正面空间;

3）是否有精确的手形或者明显的轨迹。

​ 一旦每个手势笔画总分达到或超过3分，就在抄写中识别并标注该手势。并将其分类为指示性手势、标志性手势和隐喻性手势。

​ 对手势-言语关系的研究采用了自下而上的方法，首先研究与言语同时使用的手势，然后识别它们与相应言语的关系。分类方案包括：

​ reinforcing：手势所带来的信息与它所关联的语言信息是一致的。

​ integrating：手势所提供的信息并没有补充文字信息，而是使抽象概念更加精确。

​ supplementary：手势增加了语言内容中没有编码的新信息。

​ complementary：手势所提供的信息是对语言信息所提供的不完整的语言信息的必要补充。

​ contradictory：手势所提供的信息与口头信息所提供的语言信息相矛盾。

四、研究结果 ¶

Tab-1

联合手势的言语比例从11.9%到19.83%不等，这表明大约10- 20%的词汇项目在语音中伴随着手势。本研究中，只有台湾的数据集发现较不熟练的学习者在面对面外语交际中使用的非语言交际策略比高级学习者更多。在印度和印尼的数据集上，高级和中低水平说话者在这方面只有轻微的差异。

Tab-2

表2显示了在MMCOIC中，不同群体的参与者最常与手势同时出现的词汇项。定冠词the是所有参与者在说话时伴随手势出现的最频繁的词汇项。此外，代词也经常与手势同时出现。绝大多数是一称代词和二称代词，它们构成了两个人对话中最基本的方面。

Tab-3

表3列出了台湾、印度和印尼人的五个语义域，分别包括与手势同时出现的比例最高的五个语义域。例如，在表达移动、来来往往(M1)的讲话中，总共有71.3%是与手势共同产生的。虽然不同语言背景的参与者在言语中倾向于在不同的语义领域使用手势，但在汉语、印度语、印尼语三个不同群体中，手势的前五名语义领域是完全相同的。这表明尽管不同的文化和语言背景，讲话者对手势-言语产生的偏好是相似的。

Tab-4

表4显示了每10个从句中手势的平均频率(与不同关系类型的相对比例)，以及台湾、印尼和印度不同熟练程度参与者不同的手势-言语关系的分布。

熟练程度有显著影响。也就是说，手势-言语关系不受说话者不同语言背景的影响。

加强是手势-言语关系中最常见的类型。integrating是联合言语手势的第二个主要功能。从方差分析中，这种手势-言语关系被证明是区分低语速和熟练语速的另一个关键特征。在对complementary手势的分析中，发现熟练程度有显著的影响，表明低中级水平的讲话者倾向于产生更多的协同手势作为补充。

五、讨论及其他 ¶

本研究提供的证据表明，不同语言/文化背景的讲话者对手势-言语产生的偏好是相似的，而不同熟练程度的讲话者对手势-言语产生的关系是不同的。

样本数量小，双方的谈话怎么确定为有效谈话？同时，样本的选择仅限于东南亚，地区的趋同可能会导致结果的趋同。之后的研究可以把其他非亚洲地区纳入研究范围。此外，由本研究可以考虑其结果在实际二语教学中的应用，如何把手势加入到低水平学习者的学习中来？