一、文献名称 ¶

Kohrs, K. (2017). Learning from linguistics: rethinking multimodal enquiry. International Journal of Social Research Methodology. 1–13. http://doi.org/10.1080/13645579.2017.1321259

二、研究背景 ¶

​ 多模态研究认为，意义不仅可以通过口头和书面语言进行交流，还可以通过图像、手势、凝视等其他方式进行交流。高质量、小型化的音频和视频录制和存储技术的广泛应用，使得多模式数据收集既便宜又容易。然而，对大量记录数据的转录和分析是复杂、耗时、劳力密集和昂贵的。文章基于现代语言学对多模态研究提供一条前进的道路，通过引入产生结果和假设的方法，可以批判性地评价和实证检验。

三、研究内容 ¶

a、例证 ¶

​ 文中提到，多模态分析较为成功的两个例子是：Kress & van Leeuwen的视觉语法、Baldry和Thibault的多模态转录和文本分析

​ Kress和van Leeuwen注意到了多模态数据对意义创造的重要性，但在一些分类上还是有问题的，他们是从一些小样本中得出的广泛性、一般性的结论，比如说左/右。

​ Baldry和Thibault 通过对特定文本的仔细分析来建立详细的描述，从而得出概括结论。也就是说细节非常重要，也就加剧了转录的复杂性。也就在一定程度上导致框架不连贯。

​ 还有一种是基于语料库的实证研究，这也是目前很多研究都采取的一种研究方法，这使得多模态分析能更可核查，更少有印象主义。

b、理论挑战（5个维度） ¶

1、经验和方法角度。 ¶

​ 方法论的弱点其实是显而易见的：选择的例子可能是符合个人要求的，有目的性的挑选。正如K和V的，选择的例子并没有在连贯的框架里面，因此建立多模态语料库还是有必要的，能可靠地建立系统的发展相对频率或模式的语言特征和文本类型的团体之间的联系。

2、术语和定义方面 ¶

​ 因为视觉研究在范围、目的、方法上存在异质性，不同研究方向对多模态的定义是不同的，普通语言学的经验表明，共同的术语有助于研究的开展，因此对“多模态”的定义还是值得探讨的一点。

3、数据方面 ¶

​ 多模态分析中什么构成了数据这一点还非常不清楚。例如在语义学方面，诸如right/wrong和right/left等歧义会造成困难,因此在多模态分析中，从自动提取特征到确定意义的挑战加剧了，因为注视只会基于特定的理论方法使语料库的特定特征更加突出。所以多层注释原则是多模态分析的一个重要方面。

​ 理论和方法论框架很重要。单一维度的非言语分析和具体语境下的详细分析的复杂性不是同一等级。同时，多媒体的运用使得数据收集非常地容易，但是材料的转录是非常复杂的，并且软件能否自动化转录也是非常复杂的。

4、范围 ¶

​ 对单个模态过多的分析会限制对多模态的理解，但是模态过多又会导致对单个模态的关注不足，因此模态中众多变量有复杂性，只有对一种特定类型的视觉语言进行有目的的限制，才能使对一组工作进行严格的系统分析变得可行，并最终推动对有关视觉语言综合框架的研究。

5、母语者能力 ¶

​ 多模态分析的一个关键难点是缺乏与成人母语者同等的语言能力。例如，设计专业人士可能会以不同的方式评估图形文本的标准，一些研究员对自己领域的研究很深刻，但其他方面的知识就很有限了。

四、问题及其他 ¶

​ 多模态研究无疑是非常新兴和热门的，但是一个非常艰巨的任务就是要找到对其模式和变量分类的显著方法。仅仅依靠直觉和从单个或少量的案例研究中归纳是不充分的，语料库方法源自语言学，可以为多模态研究带来急需的学术严谨性，同时将研究范围限制在定义相当狭窄的文本类型

​ 从语言学的角度来看，多模态文本所固有的数据的复杂性和丰富性使得寻找模式成为一个关键的研究目标。因此，一旦模式变得明显，以可靠的经验数据为基础的比较研究就变得可行。

​ 语言学上书面语和口语的多模态分析？非言语和言语的多模态分析，是可以进一步研究的目标。基于语料库，能否尝试开展一定的实验来验证语料库方法的可行性？