一、文献名称 ¶
Sindoni, M. G., (2019). Mode-switching in video-mediated interaction: Integrating linguistic phenomena into multimodal transcription tasks. Linguistics and Education, S0898589818304625.http://doi.org/10.1016/j.linged.2019.05.004
二、研究背景 ¶
数字环境形成了前所未有的自发互动格局，从而产生了突发性的语言变异模式。VMC（video-mediated communication)的研究不断增多，主要有三种理论：1、基于语言的方法 2、基于社会-民族-人类学的方法 3、基于互动社会语言学、语言人类学、语言民族学的方法。多模态研究和社会符号学对VMC研究的贡献有：1、淡化口语的重要性 从而 解决食品分析中的转录和注释问题。
三、研究目的及方法 ¶
目的：从多模态视角去阐释语言现象的意义，来填补认知理论与实际数据采集和分析之间的空白。
方法：实证研究（案例研究）。由于模式转换是语码转换的一种语言模式，因此文章通过一些视频分析来探讨以下问题：
1）在一对一的VMI中如何描述和解释MS （mode-switching)?当MS没有必要管理会话流程和/或处理技术问题时，它的交际功能是什么?
2）通过讨论学生的一些被摘录的多模态合成,注释和反思,可以获得什么样的数据,以及在教育环境中,这些任务如何在数字环境下发挥作用，特别是在增加学生语言使用意识和metapragmatic技能方面？
四、研究过程 ¶
a、材料 ¶
1、视频数据集（来自一个项目：“MoM: multimodal on The Move”的24个一对一Skype视频通话），48名被试。该项目试验了四所大学学位课程的联合教学大纲。课程大纲的目的是从社会符号学和跨文化的角度，帮助学生在当代英语文本的多模态数字素养方面获得高级技能。
2、24个多模态转录网格，其中学生手工注释资源的使用，如口语和书面语的转写，MS等
3、24篇学术论文
b、过程 ¶
数据集仅限于学生对VMI的生产和分析。在这个模块中，学生们学习了VMC中的符号资源(如语言、注视、运动、空间等模式)，以及会话分析和多模态相结合的基本转录方法。学生最后的作业包括:1)与英语为母语的人、亲戚或朋友进行录像对话;2)利用预结构的转录网格对短块视频会话进行手动多模态转录注释;3)一篇约2000字的学术论文;4)一个可以匿名评估另一个学生的同行评估网格。
三个实证研究：
1）语言和写作可以重叠吗？ ¶
fig-1
被试：Susan-自认是一名双语者，尽管她出生在意大利，说英语的频率不如意语。Chris-其亲戚，母语为英语。图中+号表明出现了MS;MS最常见的信号是在口语或书面模式下说出的离散转折。由例子可以看出，Susan能按照分类法进行分类，另一方面，Susan正确地理解并激发了她的决定，用同一行而不是两行分开的方式，将Chris的口头和书面转换表示为转录网格中的重叠。MS本身被描述为“视频对话中说话和写作之间的交替”，这表明它指的是在同一交际事件中的一种共时使用。
2）Mode-switching 和code-switching ¶
fig-2
例子2说明MS的不同用法，以及语码转换的使用
被试：Irene以及她的男朋友，谈论两者异地恋的问题：男方更明确地表达了他想尽快见到她的愿望，但女方显然对他的间接请求感到尴尬，于是决定切换模式(自我启动)，写下“我马上就到”。
以上例子说明，语码转换和MS的发生可以用相似的方式来解释:双方都不需要切换到另一种语言或模式(口头到书面，反之亦然)。情感功能帮助艾琳和弗雷德建立一个有助于亲密感的团结网络，因此克服了远距离关系和文化障碍的问题，比如说不同的母语。因此尽管艾琳能理解模式的切换，但是对其中的原因并不清楚
3）写作本身就是多模态的 ¶
fig-3
第三个例子显示了MS的其他模式。SC Raymond是一位自我评估的双语者(加拿大裔美国人和意大利人)。阿曼达是雷蒙德的表妹，在加拿大出生和长大。在谈话中，他们讨论了阿曼达搬到多伦多和男友马特一起住的可能性。然而，从她的犹豫中，雷蒙德立刻明白了，父母的文化背景影响了她推迟和马特住在一起的决定。
对话中阿曼达在推进标点符号的传统用法，创造性地增加了感叹号(!)和确定句式(。)的韵律功能。表示了父母拒绝她和男友住一起。情感功能在这里被展示出来，以幽默的方式表现——从而增加额外的言外之力——讲述她父母的反应。
Raymond正确地提到了MS可能是由内部和外部因素引起的这一事实，但他只报告了他试图促使SP对他发起的MS的“反应”(即他发送了一个表情符号)
五、讨论及其他 ¶
文章研究了24个视频通话，揭示了(1)从语言学角度的理论内涵;(2)教育意义;(3)多模态视角下的理论内涵。
在一些数字语境中，写作是用来“解释”演讲的，这是数字文本性的常见做法。数字环境已经为多模态、感官和类似意义的充分利用开辟了新的领域，乍一看可能纯粹是“语言”。从认识论的角度看，我们主张的有效性语言分析集成在多通道通信方法,特别是在教育环境中,不是一个抽象的原则,但从多模态的角度研究语言对跨学科交流和多模态语言学是十分有效的。