多模态编码:双语青少年跨模态和语言组合的过程



一、文献名称 ¶

Smith, B. E., Pacheco, M. B., & de Almeida, C. R. (2017). Multimodal codemeshing: Bilingual adolescents’ processes composing across modes and languages. Journal of Second Language Writing, S1060374317301194–. http://doi.org/10.1016/j.jslw.2017.04.001

二、研究背景 ¶

​ 随着数字时代的到来,当今社会的写作观念也随之扩展。多模态组合打破了书面文本的线性、静态和有界约束,涉及到动态、交互式和超链接格式。虽然研究已经开始显示在学生的数字产品中利用多种语言和模式的交流潜力,但很少有研究表明学生在创作过程中如何进行跨语言和模式移动。

三、研究目的及方法 ¶

目的:本研究以两个研究问题为指导,通过比较案例的方法,来提供对学生在跨模式和语言组合过程的复杂性和多样性的见解。

​ 1、八年级双语学生的多模态代码建模的过程是什么?

​ 2、双语学生如何在多模态代码建模的过程中使用传统语言?

本研究的理论框架基于translanguaging和社会符号学,以此指导对多模态代码建模过程的理解。

​ 通过有目的的抽样选取了三名学生。使用“遗产语言”一词来表示学生与他们的家庭或社区使用的语言,这些语言与他们的文化遗产密切相关。这些语言不一定是学生的第一语言或母语,也不一定是学生最精通的语言。

​ 1、Yuliana。15岁,出生于萨尔瓦多,在研究期间只在美国生活了两年。据本人说,她的西班牙语水平很高,而州评估显示她的英语水平有限。在家里,她和继父说英语,和母亲说西班牙语。在学校,Yuliana和她的朋友们说西班牙语。

​ 2、Kasim。14岁,出生在美国,家人来自伊拉克。据报告,他的传统语言巴迪尼语取得了进步,根据州评估,他的英语水平达到了中级水平。

​ 3、Becca。14岁,出生于美国,与越南母亲和哥哥住在一起。她报告说,她的越南语水平中等,根据国家评估,她的英语水平较高。在家里,贝卡和妈妈说越南语,和哥哥说英语。

​ 学生们参加了一个为期四周的literature unit,与《勇士之心》有关。最后的项目是一个多模态的展示,学生们选择一个他们认为是个人英雄的人。作业的第一阶段要求学生对他们心目中的英雄进行采访并记录——许多学生选择用他们的传统语言交谈。接下来,他们用PowerPoint制作了一个多模态的演示文稿,其中提供了主人公的背景信息、采访的合成、与小说的联系以及个人反思。这个任务有几个目的,包括让学生(a)通过讲述他们生活中的英雄的故事来形成与小说的个人联系;(b)反思小说中英雄主义的主题,(c)获得技术技能,和(d)通过在数字环境下的多种模式来表达自己。由于许多受采访的“英雄”学生不会说英语,学生们选择使用其他语言。学生通过“workshop”学会如何制作PPT,班主任Lancaster女士会为学生提供技术上的指导。

Tab-1

Tab-1

Tab-2

Tab-2

1、电脑屏幕记录。用装有Camtasia软件的笔记本电脑来记录屏幕的运动。该软件跟踪学生的鼠标操作、网站访问、写作内容以及所有使用和编辑的媒体。

2、视频观测。摄像机放在学生面前,记录他们的面部、身体和互动。

3、设计面试。在项目完成后,学生参加了45分钟的半结构化设计访谈。这些访谈的目的是了解更多关于学生的模态设计,传统语言的使用,以及他们的代码建模过程的观点。

4、构件和材料。收集了与他们的多模式项目和过程相关的工件。

四、结果分析 ¶

Fig-1

Fig-1

​ 学生们越来越多地使用多种模式来创建他们的“My Hero”项目。以Yuliana为例,一个对PowerPoint经验有限的人,在她的整个创作过程中,快速地在文本、图像、声音和过渡中导航——同时也在英语和西班牙语之间进行切换。Yuliana的编码技巧在最后一次课堂研讨会(117分钟)中表现得尤为明显,她在5张幻灯片上编写了项目的新部分,在6张幻灯片上编辑了写作,在6张幻灯片上搜索和编辑了图像,并在6张幻灯片上插入了过渡。

Tab-3

Tab-3

​ 所有学生的多模态编码过程的一个主要特点是在数字和面对面的创作空间中使用口头和书面形式的传统语言。

​ 结果显示,学生们以相似的方式开始他们的过程——通过探索、分享和视觉头脑风暴。同样,多模态组合的研究也强调了数字项目的协作性,为学生们提供了丰富的互动空间,让他们分享自己的设计经验并提供反馈。尽管学生们在如何启动他们的过程、整合他们的传统语言方面有相似,但通过多模态组合所提供的灵活性也允许学生们的过程有个性化。

​ 研究结果表明,学生在创作过程中使用传统语言的目的不同。同时,学生对传统语言的不同使用塑造了课堂内的语言实践,并因此塑造了课堂空间。

五、讨论及其他 ¶

主要讨论的是在课堂上多模态编码的形式,其他方面的多模态编码没有涉及。被试选择虽然具有代表性,但数量太少,以此推开研究是以后可以研究的方向。