音乐对语言加工的影响——来自 ERP 的证据

论文信息：王星,李德高,李艺 & 宋丹贵.音乐对语言加工的影响——来自ERP的证据. 应用心理学. doi:10.20058/j.cnki.CJAP.022119. ¶

关键词:ERP证据 音乐加工 语言加工 ¶

向音乐人和非音乐人分别同时呈现句末词有无词类范畴违反的句子，和结尾和弦有无和弦句法违反的和弦序列，并采用ERP技术观察被试 音乐加工对句子加工的影响。结论是，汉语句子和和弦序列的句法整合加工之间似乎共享神 经资源。这两种句法整合加工机制性质相同，能相互促进。音乐训练对语言和音乐句法整合加工的神经资源共享性有调节作用。

研究表明，有形态变化语言的句子和和弦序列在句法加工上有神经资源共享性 (Patel, 2010)。汉语缺乏形态变化，那么，汉语句子和和弦序列加工之间是否也有神经资源共享。根据共享句法整合资源假说 (shared syntactic integration resource hypothesis, SSIRH) (Patel, 2003)，音乐和语言共享用于句法整合加工的神经资源。如Kunert(2016)发现，与仅句子是非花园路径句条件相比， 当和弦序列和句子同时出现花园路径结构 (见图 1) 时，被试的和弦序列感知完整性评分显著降低。

图1：Kunert et al. (2016) 中和弦序列举例

图 1 前7个和弦是C大调，第8个和弦是既属于C大调也属于降B大调的和弦，第 9~12 个和弦是降 B 大调。处于结尾的两个和弦或者是降B大调，或者是C大调，而以C大调结尾的和弦序列就类似于语言中的花园路径句。 除行为实验研究证据外，采用 ERP (event-related potential, 事件相关电位) 技术所取得 的研究证据也支持SSIRH。同时，认知控制能力不同，音乐和语言共享的加工机制也会有所差异，为考察汉语和音乐句法加工资源共享性，本研究拟仿效 Yang等(2021)，采用词类范 畴违反 (syntactic category violation, SCV) 的方法构造汉语句法违反句，并参考 Koelsch 等 (2005) 的范式，分别向音乐人和非音乐人被试同步呈现音乐和语言刺激。研究者认为：音乐加工会影响 SCV 诱发的 P600，且音乐人会比非音乐人受到更大影响；语义违反所诱发的 N400 不会受 音乐加工影响。

右利手、视听正常、无疾病。 音乐人：有钢琴等乐器训练背景的 26 名大学生 (男 11 人) 非音乐人：未曾接受音 乐训练的 26 名大学生 (男 7 人)，接受了《蒙特利尔失歌症成套测验》（MBEA）

两组被试的基本情况如表1：在年龄和受教育年限上无显著差异, 在音乐训练年限和每天平均听歌时长上有显著差异。

表1：被试信息

句子材料： Step1:确定30个数量名结构，熟悉度评分为6.84(SD = 0.37)；e.g.一部手机 Step2:以此为句尾构建30个正确句；e.g.警察捡到了一部手机。 Step3:确定30个动作含义动词，(M = 6.89, SD = 7.71); e.g.奔跑(词频和笔画数无明显差异) Step4:用上述动词分别替换正确句的句末名词构建30个SCV句；e.g.警察捡到了一部奔跑。 Step5:句子可读性评定。正确句 (M = 1.16, SD = 0.37) 和 SCV 句 (M = 6.60, SD = 0.65) 的可读性评分之间差异显著 Step5:增加了60个有违反和60个无违反的填充句。（目的：为避免被试对同一句式的策略性加工。格式：含有数量名结构但是位置不定）

和弦序列 编写30个有和弦句法违反和30个无和弦句法违反的和弦序列。如图2所示。

图2：和弦序列示意图

和弦序列说明：前 4 个和弦调相同，无句法违反和弦序列的结尾和弦是该 调的主和弦；有句法违反和弦序列的结尾和弦是五度圈中距离至少三步以外调的主和弦。和 弦序列选用了 C 大调、G 大调和 F 大调，每个调各有 10 个有无句法违反的和弦序列。

采用 2 (被试类型：音乐人或非音乐人) × 2 (句子类型：SCV 句或正确句) × 2 (和弦序列 类型：有无句法违反的和弦序列) 三因素混合测量设计，后两个变量为重复测量因素，因变量为被试在对句末词加工上的ERP成分 (ERAN、N400 和 P600) 的振幅。

2blocks × 120trials “+”500ms -> 句子（词1-600ms+词2-600ms+词3-600ms+词4-600ms+句末词-1200ms） 5个和弦序列和5个词同步播放，所有刺激伪随机。 被试任务：关注句子 和忽略音乐刺激，就刚刚消失句子的含义正确与否在键盘上做出按键应答。

NeuroScan 10-20脑电系统（64导）采样率为1000Hz 参考电极：在线参考为鼻尖，离线分析转为双侧乳突 数据分析：Matlab：EEGLAB/ERPLAB 手动剔除坏段 0.1-30Hzs的带通滤波 去除50Hz工频干扰
数据分段–200 ms 至 1000 ms，即刺激前 200 ms 作为基线进行校正

选取24个电极点并分为4个区： 前部左侧 (F1, F3, F5, FC1, FC3, FC5) 前部右侧 (F2, F4, F6, FC2, FC4, FC6) 后部左侧 (CP1, CP5, CP3, P1, P3, P5) 后部右侧 (CP2, CP4, CP6, P2, P4, P6)

采用SPSS对在句末词上观察到的 ERAN (150-250 ms)、N400 (300-450 ms) 和 P600 (500-700 ms) 的平均振幅进行 2 (被试类型) × 2 (句子类型) × 2 (和弦序列类型) × 2 (部位：前 部或后部) × 2 (半球：左半球或右半球) 五因素混合测量方差分析。

音乐人和非音乐人对阅读理解问题的应答准确率分别为 0.94 (SD = 0.07) 和 0.95 (SD = 0.06)。如图，ERAN、N400 和 P600 都体现了来自操纵变量的显著影响。

图3：音乐人句法条件下总平均 ERP 波形图和脑地形图

图4：非音乐人句法条件下总平均 ERP 波形图和脑地形图

对 ERAN 分析表明：音乐人的 ERAN 振 幅 (M = 3.57μV, SE = 0.59) 显著大于非音乐人的 ERAN 振幅 (M = 5.22μV, SE = 0.59)。 对 N400 分析表明：音乐人在右半球 (M = 1.82μV, SE = 0.59) 比在左半球 (M = 2.54μV, SE = 0.66) 的振幅更大 (F(1, 50) = 6.33, p = .015, η2 p = 0.11, BF10 = 3.12)。 对 P600 分析表明：句子类型、半球和被试类型交互效应显著 (F(1, 50) = 7.58, p = .008, η2 p = 0.13, BF10 > 100)，在正确句条件下，非音乐人 (M = 4.00μV, SE = 0.82) 比音乐人 (M = 1.50μV, SE = 0.79) 在大脑左半球的振幅更大 (F(1, 50) = 4.82, p = .033, η2 p = 0.09, BF10 = 4.01)。

与前人研究 (Yang et al., 2021) 一致，SCV 在晚期阶段诱发了振幅更大的 N400 和 P600；音乐对语言加工的影响仅发生在 P600 上。相比于正确句，被试在 SCV 句上有振幅更大的 N400，体现了他们对量词和动词间语义不匹配的加工。 句法上：与 SSIRH 一致，在晚期加工阶段，汉语数量名结构和和弦序列可能共享了用于句法整合加工的资源。 相比于非音乐人，音乐人在调外和弦上诱发了更大的 ERAN，表明音乐训练确实增强了其音乐句法意识，致使其音乐句法早期加工的自动化程度更高 (Koelsch et al., 2002)。 从脑地形图分布结果看，与非音乐人相比，音乐人的 N400 和 P600 成分都偏向于左半 球。这是因为音乐加工更多地激活了大脑皮层左半球区域 (Murayama et al., 2004)。

汉语句子与和弦序列的句法整合加工之间似乎有神经资源共享，两者使用了性质相同且相互促进的加工机制。同时，音乐训练对语言和音乐句法整合加工资源共享性有调节作用， 音乐人对音乐句法加工会比非音乐人投入更多的加工资源。

本研究在语言和音乐句法整合加工有神经资源共享性方面，提供了新的证据。 但是，由于汉语中不存在有句法违反而语义正确的句子，因此，本研究考察句法加工时不能 完全排除来自语义加工的影响。此外，本研究采用的音乐为西方调性音乐，研究发现是否可 以推广到中国传统音乐加工上，还有待进一步验证。

Patel, A. D. (2010). Music, Language, and the Brain. Oxford university press. Patel, A. D. (2003). Language, music, syntax and the brain. Nature Neuroscience, 6(7), 674–681. Kunert, R., Willems, R. M., & Hagoort, P. (2016). Language influences music harmony perception: Effects of shared syntactic integration resources beyond attention. Royal Society Open Science, 3(2), 150685. Yang, S., Cai, Y., Zhang, X., & Jiang, M. (2021). Semantic and syntactic processing during comprehension: ERP Evidence from Chinese QING structure. Frontiers in Human Neuroscience, 701923. Koelsch, S., Gunter, T. C., Wittfoth, M., & Sammler, D. (2005). Interaction between syntax processing in language and in music: An ERP study. Journal of Cognitive Neuroscience, 17(10), 1565–1577. Koelsch, S., Gunter, T. C., Cramon, D. Y. v., Zysset, S., Lohmann, G., & Friederici, A. D. (2002). Bach speaks: A cortical “language-network” serves the processing of music. Neuroimage, 17(2), 956–966. Murayama, J., Kashiwagi, T., Kashiwagi, A., & Mimura, M. (2004). Impaired pitch production and preserved rhythm production in a right brain-damaged patient with amusia. Brain and Cognition, 56(1), 36–42.