句子理解中词义和世界知识的整合

Hagoort, P., Hald, L., Bastiaansen, M., & Petersson, K. M. (2004). Integration of Word Meaning and World Knowledge in Language Comprehension. Science, New Series, 304(5669), 438–441.

尽管我们听到或者读到的句子都是有意义的，但并不一定意味着这些意义也均为真。相对而言，我们对建立语言表达的意义和真值的重要大脑结构和相对时间进程知之甚少。研究呈现的脑电数据显示，在句子理解过程中存在着快速且平行的语义与世界知识的整合过程；功能性磁共振成像数据同时表明左侧下前额叶皮质参与了意义与世界知识的整合；大脑频谱反应也显示大脑会对造成句子理解困难的因素留有记录。

在语言理解过程中，从记忆中提取关于语言词汇的信息和关于客观世界事实的信息必不可少。关于语义和世界知识之间的联系，基于语义学和语用学而言，一个句子的语义解读过程通常认为是与语用或世界知识信息整合相分离的，并且前者先于后者（Forster,1989）。然而，许多研究者（ Jackendoff,2003） 却曾经指出，区别语言意义和世界知识存在很多问题，因为很多词都是多义词，它们意义的完全建立依赖于世界知识的调用。

如果语言意义和世界知识之间存在着明确的原则性区别，与其相关的加工差异也应该在句子理解中被发现。语义和世界知识违反导致句子解读负荷的增加，被认为存在人脑的电生理活动效应和血液动力学效应。如果语义解读领先于世界知识的真值判断，语义违反效应应当早于世界知识违反效应，并且应当比后者更多地激活其他脑区。

作者运用神经电生理学实验（ERP）和神经影像学实验（fMRI），从时间特征和空间特征两方面来对比世界知识违反、语义违反和正确条件下的句子加工，并着重对比了词义与世界知识加工的时间进程、ERP 频谱特点和脑区分布，尝试解决词义和世界知识在句子加工中的机制及关系问题。

被试需要阅读三种类型的句子：

①The Dutch trains are yellow and very  crowded.

②The Dutch trains are white and very  crowded.

③The Dutch trains are sour and very  crowded.

荷兰的火车都是黄色的，因此第一类句子可以被正确理解为真。而另一个颜色词“white”（白）就语言学意义而言与“yellow”（黄）一样可以很好地充当“train”（火车）的谓词，是关于荷兰火车的世界知识使得第二类句子真值为假。第三类句子则又不同，这类句子存在语义限制的违反，“sour”（酸）的核心语义与味道和食物有关。根据经典解读条件，一个谓词需要一个与其语义特征相匹配的论元。第三类句子明显不符合这一要求，因为与味道和食物相关的语义特征不会用到火车上。因此，语义内部原因使得第三句为假或者不合理。作者认为正是关于语言词汇及其语言学意义的知识使得我们解读第三类句子时存在问题。

运用 29 导脑电系统记录脑电，采集了 30 个被试阅读句子中三种关键词处的 ERP，并进行平均。每一种条件有 40 个句子。句子在电脑屏幕中央逐词呈现，刺激呈现的时间间隔为 600 毫秒。被试读句子时，运用 70 Hz高频截止频率（低通）记录和放大他们的 EEG，时间常数 为 8 秒，采样率为 200 Hz。作者主要关注N400 的ERP 效应。N400 是目前所知的对语义整合过程最敏感的 ERP 成分（Kutas，1980）。一个特定的实义词（内容词）的词汇语义与上下文的语义要求匹配起来越容易，N400 的幅值越低。

与预期一样，语义违反诱发了经典的N400。我们同时观察到清晰的世界知识违反的 N400 效应，尤为重要的是，这一效应在潜伏期和峰值上与语义 N400 效应完全一致， 在波幅和脑地形分布上也与语义 N400 效应非常相似（见图 1）。这一发现从实验上有力地证 明了，在句子理解中词汇语义知识整合和一般世界知识整合在同一时间窗口内进行，均开始于词语呈现后约 300 毫秒左右。![[2022-10-23-FYQ-Fig-1.png]]

图 1.正确条件（黑）、世界知识违反条件（蓝色点线）和语义违反条件（红色断线）下代表电极点（Cz） 的总平均 ERP（n=30 个被试）。ERP 在时间上锁定关键词（下划线标示）呈现开始。与控制条件相比，语义 违反条件诱发了更大的居于 300 至 550 毫秒之间的 N400 成分[F（1,29）=73.0，_P_＜0.0001]。世界知识违 反的 N400 波幅也比控制条件下更大[F（1,29）=27.4，_P_＜0.0001]。语义违反诱发的 N400 波幅比世界知识 违反条件下稍大（_P_＜0.05），两种条件下的潜伏期不存在显著差异。换算后的标准电压值曲线图显示了 语义违反与控制条件之间（左）、世界知识违反与控制条件之间（右）在 300 至 550 毫秒间的平均差异。N400 效应的脑地形分布在语义违反与世界知识违反条件间不存在显著差异（P=0.9）。

另外，作者运用 EEG 数据在一个广泛的频率范围内（1 - 70 Hz）对语义违反和世界知识违反条件下的大脑频谱活动进行研究。在特殊的频率波段，比如θ（4 - 7 Hz）和γ（约 30 - 70 Hz）波段，发现了 EEG 振荡幅值的提升，这一提升由认知事件诱发，而认知事件被认为反映了参与认知加工的神经网络的动态变化[18]。EEG强度变化的小波频谱表征（TFR）（见图 2）在世界知识违反条件下发现了一个清晰的γ波峰，这一波峰在语义违反条件下没有出现[19]。与此相反，与其他条件相比，语义违反导致了θ频率范围内的强度增加。 两种效应均在 N400 成分的潜伏期内可见。尤其是在低频波段（比如θ波段），小波变换的时间分辨率相对较弱。这就意味着我们不能将θ和γ活动的相对的启动差异作为其背后神经生 理事件启动差异的可信指标。特别是γ峰的潜伏期看上去要晚于 N400 这个 ERP 反应的潜伏期与波峰。这表明人脑的频谱反应反映了后整合加工过程。

![[2022-10-23-FYQ-Fig-2.png]] 图 2.三种实验条件诱发的大脑活动的莫莱小波频谱表征。X 轴代表时间；y 轴代表频率。代表电极点上的频谱表征中的方框显示了潜伏期范围内被观测到的 θ 和 γ 反应区域，这一潜伏期范围与 N400 重合。频谱表 征左侧是被指示区域的 γ 反应脑地形图，右侧的头皮地形图显示了被指示区域的 θ 反应。世界知识违反显 示存在一个在 γ 波段范围内、额中央区分布的波峰，在 8 个电极点上存在显著的 γ 强度的提高（t 检验，双 侧，_P_＜0.05）。γ 强度在其他条件下没有提高。所有条件均发现了显著的 θ 反应。基于左右颞顶区及额区中 线等相关区域电极点的分析，语义违反条件下的 θ 反应显著强于其他条件[F（1,29）=4.2，_P_＜0.05]。另外， 只有语义违反条件诱发了额区中线上的 θ 增强，对中线上的电极点 Fz 的波峰周边分析（peak-surround analysis）发现了这一增强的情况。

研究者用相同的语料进行了事件相关功能性磁共振成像实验。

运用西门子 Sonata 1.5T 磁共振扫描系统采集全脑 T2 加权像，采用血氧饱和水平依赖的平面回波成像序列（EPI-BOLD），获得功能性磁共振成像数据。采用隔层扫描序列，重复时间为 2.48 秒，恢复时间为 40 毫秒，翻转角为 90 度，水平方向 31 层，切片矩阵 64×64，各向同性体素大小为 3.5×3.5×3.5 毫米。对于结构磁共振成像，我们采用高分辨率（各向同性体素为 1 立方毫米）的 T1 加权、磁化准备的梯度回波脉冲序列。运用 SPM99 软件，依据统计参数图对功能性磁共振成像数据进行预处理和分析。

时间上锁定于关键词开始呈现时获得的 fMRI 数据显示，与正确句相比，语义违反和世界知识违反句均导致了左前额下皮层（LIPC）的激活增强（见图3）。

激活涉及布罗德曼分区（BA’s）第 45、47 区及其周围脑区，这一区域此前曾报道与语义加工有关系。学界熟知的 N400 的发生源之一也包含在这一区域当中。作者的研究首次证明了 LIPC 在由长时记忆表征的世界知识的整合中的作用，与词汇语义知识的整合区差不多。 ![[2022-10-23-FYQ-Fig-3.png]] 图 3.根据最小 T-域关联分析的结果，与正确句相比，语义违反和世界知识违反共同激活的脑区（参见在线 支持文本）。两种违反均在左侧额下回 BA4（5 坐标[x,y,z]=[-44,30,8]，并且 Z=4.87）、BA4（7 [x,y,z]=[-48,28,-12]， Z=4.15）及其邻近区域产生了一个共同的激活（P=0.043，纠正后）。十字线标示的是体素的最大激活位置， 坐标为[x,y,z]=[-44,30,8]（左侧 BA45）。L 代表左半球，R 代表右半球。

在句子即时理解中，词汇语义和世界知识均在大约 400 毫秒内被迅速地运用（recruited）与整合。LIPC 似乎是意义运算和语言表达真值判断的共同皮层。前人提出的不重合两阶段解读程序认为，只有首先确定了句子的意义，然后才能依据我们对于世界的知识来判断意义的真假。我们的实验结果不支持这一观点即语义解读并不与它对意义的非语言学部分的整合相分离。

综上所述，在我们读一个句子时，大脑同时提取和整合了词汇语义和世界知识，LIPC是这个整合过程的重要脑区。而且，与侦测一个句子是否存在语义异常相比，我们并没有花更长时间或更晚地发现这个句子是否为假。而人脑的频谱反应提示，大脑对造成句子解读困难的因素进行了记录，不管它涉及的是语义，还是世界知识。

（1）直面世界知识的加工整合，并区分词义和世界知识的加工机制，既解决了普世的世界知识与语言理解问题，又解决了语言认知中句子加工阶段问题以及词义和世界知识的关系问题。

（2）在语言认知研究中一次使用多种实验方法和技术手段，尤其是较早将 ERP 的频谱分析运用在句子加工研究中。研究通过潜伏期、峰值、时间进程、地形分布等分析认为世界知识如词义一样很早就得到加工，通过频谱分析区分二者，提出平行加工的观点。这两点又共同反对了两阶段理论。通过磁共振技术对二者的加工进行进一步定位，通过技术的完美结合完成了研究目标。