将 N400大脑电位建模为意义的概率表征的变化

文献：Rabovsky, M., Hansen, S. S., & McClelland, J. L. (2018). Modelling the N400 brain potential as change in a probabilistic representation of meaning. Nature Human Behavior, 2, 693–705. https://doi.org /10.1038/s41562-018-0406-4

原文

1.背景和目的 ¶

事件相关电位N400被认为提供了大脑中意义处理的在线测量。但是这个潜在过程尚不清楚。尽管 N400 的数据量很大，但其功能基础仍然存在争议：已经提出了各种语言描述理论 ，但由于缺乏操纵，它们捕获所有相关数据的能力难以明确确定，并且还没有提供普遍接受的解释。

本文对这个过程和句子含义的新兴表示进行了计算明确的说明。将 N400 振幅模拟为​​由传入刺激引起的变化，以隐式和概率表示的方式表示由句子理解的神经网络模型中的隐藏单元激活模式捕获的含义，并且提出 N400 背后的过程也驱动隐式在网络中学习。该模型统一说明了来自 N400 文献的 16 个不同发现，并将人类语言理解与最近的语言处理深度学习方法联系起来。

2.模型 ¶

句子格式塔模型SG，它提供了语言理解的功能级表征，其中句子中的每个单词都提供了线索，限制了句子所描述事件的隐式概率表示的形成。

图1

该模型由更新网络和查询网络组成。圆圈代表单元层（以及每层中的单元数）。箭头代表所有可修改的连接；每个单元对其总输入的变换，其中每个输入是发送单元的激活乘以该连接的权重的乘积。在模型的更新部分，每个传入的词都通过“隐藏 1”层进行处理，在那里它与之前的 SG 激活相结合，以产生与所描述事件的更新隐式表示相对应的更新 SG 模式。在训练期间，在每个呈现的单词之后，模型会在查询网络中针对所描述事件的所有方面（例如：施事、“人”；动作、“游戏”等）进行探测。在这里，来自探针层的激活将通孔层“隐藏 2”与当前的 SG 模式相结合，以产生输出激活。显示了响应施事、动作和受事探针而激活的选定输出单元；每个查询响应包括一个区别特征（例如“男人”或“女人”，如图所示）以及其他特征（例如“人”或“成人”，未显示）捕捉事件参与者之间的语义相似性。在呈现“男人”之后，SG 表示（思想泡泡，顶部）支持在探测代理时激活正确的特征，并估计动作和受事特征的概率。

指导这种表征形成的输入也可以来自直接见证事件、图片或声音，或者来自语言和其他形式输入的任意组合。句子中每个连续单词产生的激活更新的幅度对应于该单词产生的模型概率表示的变化——正是这种变化反映在 N400 振幅中。

公式

SU 如何捕获 N400 最好用一个例子来说明：在听者听到“我喝加奶油和……的咖啡”之后，认为激活状态已经隐含地代表了说话者喝加奶油和糖的咖啡的高主观概率，所以当出现“糖”这个词时，表征的变化很小，导致激活变化很小，因此 N400 很小。相比之下，如果出现“狗”，则表征将发生更大的变化，这对应于事件特征主观概率的更大变化，反映在激活的更大变化中，因此 N400 更大。

3.句子格式塔模型的显着特征 ¶

如何解释实证结果？

1.该模型形成了句子所描述的情况或事件的表示，而不是句子本身的表示。SG 模型不包含用于词法访问或句法解析的单独模块——而是简单地从词形式映射到句子含义的隐式概率表示。模型类似于学习模型，比如谷歌的翻译模型，表征是通过学习预测从一种语言到另一种语言的句子翻译来形成的。而不是对输入句子的内部表征形式/结构进行规定。

2.基于对事件和描述事件的句子的经验的逐渐积累，学习在模型中发生在与人类发展松散对应的延长时间过程中。语义更新不只依靠环境数据，也依靠模型的扩展训练，可以使其依据经验处理N400.

3.该模型对呈现给它的单词做出响应，而与它们是否构成句子无关，正如在网络的更新部分中实现的那样。这允许模型解决由成对或单独出现的单词引起的 N400。我们认为这是一个很大程度上自动的过程，独立于听者的意图而进行。无论它们是否在句子中，由单词产生的 SG 活动将反映它们发生的事件的各个方面，符合意义表示的具体方法。在训练期间使用对事件查询的响应的显式计算，以允许模型学习从句子映射到含义，但是这个过程不被认为对 N400 有贡献，并且通常不会在 N400 实验期间发生，当没有可用的外部事件信息。

4.不认为 N​​400 中反映的过程是唯一有助于语言理解的过程。其他加工过程的ERP成分可能会在理解描述难以置信的事件的句子或具有异常结构的句子中发挥作用，这些过程可能会导致最终从语言输入中导出的意义表示发生变化。

4.结果 ¶

N400最开始在语义不一致的配对中发现，比如面包和袜子，是语义异常配对，而面包-黄油是一致的配对。在模型中，语义不一致的SU明显更大。

N400是分级的，对可接受、低填空率的句子有更大的振幅。与训练期间的高概率 (0.7) 相比，具有低 (0.3) 的句子结尾的更大 SU。

N400效应在正常一致的句子中随单词序列逐渐减小。模型中的 SU 相应地显示了句子中连续单词的逐渐减少。

图2

*该模型的 N400 相关。蓝点表示模型独立运行的结果（n = 10 个模型），每个条件的项目的平均值（下面给出的项目的 n 值）；红点代表条件均值； ± 平均值 (SEM) 的标准误差将用红色误差条表示，但在此图中，误差条不超过红点的面积。 *

N400s 反映一个词在特定语境中的可逆概率。然而，有证据表明，N400s 可能不是单词概率本身的函数，而是单词所表示的意义方面的概率：对于语义上更接近正确完成的不一致完成，N400 比语义上更远的那些更小。（不一致的词，语义接近的N400小于语义不接近的）比如目标词棕榈树，相比类别一致的松树，类别不一致的郁金香的N400更大。

模型捕获了这些结果：比较了在训练期间以高概率呈现的句子完成和两种从未呈现的完成。高概率词的SU最大，和高概率词共享语义特征的词的SU小于不共享的。

N400 反映了将传入的单词整合到前面的上下文中的效果。但是N400不一定需要句子上下文，也可以在成对的单词或者单个单词中出现。高频词的N400小于低频词的，相关词的N400小于不相关词，词立即重复的N400小于不相关词的相同单词。如果出现一个句子，SG 模式概率地表示一个句子的含义，但该模型也处理单独或成对出现的单词。与传统模型不同，没有单独的系统来访问单词的含义。相反，该模型包含一个处理单词和单词序列的系统，无论它们是否构成一个有意义的句子。训练期间出现相对频繁的孤立词的 SU 较小；与来自不同类别的单词相比，来自同一语义类别的单词之后呈现的单词的 SU 更小；相比无关词，在关联相关词之后出现的词较小；最后，与在无关单词之后呈现的单词相比，重复单词的第二次呈现的 SU 更小。

“反转异常”句子中缺乏强大的 N400 效应。比如“早餐，男孩吃…”和“早餐，鸡蛋吃…”，是一组反转异常，但异常句子的N400只有很小的增加。而句子变体“早餐，男孩埋葬…”，有更大的N400增加。

这个结果引发了相关的的理论不确定性。可能是因为鸡蛋结合上下文被解释为受事的概率更大，这种情况被称为语义错觉。也有研究者认为N400与语义无关，反映词义检索，这样的话语义和P600而不是N400有关。

用模型解决争议，反转异常的SU略有增加，相比之下，句子变体的N400显著增加。查询网络对相关探针的响应表明该模型确实保持了基于事件概率的解释，因为即使在出现“吃”这个词之后，它仍然继续支持将鸡蛋作为受事而不是进食的施事。

第二个模拟解决了反转异常中的较小 N400 效应。“杀死了猎人的狐狸”和“病人切开了外科医生”。在这里，两个事件参与者都是有生命的，但句法支持的解释与事件概率不一致。两个参与者都可以是涉及另一个受事的事件的施事。两者都可以从事相关的行动。

模型使用荷兰语，因为2个名词都在动词之前。相比一致，反转异常的SU稍稍增加，不一致的SU有更大增加。虽然模型对一致句子的解释是明确的，但由于词序和事件概率强加的冲突约束，它在处理反转异常时表现出其角色分配的不确定性。这种冲突没有反映在动词的大 SU 中，因为它已经出现在第二个名词上并且没有被动词解决。

总之，模拟表明反转异常中的小 N400 效应与 N400 反映了在 SG 模型中实现的句子含义的隐式表征的更新的观点是一致的。该模型部分符合以前的观点，支持在句子处理中发挥合理性约束的作用。但是N400底层的初步启发式理解过程不纯粹基于事件概率。该模型对事件概率和句法约束都很敏感，从这个角度来看，逆转异常中的小 N400 效应并不一定反映基于事件概率的明确解释（例如，偷猎者狩猎狐狸）。相反，该发现可能反映了不同线索之间未解决的冲突状态。可能与 P600 相关的其他过程可能会解决这种情况下相互竞争的解释之间的冲突。

图3

N400不受句法因素影响，因为句法因素会激发P600效应。这个模型表征的是事件，事件不一定受单词顺序改变的影响。同时模型也对违反不敏感。相比语序改变，正常的SU略大。因为单词顺序的变化也意味着一个词提供的关于所述事件的信息量的变化，与更改的单词顺序相比，正常句子中的语义信息量平均略高。

N400 并不取决于事先建立特定期望值。对于不可预测的单词，无论是否可预测，N400效应一样大。因为上下文无法预测特定单词，上下文预测的特定单词和呈现的不同。N400 与模型中的 SU 一样，对意外语义信息的数量做出响应，并不构成违规信号本身。

在上述所有模拟中，将 N400 视为事件特征概率明确估计变化的反映，而不是反映隐含的内部表示的更新，而这种内部表征仅在查询时才会变得明确，从而对现象进行建模。在本节中，我们显示隐式 SU（在隐藏的 SG 层中测量）和网络对响应探头的特征概率的明确估计的变化（在输出层中测量）可以是不同的方式模式，隐式 SU 模式与 N400 更紧密地结合，支持更新已学到的隐式表示，而不是对捕获神经响应的事件特征概率或客观真实概率的明确估计。然后，我们考虑隐式 SU 如何推动更新网络中的基于连接的学习，从而解释经验发现的最后模式。

图4

N400s 随着语言体验的增加和过度开发而变化。N400效应随年龄减小。对训练中不同点的语义一致性对SU的影响进行比较，就会发现与这些发现一致的发展模式。随训练，N400效应减小。第二部分训练对SU的影响的减少，是因语义一致性对输出激活变化的影响持续增加所导致的。输出层的激活模式反映了对外放层单位的语义特征概率的明确估计，该单位明确表示语义特征（如"可以生长"和"绿色"），每个功能单元的激活与此情况下此功能的条件概率相对应时，网络误差（在整个培训环境中）被最小化。在训练有素的模型中，由传入的单词引起的输出激活变化，大约是该单词诱导的特征概率的明确估计值的变化。

隐藏和输出激活变化的反向模式是可能的，因为如上所述，SG 激活无法解释 - 它代表语义特征的概率，而是支持在查询网络中估计这些概率的基础（连同查询网络中的连接权重）。随着查询网络中的连接权重在整个学习过程中变得更强，SG 激活的较小变化就足以产生输出激活的巨大变化。这种劳动力从激活到连接权重的转变很有趣，因为它可能是普遍发现的基础，即经验通常会导致神经活动减少，同时任务执行速度和准确性也随之提高。

根据对第二语言的研究，语义刺激对 N400 的强大影响， 而新训练的语言中公然的词汇决策性能仍然接近偶然。对特征概率的明显估计只是由所呈现的单词弱调制，但 SU 受到句子中的语义调高、关联性调理和语义一致性的影响很大。

下一个词引起的变化，反映基于前一个单词的模型的内隐式概率估计和基于下一个单词的更新估计之间的错误。如果将单词n-1视为预测，那么是预测错误。人们通常认为学习是基于这种时间差异或预测错误，因此，如果N400反映了意义概率表示的更新，那么较大的N400应该与更大的适应，即对未来估计的更大调整有关。

呈现一致和不一致的句子，第二次呈现时，不一致比一致有更大的N400减小。

驱动学习的信号和N400对应，和语义更新、预测错误及经验驱动的学习有关。较大的N400吋有道更强的适应性。研究阶段较大的 N400 到单个单词预测测试期间增强的隐性记忆（通过茎完成而无需显式内存（stem completion without explicit memory）测量）

5.讨论 ¶

N400是和语义加工相关的事件相关电位。但他的功能基础仍需进一步研究。该模型将 N400 振幅视为由传入的单词在含义的隐含概率表示中引起的更改。解释了模型的显著特征如何有助于其解释数据的能力。

  • 模型不认为词汇访问（单词含义的检索）和随后将单词含义整合到构成表示的是分离的单独阶段。

但是之前的争议观点认为N400反映的是词汇访问或整合成句子意义构成表征。该组件可能最好被理解为"刺激驱动活动向前馈流与分布式动态活动神经景观（即语义记忆）状态的交集的时空划界电子快照"。SG 模型提供了对这种分布式激活状态的性质和作用的计算明确说明，以及它如何通过刺激驱动的活动发生变化，因为意义在理解过程中是动态构造的。该模型使用事件概率和单词顺序来构建一个意义表示，而不是将单个单词的含义插入句法结构。当事件概率为强时，它可能凌驾于句法约定中，或者当句法和事件概率信息冲突时可能遇到不确定性。

  • 模型表征来自学习过程

取决于模型的环境中的统计规律和训练量，这一观点可以解释N400的发展。

  • 模型在单词表示后更新其激活性，无论它是否发生在句子中，允许它捕获单个单词或单词对和句子中单词的 N400 效果

  • 模型所捕获的 N400 将语言理解的一个特定方面，即对所述事件的初始隐含代表的自动刺激驱动更新。

图6

6.研究方法/模型模拟过程 ¶

模型环境由 [句子、事件] 对组成，根据简单生成模型所体现的限制，在培训期间在线生成。