一、实验二：ERP实验 ¶
目的：考察了与手势含义关联较浅的前一篇语篇中的信息是否会影响手势的加工过程，以及这种手势编码的信息是否会影响句子中语义关联的加工过程。
相关说明：论文原文
1、erp从手势开始计时。
为了研究语篇对手势解释的影响，我们比较了相关语篇条件下和不相关语篇条件下erp对手势开始时间锁定的影响。因为限制一个模棱两可的手势有点类似于消除一个词或物体的歧义，与相关语篇条件相比，不相关语篇条件可能导致更多的负性前erp。
在比较两种语篇条件时，我们不期望看到N400对手势的影响，N400反映了概念知识的检索(例如，词汇语义表征的检索)。同语手势的等效过程可能是一个手势的明确意义的构建。然而，在目前的实验中，即使在相关的话语条件下，语境也不够强，无法构建手势的意义。
同样，我们也不期望看到P600对手势的影响。因为P600是重构语篇模型的后语义效应。由于前一篇语篇只是粗略地限制了手势的意义，但并没有消除手势的歧义，因此不太可能触发后语义过程，将手势的意义整合到语篇模型中。
2、erp时间锁定到手势的语义附属
为了研究手势所提供的信息是否会影响到句子中随后出现的语义关联的处理，我们检测了时间锁定到手势语义关联(即动词)开始的erp。预测有两种可能的结果：
1）当被试没有被明确要求解释手势时，如果手势及其语义关联的同步性对手势整合至关重要，那么手势和语义关联(即动词)之间的不匹配不会对语义关联产生任何影响？？疑问？
2）如果手势与语义附属关系不同步，可以被整合到语篇模型中，那么我们将会看到句子下游语义附属关系的不匹配P600效应，而不是N400效应
a、被试 ¶
共38名被试，均未参加实验一。6名数据被排除。其余都是单语英语母语者，正常，其中10%是左利手。
b、材料 ¶
我们使用与实验1相同的材料和设计，但是排除了一些试验，所以行为实验中使用的53种刺激有48种被纳入ERP实验。
c、过程 ¶
为了保持被试的注意力，有一个理解任务——为避免被试只注意到句子的特定部分，理解问题要么针对句子的主语，动词，妖魔针对插入在手势和语义关联之间的短语。所有问题关于目标句，而非介绍句。
首先，参与者看了1000毫秒的固定十字架，然后是刺激视频。如果在视频之后出现一个理解问题，它就会显示在屏幕中央。参与者被告知，当他们看到注视交叉时，他们可以在每个试验的第一句话中眨眼，但在第二个句子中不应该眨眼。
正式实验开始前，有5个试次。目的有二：使参与者习惯刺激如何呈现；使实验者能检查被试是否理解是么时候眨眼和不眨眼的指示。
实验分四组，每组包含来自四种条件的12个刺激。
d、EEG分析 ¶
每次实验都产生了两个epochs:第一个在手势开始就被定下来（time-locked),第二个是在第二个句子的动词开始时就被定下来。epochs在刺激开始前200ms开始，持续1200ms。
在ERPs对手势开始时间锁定的分析中，匹配和不匹配试验失败了，因为此时参与者还没有受到手势-动词匹配/不匹配操作的影响。
在ERPs对动词时间锁定的分析中，保留了所有epochs的92.7%。
二、研究结果 ¶
表7显示了从手势开始的时间锁定的ERP波形。在前电极和左电极位置，非相关语篇条件下的负性erp似乎比相关语篇条件下的负性erp多，但这些差异不显著。
表8显示时间锁定在目标动词(即，手势的语义关联)的选定电极的ERP波形。
在典型的N400时间窗(300-500 ms)中没有显著影响。但是在800-900 ms和1000-1100 ms的时间窗口，以及800-900ms周围窗口，在动词开始后有显著的影响。
在800 ~ 900 ms的窗口内，我们发现手势匹配和语篇×手势匹配×ROI的交互作用对右侧后ROI与右侧前ROI和左侧前ROI的比较具有主效应。我们在左后区和右后区发现了手势匹配的主效应以及显著的话语X手势匹配的交互作用，在左后区也存在显著的话语主效应。
从图9的波形图和topographic可以看出，这种双向交互是由于在相关语篇条件下ERP对手势匹配比对手势不匹配更积极，而在不相关语篇条件下ERP对手势匹配更积极。因此，我们只在相关语篇条件下观察到P600
在1000-1100 ms的时间窗内，我们发现在右侧后向和右侧前向区域之间存在显著的话语×手势×ROI交互作用。
三、讨论及其他 ¶
同预期，我们预测了不相关语篇的负性前erp多于相关语篇。被时间锁定在手势语义关联(句子下游的目标动词)上的erp，在N400时间窗口(300到500毫秒之间)没有显示出手势错配效应，但显示出了P600效应。
在800-900 ms时间窗口内的P600效应(用于锁定目标动词的分析时间)不太可能是假阳性，原因有两个：首先影响在时空上是稳健的，关键的手势匹配×语篇× ROI交互在相邻时间窗(700-800、900-1000 ms)和近距离时间窗(1000-1100 ms)均显著。
在手势锁定的ERP分析中，未发现前语篇对手势解释有显著影响。在相关语篇条件下，P600的研究结果表明，相关语篇使参与者能够为一个手势构建相对具体的意义。在不相关的语篇条件下，P600效应的缺失表明动词在匹配或不匹配手势后的处理过程非常相似。这可能是因为对手势的解释不够具体，不足以触发重新分析过程。
结果表明，前一篇话语可以约束与语义关联不同步的标志性手势的解释。然而，这一过程可能并没有紧紧地锁定在手势的时间上
本研究可以为后续研究语篇中手势与言语之间微妙而动态的语义交互作用奠定基础。