人类能够快速检测和识别面孔，但对提取不同维度面孔信息的时间动态研究却很少。本研究旨在研究不同维度面孔信息表征的神经反应的时间过程，如年龄、性别、情绪和身份。此外，我们还探讨了面孔情绪处理过程中所表征的效价和唤醒度的相对时间，并将为面孔情绪感知的计算模型提供支持。
脑与认知神经科学研究中心情绪与社会认知研究组开展了一项事件相关电位研究，探索了面孔情绪信息加工的神经机制。在本研究中，我们使用支持向量机（SVM）解码来获得不同面孔的事件相关电位反应的表征差异矩阵（RDM）。然后和包含不同维度面孔信息的模型RDM进行表征相似性分析（RSA），以研究不同维度面孔信息表征的时间进程。
本研究采用1-back实验范式。实验流程如图所示:
具体而言，在每次试次中，面孔图片首先呈现200毫秒，然后是一个800-1000毫秒随机的空屏刺激间隔（ISI）。为了保持注意力集中，被试被要求执行1-back任务，在此过程中，当连续重复出现相同的图片时，他们需要用右手食指尽可能快而准确地按下空格键。为了避免眨眼和眼球运动引起的伪迹，被试在实验过程中注视屏幕上的黑色十字，并在做出按钮反应时眨眼，因为这些试次不纳入脑电数据分析中。
脑电解码分析使用了支持向量机(SVM)分类对每对面孔刺激进行多元时间序列解码。以64个脑电电极的电压值作为特征进行解码分析，对每个被试的每个时间点分别进行解码分析。首先，将同一张面孔图片条件下的所有试次随机分配到十个分组中的一个，删除数据质量较差的试次后，每个分组中约有6至8个试次，在每个分组中平均试次以提高信噪比。随后将这十组数据分为训练集和测试集，每次随机选择一组进行测试，其余组进行训练(即十折交叉验证)。最后，对任意两张不同的面孔刺激对(共276对;(24-1)×24/2)进行二元分类以获得解码正确率。此分类过程重复100次，获得的平均解码正确率作为24×24解码矩阵中的值，称为RDM。这个RDM是对称的，对角线未被定义，最终在每个被试的每个时间点上都产生一个脑电RDM。
实验结果表明，年龄、性别、情绪和身份等不同维度的面孔信息在不同的时间段被依次加工，且这些信息在加工的脑区上也存在差异。具体表现为面孔情绪信息的提取过程发生在面孔身份信息提取之前，持续时间较长，且右侧额叶皮层对情绪加工具有特异性。在面孔情绪信息被提取的过程中，唤醒度首先被提取且这一过程的持续时间较长，而效价被提取的时间较晚且持续时间较短。
本研究揭示了情绪面孔处理的时间进程，同时提供了一种提取和评估潜在面孔信息的方法。对面孔情绪信息的提取的具体时间和脑区进行探究，同时对唤醒度和效价信息的加工过程进行了细化。这些发现揭示了面孔信息加工的动态过程，并为面孔感知计算模型提供了强大的约束。
该研究获得国家自然科学基金（31871106）资助。文章已在线发表于NeuroImage。脑中心硕士生李轶文和脑中心副教授张明明为论文第一作者，通讯作者为罗文波教授。
论文信息
Li, Y., Zhang, M., Liu, S., Luo, W.*(2022). EEGdecoding of multidimensional information fromemotional faces. NeuroImage. 258, 119374.
文章地址链接：https://doi.org/10.1016/j.neuroimage.2022.119374
