Research on Support Tensor Machine Based on Synchronous Brain Network for Emotion Classification

1.   引言

一直以来，情绪是心理学、教育学、信息科学等多个学科的研究热点^[1]。传统的情绪识别方法是通过面部表情、文字、语音语调等特征进行情绪信息的提取。近年来，脑电信号因其客观、不易伪装的特点，在情绪识别领域受到广泛关注。脑机接口技术发展迅速，脑电信号采集设备的采样频率以及采样精度越来越高，为脑电情绪识别技术的发展提供了巨大的助力。

传统情绪研究试图对不同头皮位置处的脑电信号(Electro EncephaloGram, EEG) 进行特征提取。主要包括小波特征、节律波幅值变化、熵特征和功率谱特征等进行特征提取。主要包括小波特征、节律波幅值变化、熵特征和功率谱特征等^[2-4]。然而人类的大脑是一个大型的网络，情绪的加工需要多个脑区的共同参与和相互作用，对特定脑区EEG导联信号进行单独分析的研究方法无法反映情绪加工过程中脑区间的信息流向或因果关系，也无法精确地对不同情绪进行分类。因此，本文拟建立各导联信号之间的统计关系，构建EEG脑网络进行情绪分类研究。目前，基于EEG信号的脑网络研究通常从多导联信号间的依赖程度(相关系数、互信息等)、同步或异步性(互近似熵等)、因果关系(格兰杰因果关系指数，定向传递函数、部分定向相干等)、信息传递(转移熵、符号转移熵等)等角度构建脑网络^[5-9]。考虑到情绪的产生是人脑前额叶脑区多个部位共同作用的结果^[10]，同步性能更好地描述情绪产生时人脑的活动机理，本文拟通过EEG信号计算前额叶处各导联EEG信号之间的相位锁定值(Phase Locking Value, PLV)，来描述EEG信号的时频关联度，识别大脑各区域之间的同步性，构建同步性脑网络，研究情绪与大脑各区域同步性的关系。

目前的脑电情绪分类算法较多采用支持向量机(Support Vector Machine, SVM), K-最近邻(K-Nearest Neighbor, KNN)，决策树等分类模型，其输入特征多为向量形式^[2-4]。由于本文构建的EEG同步性脑网络特征集维数较大，如果降维成特征向量作为分类模型输入，容易丢失脑网络不同维度间的结构信息，忽略大脑各区域之间的联系。为了有效保存特征集不同模态之间的相关性、互补性等结构特征，有效地解决特征向量的高维度问题，基于张量的分类方法在人工智能等领域得到了广泛应用^[11,12]。因此，本文拟采用支持张量机作为分类模型，以减少脑网络结构信息的丢失。综上所述，本文拟从不同情绪下各导联EEG的同步性为切入点，提出一种基于支持张量机的同步性脑网络情绪分类方法(Support Tensor Machine based on Synchronous Brain Network, SBN-STM)，对算法参数的选取进行深入研究，并基于DEAP情绪数据库对算法进行仿真比较，来验证算法的有效性。

2.   SBN-STM情绪分类算法

本文提出的基于支持张量机的同步性脑网络情绪分类方法SBN-STM架构如图1所示。第1步构建同步性脑网络。基于多导联的脑电情绪数据，通过计算导联间的相位锁定值PLV构建同步性脑网络，并设定合适的阈值，得到同步性脑网络。第2步选取最优训练集。确定最优张量序列窗口中点以及窗口半径，在保证模型分类准确率的前提下尽可能减小训练集大小，提高模型训练速度。第3步完成支持张量机STM的情绪分类。将训练集作为STM的输入，训练STM模型，求解模型判别式，获得情绪的正负二分类类别。

图  1  SBN-STM算法架构图

下载: 全尺寸图片 幻灯片

2.1   构建同步性脑网络

2.1.1   EEG相位锁定值

EEG相位锁定值(PLV)^[13]描述了脑电信号导联对之间的相位同步性，其数值仅与导联对信号的相位有关，忽略了信号幅值差异。导联信号通过小波分解进行时频映射，得到该导联在时频坐标下的瞬时相位值，记为$\varPhi (t,f)$。PLV定义如式(1)所示

其中$N$为总样本数，$x,y$为一个导联对，记第$n$个样本的当前导联对的瞬时相位差为

记时频映射中频率点数目为$L$，则

2.1.2   同步性脑网络

根据式(3)计算各导联对在$T$时刻的相位锁定值${\rm{PLV}}$。若某导联对的${\rm{PLV}}(T)$过小，则表示该导联对在$T$时刻同步性较弱，可忽略其同步性。因此，为了提取高同步性导联对，需要对${\rm{PLV}}$进行阈值化处理，记阈值化处理后的${\rm{PLV}}$为$\overline {{\rm{PLV}}}$。设置阈值为${\rm{PLV}}{_{\rm{T}}}$，则$\overline {{\rm{PLV}}}$计算方法如式(4)所示

若${\rm{PLV}}$大于等于${\rm{PLV}}{_{\rm{T}}}$则保留原值，若${\rm{PLV}}$小于${\rm{PLV}}{_{\rm{T}}}$则置零。由此得到一个矩阵，定义该矩阵为同步性脑网络矩阵。其横纵坐标均为导联标号，矩阵的各元素值表示元素坐标对应的两个导联在$T$时刻的同步性。基于此可绘制出同步性脑网络结构图，同步性脑网络结构图仅显示具有较高同步性的导联对。

2.2   张量与支持张量机

本文提出的SBN-STM算法选取同步性脑网络作为特征张量，输入支持张量机模型进行训练。本小节对张量和支持张量机的基础理论进行简要介绍。

2.2.1   张量

张量的本质是多维数组，可以看作是向量、矩阵的高阶扩展^[14,15]。记$N$阶张量${\mathbb{X}} \in {R^{{n_1} \times {n_2} \times \cdots \times {n_N}}}$，其元素可用${{\mathbb{X}}_{{l_1} \times {l_2} \times \cdots \times {l_N}}}$表示，其中$1 \le {l_i} \le {n_i}\;,1 \le$$i \le N$。特别的，向量$x \in {R^n}$为1阶张量，矩阵${{X}} \in {R^{{n_1} \times {n_2}}}$为2阶张量。张量的阶数对应着每一个方向，称之为模式(mode)^[15]。因此，本文中的同步性脑网络为2阶张量。

2.2.2   支持张量机

Cai等人^[16]于2006年以支持向量机为基础，将向量扩展为张量，提出了支持张量机(Support Tensor Machine, STM)模型。对于给定训练样本集$\{ {{\mathbb{X}}_i},{y_i}\} \;(i = 1,{\rm{2,}}··· ,l)$，其中${{\mathbb{X}}_i} \in {R^{{n_1} \times {n_2} \times \cdots \times {n_K}}}$是K阶张量数据样本点，${y_i} \in \{ - 1,\;1\}$是样本点${{\mathbb{X}}_i}$对应的类别标号。线性判别函数为

其中${w_i} \in {R^{{n_i}}}$为输入张量${\mathbb{X}}$在第$i$模式上的投影的权重向量。

类似于支持向量机，STM同样基于最大间隔的思想，旨在寻找一个可以在张量空间中将不同类别样本尽可能分开的超平面^[17-19]，因此STM的优化问题可以表示为

其中$C$为惩罚系数，${\zeta _i}$为松弛系数，$\varPhi ({{\mathbb{X}}_i})$为张量${{\mathbb{X}}_i}$在高维空间的投影。

2.3   选取最优训练集

2.3.1   张量序列窗口中点位置选取方法

在训练分类模型时，训练集的选取对分类准确率以及模型训练时间有很大影响。由于同步性脑网络反映了人脑在某一时刻的区域同步性特征，为了提取不同时间段的同步性特征，需要设置一个时间窗，以窗口内的特征序列作为训练集。窗口位置以及窗口大小是窗口的基本属性。考虑到张量数据计算的复杂性以及支持张量机适用于小样本分类的特性，为减少训练时间，提高效率，本文首先设定一个固定窗口$W$，通过滑窗的方法依次进行STM训练，设定窗口滑动步长为$\Delta t$。记窗口中点位置为$T$时刻，选取最优准确率下的$T$时刻作为最优张量序列窗口中点位置。窗口示意图如图2所示。

图  2  张量序列窗口示意图

下载: 全尺寸图片 幻灯片

2.3.2   张量序列窗口大小选取方法

选定最优张量序列窗口中点位置后，进行最优窗口大小的选取。以最优张量序列窗口中点位置为起始点，设置正负情绪样本空间窗口半径初始值为${T_{\rm{S}}}$ s。以$\Delta t$ s为步长扩展窗口半径，依次进行STM训练，测试集为样本空间中随机抽取的若干个张量，记窗口半径为$L$，选取最优准确率下的$L$作为最优张量序列窗口半径。

假设窗口半径为1 s，则正负情绪样本各3个，训练集共包含6个样本，窗口如图3所示。

图  3  窗口半径为1 s的张量序列示意图

下载: 全尺寸图片 幻灯片

2.4   支持张量机的情绪分类算法步骤

由于本文采用的特征张量——同步性脑网络为2阶张量，故仅介绍2阶支持张量机模型求解方法。2阶支持张量机的权重张量为秩1的2阶张量，可秩1分解为两个向量的外积形式，记这两个向量为$u$和$v$，无法对其独立求解，因此采用交替投影^[20,21]的方法，固定其中一个向量，将STM模型转化为软间隔SVM模型进行求解。具体步骤如下：

步骤 1　固定$u$，初始化$u = {(1,1, ··· ,1)^{\rm{T}}}$；

步骤 2　令${\mu _1} = ||u|{|^2}$, ${x_i} = \varPhi^{\rm{T}} {({{\mathbb{X}}_i})}u$，则式(2)—式(6)转变为仅关于$v$的优化问题

步骤 3　构造拉格朗日函数

步骤 4　对式(8)各变量求偏导，得

步骤 5　将式(9)代入式(8)，则问题转化为仅对$\alpha$得最优化问题

其中$K({{\mathbb{X}}_i},{{\mathbb{X}}_j}) = { \varPhi} ({{\mathbb{X}}_i}){ \varPhi}^{\rm{T}} {({{\mathbb{X}}_j})}$，为张量核函数。本文采用高斯核函数^[22,23]，定义如式(11)

其中${z_{ip}}$表示张量${{\mathbb{X}}_i}$得第$p$行，$q$为2阶张量${{\mathbb{X}}_i}$的行数。

步骤 6　求解式(10)可得最优解$\alpha _i^*$和$v$，其中值在0到$C$之间的$\alpha _i^*$对应的${x_i}$为STM在$v$所在模上的支持向量。

步骤 7　令${\mu _{\rm{2}}} = ||v|{|^2}$, $x_i^{'} = { \varPhi} ({{\mathbb{X}}_i})v$，则式(6)转变为仅关于$u$的优化问题

类似于求$v$过程，可以求得$u$，并将其代入步骤2中，重复上述步骤，直至到达设定的最大迭代次数。最终得到决策函数

3.   实验及分析

3.1   实验数据及预标记

本文的实验采用DEAP数据集^[24]进行情绪分类研究。DEAP数据集记录了32名被试在观看40段音乐视频节选时的EEG信号。其中，40段视频MV具有情绪诱发作用，可以诱发被试较为明显的情绪活动。EEG信号通过“10-20”国际导联标准的32导联电极帽采集，32导联位置如图4所示。

图  4  32导联位置示意图^[24]

下载: 全尺寸图片 幻灯片

观看完MV后，所有被试均进行打分，按照1～9的分值区间，标记所观看MV的有效价(Valence)、唤醒度(Arousal)、优势度(Dominance)数值。其中Valence表征了被试者观看完视频后的情绪状况，Valence值越高表示被试者情绪为正向情绪，反之，Valence值越低表示被试者情绪为负向情绪。为避免出现模棱两可的非标准情绪，本文根据Valence值对被试情绪进行式(14)的划分

同时设置标签序列$y = \left\{ { - 1,1} \right\}$，其中–1表示负向情绪，+1表示正向情绪。

3.2   实验过程与分析

3.2.1   生成同步性脑网络张量序列

本文选取DEAP数据库中的S01, S02, S03, S07, S08, S12 6个被试的脑电数据进行实验。有研究表明^[10]，情绪的产生主要与人类大脑前额叶的活动有关。因此，为减小张量维度，避免信息冗余，本文仅研究人脑前额叶及其附近的导联信号。选取FP1, FP2, AF3, AF4, F7, F8, F3, F4 8个导联进行数据分析，上述8个导联位置在图4中采用灰色标记。

DEAP数据集信号时长为63 s，前3 s为基线时间，默认被试此时处于平静状态，无情绪波动。后60 s为被试观看音乐视频的时间。本文仅研究被试观看音乐视频的后60 s的EEG数据。取每秒第1个采样时刻的EEG数据，计算8个导联之间的各导联对的PLV值，生成当前时刻的PLV矩阵。共计生成60个PLV矩阵。被试S01在第1, 15, 35, 60 s起始时刻的正向情绪PLV矩阵生成的灰度图片如图5所示。

图  5  各时刻的正向情绪PLV矩阵生成的灰度图片

下载: 全尺寸图片 幻灯片

${\rm{PLV}}$的取值范围为[0, 1], ${\rm{PLV}}$的值越接近1，表示导联对同步性越强；反之，${\rm{PLV}}$的值越接近0，表示导联对同步性越弱。同步性脑网络表征了具有高度同步性的导联对，因此需要对${\rm{PLV}}$矩阵进行阈值处理，滤除低同步性的导联对信息。为保留具有较高同步性的导联对信息，本文设定${\rm{PLV}}$阈值${\rm{PLV}}{_{\rm{T}}}$为0.65。被试S01在上述4个时刻的正、负向情绪PLV矩阵经过阈值化处理后得到的同步性脑网络生成的灰度图片以及脑网络节点连接图如图6所示。

图  6  各时刻脑网络灰度图及节点连接图

下载: 全尺寸图片 幻灯片

图6显示，被试S01在第15 s时刻以及第60 s时刻，被试的前额叶仅有少数节点连接，此时被试的前额叶处于低同步状态。在第35 s时刻前额叶有多个节点连接，此时被试的前额叶处于高度同步状态。

3.2.2   张量序列窗口中点选择

支持张量机适用于小样本分析，为提高训练效率，选择小窗口进行训练。因此固定窗口半径为5 s，此时最小初始中点位置为第6 s，即正负情绪样本各11个，训练集包含22个样本。以5 s为步长滑动窗口，依次训练模型，计算测试集分类准确率。其中测试集为样本空间中的22个随机样本。窗口各中点位置下的模型准确率如图7—图9所示。

图  7  窗口不同中点位置准确率比较

下载: 全尺寸图片 幻灯片

图  8  窗口不同中点位置平均分类准确率比较

下载: 全尺寸图片 幻灯片

图  9  窗口不同中点位置分类准确率盒须图

下载: 全尺寸图片 幻灯片

由图8可知，当窗口中点为第36 s时，模型分类准确率均值最高，为77.3%。图9中，当窗口中点为第36 s时，模型分类准确率的中值最高，且离散程度最小，对不同被试的分类差别小，此时分类器性能最稳定。因此，选取第36 s为窗口中点最为合适。由此可见，被试在进行实验时，其情绪激发是一个从平静到情绪波动的过程，因此实验的中间时刻附近被试的情绪最为强烈，被试的情绪在实验的起始和终止阶段趋于平静，不适于模型的训练。

3.2.3   张量序列窗口大小选择

以第36 s为窗口中点，设置窗口半径初始值为1 s，此时正负情绪样本各3个，训练集包含6个样本。以1 s为步长扩展窗口半径，依次进行STM训练，测试集为样本空间中的20个随机样本。各窗口半径下的模型准确率如图10—图12所示。

图  10  窗口在不同半径下的分类准确率比较

下载: 全尺寸图片 幻灯片

图  11  窗口在不同半径下的平均分类准确率比较

下载: 全尺寸图片 幻灯片

图  12  窗口在不同半径下的准确率盒须图

下载: 全尺寸图片 幻灯片

由图11可知，当窗口半径为6 s和16 s时，模型分类准确率最高，均为78.3%。由图12可知，窗口半径为6 s时的模型分类准确率的中值略高于窗口半径为16 s时的模型分类准确率。同时，考虑到窗口半径越小，则训练集规模越小，训练时间越短，因此选取6 s为窗口半径最为合适。

3.2.4   SBN-STM分类算法与其他分类算法比较

为直观展现以同步性脑网络作为特征的SBN-STM分类算法的情绪二分类性能，本文将其与支持向量机(SVM)、C4.5决策树、K近邻(KNN)、人工神经网络(ANN)以及线性回归分类器(LR)5个传统的分类模型进行比较，如表1所示。为避免不同样本集对各分类算法性能的影响，本文选取的5个用于比较的分类算法以及本文提出的SBN-STM分类算法均使用DEAP数据集进行分类研究。

表  1  各分类算法情绪二分类准确率比较

数据集	分类算法	特征	特征类型	二分类准确率(%)
DEAP数据库	SBN-STM	同步性脑网络	2阶张量	78.30
	SVM[2]	各频段的功率谱密度	向量	73.30
	C4.5决策树[2]	各频段的功率谱密度		72.50
	KNN[3]	各小波频段的能量、熵、统计特征		72.87
	ANN[4]	α, β, θ 3个频段上的双谱		64.84
	LR[25]	皮尔逊相关系数脑功能连接网络	2阶张量	70.22

下载: 导出CSV 

| 显示表格

文献[2]采用支持向量机模型(SVM)以及C4.5决策树算法进行情绪二分类，提取EEG信号各频段的功率谱密度(PSD)作为特征，分别输入SVM以及C4.5决策树模型进行训练。文献[3]将EEG信号进行小波分解，计算各小波频段的小波能量、小波熵以及统计特征，训练K近邻模型(KNN)。文献[4]提取EEG信号在α, β, θ 3个频段上的双谱(Bispectrum)，输入人工神经网络模型(ANN)进行训练。文献[25]采用线性回归算法，根据皮尔逊相关系数建立脑功能连接网络，将脑功能连接网络输入LR分类器进行线性分类训练。

其中，支持向量机(SVM), C4.5决策树，K近邻(KNN)以及人工神经网络(ANN)这4个算法的特征提取方式均为谱分析，采用传统的信号处理方法进行脑电信号特征提取，将各导联的脑电信号单独分析，情绪二分类的准确率在70%左右。本文提出的SBN-STM算法在特征提取时考虑情绪处理脑区(前额叶)各部位的协作特征，建立同步性脑网络，表征人脑在处理情绪问题时的同步性特征，保留了人脑情绪处理脑区的整体信息，对各导联EEG信号进行整合，在一定程度上减小了信息丢失，从而提高了模型的分类性能。SBN-STM算法分类方法实现的正负情绪二分类准确率为78.3%，相比较于以功率谱密度、小波能量、小波熵、双谱等数据作为特征向量的传统分类模型，本文所提算法的正负情绪二分类准确提升了6%以上。

文献[25]的线性回归分类器(LR)同样是以构建脑网络的方式提取情绪特征，并对特征集进行线性划分，从而进行情绪二分类。考虑到情绪相关的脑网络并非处于线性样本空间，本文提出的SBN-STM分类算法采用支持张量机(STM)作为分类器，将非线性样本空间进行高维映射，进而将非线性空间转换为类线性样本空间，从而提高分类器的性能，提高情绪分类准确率。通过对比可以发现，SBN-STM分类算法的情绪二分类性能优于线性回归分类算法，分类准确率提升了8%以上。

4.   结束语

本文将支持张量机与同步性脑网络相结合，提出了一种基于支持张量机的同步性脑网络情绪分类方法。实验表明，本方法对正向情绪和负向情绪有较好的分类效果，分类准确率均值为78.3%，优于支持向量机，C4.5决策树，人工神经网络，K近邻等以向量为特征的情绪分类模型。同时，本文对同步性脑网络张量序列的选取进行了研究，发现采用DEAP数据集进行情绪分类研究时，选取中点为第36 s，半径为6 s的张量序列窗口组成训练集，分类准确率最高，此时训练集样本大小为26个，正负情绪样本各13个。在保证最高分类准确率的同时，实现的较小的训练集，由此解决了传统情绪分类算法特征冗余的问题，提高了模型的训练速度。

同时发现，被试在第35 s时刻前额叶处于高度同步状态。在第15 s时刻以及第60 s时刻，被试的前额叶仅有少数节点连接，此时被试的前额叶处于低同步状态。这一现象进一步证实了最优张量序列窗口的合理性与科学性：在测试的起始阶段以及结束阶段，被试的情绪波动不明显；在测试的第36 s左右被试的情绪波动最强烈，适合进行模型的训练。

同时，本文对同步性脑网络张量序列的选取进行了研究，得到了采用DEAP数据集进行情绪分类研究时的最佳张量序列窗口，解决了传统情绪分类算法特征冗余的问题。在未来的工作中，可以提高张量阶数，考虑时间维度，对3阶同步性脑网络张量实施进一步的研究。