基于脑电信号的情绪特征提取与分类*

柳长源,李文强,毕晓君

(1.哈尔滨理工大学电气与电子工程学院,哈尔滨 150080;2.哈尔滨工程大学信息与通信工程学院,哈尔滨 150009)

情绪是指人内心的一些想法和心理倾向,在人类的理性和智能行为中起着至关重要的作用。在医学上我们可以去窥探一些自闭症和抑郁症患者的心理,还可以为一些遭受到校园霸凌事件的儿童提供心理疏导,让他们可以健康的成长。它不仅有助于人和人之间的沟通,在人机交互的应用中也有重要的意义,这是一项涵盖医学、心理学、计算机科学和人工智能等很多学科的交叉学科研究[1]。

情绪识别的研究方法有很多方向,常见的研究方法是通过一些生理特征来进行情绪的识别分类,这些生理特征包括人的面部表情、行为动作和语音语调等。这些外部生理特征虽然容易获取,但是在生理上的表现容易受到人的意识控制,导致情绪识别的结果有所偏差[2]。与这些信号相比,脑电信号具有实时差异性并存在于中枢神经系统,与情绪的关联远远超过其他信号。情绪识别的问题在人机交互和人工智能领域受到广泛的关注和研究。Duan等人利用能量频谱特征对正向情绪和和负向情绪做了二分类,分类结果为76.56%[3];Krisnandhka等人利用小波能量相对利用率作为特征进行情感识别,准确度达到了76%[4]。Murugappan提取了脑电熵特征,比较了六种情绪状态,如惊奇、恐惧、高兴等,发现利用脑电熵特征比利用时域特征对情绪分类的准确率高,反映了脑电熵这一特征可以有效的区分不同情绪状态[5]。黄柠檬提取了脑电信号的六种时域特征,利用CSP算法进行特征选择与降维,得到了80.5%情感识别率[6]。许多专家学者在情感识别方面做出研究分析并取得了一定进展,但是如何提取有效的脑电特征来充分挖掘脑电信号的情感信息,目前的研究还不太多。基于上述问题,本文根据左右脑的脑电信号具有不对称性的特点,提取了脑电信号的不对称熵特征进行情感识别,通过对实验结果的分析与比较,证明了该特征提取和分类算法的有效性。

1 实验数据预处理

Deap[7](Database for Emotion Analysis using Physiological Signals)数据库采集了32名健康参与者的脑电数据,包括16名男性和16名女性。参加实验的人身体和心理都是健康状态,分别在他们大脑的额叶、顶叶、枕叶和颞叶四个区域用32个传感器采集实验者分别看40段视频时的脑电信号,每个视频时间为60 s。本文所选的实验数据是经过预处理(降采样,去除眼电等噪声)之后的数据,采样频率为128 Hz。根据相关的已有研究表明大脑的前额区参与人的情绪处理[8],本文选取采集大脑前额区脑电信号的FP1、FP2、F3、F4、F7、F8六个导联作为研究对象[9]。

根据脑神经科学和心理学的研究,脑电的δ(1 Hz～3 Hz)、θ(4 Hz～7 Hz)、α(8 Hz～12 Hz)、β(13 Hz～30 Hz)四个节律与人的生理活动有着密切的联系[10],并且发现在β频带内包含大量的情绪特征[11],本文将利用小波分解与重构算法对原始EGG信号进行预处理,在β频段进行分析和特征提取。

小波分析是一种时间和尺度上的局部分析方法,它对信号具有自适应性,其频率窗和时间窗都可以移动但窗口的长度不变,小波分析之后,情绪脑电信号的低频部分表现出频率分辨率高,高频部分则时间分辨率高。这样通过分析我们可以得到不同尺度的高低频信息,进行不同频率的分析实验。小波变换就是把原始信号分成不同的频段提取出来,对于连续情况,小波序列为:

(1)

式中:为a为尺度因子,b为伸缩因子。

小波分解[12]是将原始EGG信号分解在不同的频带上,把原始信号分解为低频分量和高频分量,我们可以将原始信号x(t)通过下面公式进行分解。

(2)

上式中CN,k是第N层的第k个低频分量,Dj,k是第j层的第k个高频分量,ψ(t)为小波函数,φ(t)为伸缩函数。我们采用db4基函数把原始信号分成四个频段,每次分层后低频分量和高频分量的长度变为上一层信号长度的一半,通过将原始信号的高频分量部分用零代替的方法把低频分量长度重构到原始EGG信号的长度。图1是选取的第一个样本中的FP1导联上的后60 s的实验数据,利用小波分解得到的四种节律的波形。

图1 小波分解后各个节律波的信号

2 情绪特征提取

2.1 频带能量

在情绪脑电信号研究中,频带能量一般作为分类特征,人在压力情绪下的能量值一般大于平静情绪下的能量值。从生理角度来[13]看,当人处于压力情绪状态时,大脑处于高负荷的紧张状态,提高了大脑神经元之间的交互活动,因此在压力情绪状态下的脑电信号的能量较高。相反人处于平静情绪状态时,大脑处于低负荷的闲散状态,大脑活动无目的性,使脑电信号变化缓慢,从而平静状态下脑电信号的频带能量较低。

图2是计算了所有导联在两种情绪状态下的能量的平均值,可以看出在不同的情绪状态下各个导联有着不同的频带能量,β频带下FP2、F4导联的频带能量最高,对于不同的导联在压力态下的能量值都要大于平静态下的能量值,由此可知我们可以把频带能量作为特征参数来进行情绪识别。

图2 β节律的频带能量图

2.2 微分熵

平均信息量表示一个信源Xi的信息量,香农熵表达了一个离散信号所包含的平均信息量,对于一个连续的信号,则无法直接使用。而微分熵可以对连续随机变量的取值进行离散化,将取值的范围大致划分成宽度为Δ的小部分,由均值定理可知,每部分总存在一个xi使下面的等式成立。

(3)

从而,把每个在i部分的点赋予值xi,然后套用离散变量的香农公式:

(4)

(5)

式中:f(x)是信号xi的概率密度函数。我们假设信号源脑电数据服从正态分布N(μ,σ2),然后求解微分熵为:

(6)

从上式可知,我们只需要知道σ2就能得到Xi的微分熵,正态分布N(μ,σ2)的方差计算公式为

(7)

(8)

由此可知在i相同的情况下,脑电信号在各个频带上的微分熵等于在该频带上频带能量的对数的pi/N2倍。采用微分熵特征可以减小频带能量值在计算时过大而产生的误差,提高了特征的精确度。

2.3 不对称特征

著名的诺贝尔医学奖得主斯佩里博士,通过割裂脑实验得出了“左右分工理论”,证实了大脑左、右半球存在不对称性[14],左半脑主要负责人的逻辑思维,例如记忆、排列、分类、五感(视、听、嗅、触、味)等,而右半脑主要负责人的形象思维,例如直觉、情感、想象、灵感等。近几年很多研究表明,人在不同的情绪状态下,左右脑的脑电信号具有不对称性,利用此特性我们提出了不对称熵特征,对脑电信号进行分类。

计算不对称熵特征基本步骤如下:

①分别计算左脑三个导联(FP1、F3、F7)在β频带的微分熵和右脑三个导联(FP2、F4、F8)在β频带的微分熵。

②计算右侧导联的微分熵除以左、右对称导联的微分熵之差的值与右侧导联的微分熵除以左、右对称导联的微分熵之和的值,如式(9)和式(10)所示:

(9)

(10)

DEL表示左侧导联的微分熵,DER表示右侧导联的微分熵。

③将计算得到的index1和index2拼合在一起作为不对称熵特征DisEn(Dissymmetry Entropy),用式(11)来表示:

DisEn=[index1,index2]

(11)

3 分类算法

支持向量机作为一种广泛使用的分类器,但其参数选择问题困扰着很多研究者,传统的参数选择方法,计算成本大、耗时长,需要做大量的实验,因此选择合适的优化算法,优化其参数显得十分重要。

3.1 支持向量机

支持向量机SVM(Support Vector Machine)[15]是90年代中期发展起来的基于统计学习的一种机器学习算法,在这个算法中我们将所有数据在N(N为特征总数)维空间中用点标出,寻找一个可以将训练样本点分割开的超平面,在线性可分的情况下,训练样本完全被分开的超平面有一个或多个,SVM的目标就是找到一个与数据点有最大间隔的最优的超平面,保证分类准确率最高。

假设训练数据集为{x,y}={(x1,y1),(x2,y2),…,(xn,yn)},xi∈Rd,yi∈{-1,1}分隔超平面方程可以写成:

wTx+b=0

(12)

常数b相当于Logistic回归中的截距w0,向量w和常数b共同描述了所给特征的分隔线,点到分隔面的函数间隔为:

(13)

几何间隔为:

(14)

找到间隔最小的数据点,然后最大化该间隔:

(15)

该公式约束条件为yi(wTx+b)≥1.0。为了求此方程,引入拉格朗日乘子,使得目标函数可以写成:

(16)

y·(wx+b)≥1-ξ

(17)

此时求最优超平面问题变为:

(18)

对于非线性情况,SVM将原始数据通过核函数K(x,y)映射到高维空间中去,在高维空间中数据变得容易线性分离,然后在高维空间寻找最优面。核函数就是这种映射方法,而且可以证明,数据集总是可以被一种核函数映射成可分离的高维数据。假设低维到高维映射的线性关系为f:Rd→H,由式(16)可知在低维空间的样本内积为〈xi,xj〉,当映射到高维空间时内积变为:

K(xi,yi)=f(xi)f(yi)

(19)

决策函数为:

(20)

常用的核函数有

①多项式核函数

K(x,y)=(x·y+c)q

(21)

②径向基(RBF)核函数

(22)

③Sigmoid核函数

K(x,y)=tanh[υ(x·y)+c]

(23)

训练SVM的重要因素是要选择合适的核函数以及参数c[16]。RBF核函数主要用于线性不可分情况,分类性能一般由两个参数决定,一个是惩罚因子c,一个是RBF核函数的参数g,分类结果非常依赖于这两个参数。在许多情况下,要通过训练数据的交叉验证以找到合适的参数,RBF核函数参数较少,模型选择时参数对系统复杂性的影响也比较小,所以本文选择RBF核函数。在实验中当使用libsvm的默认参数时,RBF核函数的分类效果较差,找到合适的参数一般需要大量的尝试。为了解决参数选择的问题,我们使用遗传算法对两个参数进行优化。

3.2 基于遗传算法的SVM参数优化

①染色体编码

遗传算法GA(Genetic Algorithm)[17]首先解决的问题是基因设计和编码问题,本文采用十进制编码方式,决策变量为惩罚因子c和核函数参数g[18]。染色体由这两个决策变量组成,用十进制串表示,考虑决策变量的取值范围,本文决策变量取值精确到小数点后一位,每条染色体由两个四位十进制串构成,每一位在0到9之间的随机数中取值。随机生成n个染色体构成初始种群,根据遗传算法的实践研究与本文的研究对象,选取染色体数目为20作为初始种群。

②适应度函数的确定

适应度是选择个体留下或淘汰的决定因素,适应度函数决定着整个种群的进化方向。本文将脑电信号样本分为两部分,一部分是训练样本,一部分是测试样本,将测试样本的分类精度作为适应度函数,如公式:

Fit=Rtest

(24)

③选择算子

本文选择的选择算子方法为比例选择法也叫轮盘赌选择法,利用个体的适应值计算每个个体在子代中的生存概率,通过生存概率随机选择个体是否被选择构成子代种群。对于规模为n的种群P={X1,X2…Xn},个体Xi的适应值为g(Xi),那么其生存概率为:

(25)

然后用累积概率制作轮盘,生成一个随机数ζ∈(0,1),从第一个个体开始累加生存概率,直到满足下面公式时,将第m个个体拿出来放入下一代种群。

(26)

④交叉与变异

交叉操作是遗传算法的一个独有特性,随机选择两个个体,随机确定交叉位,对两个染色体进行交换,从而得到两个新的个体,交叉算子又叫重组算子。

变异操作是指一个染色体上某位基因在进化过程中的突变,根据变异概率随机选择染色体中的某位,改变该位置的值来进行突变操作,本文变异位的值r变为(9-r),来完成变异过程。本文选取的交叉概率和变异概率分别为0.6和0.1。

⑤停止准则

循环执行计算适应度、选择、交叉、变异的过程,直到迭代数达到预定值时,以结束时那一代的个体中适应度最高的作为最优解输出。本文设置的最大迭代数是200。

4 实验结果

本文所使用的研究数据均来自Deap(Database for Emotion Analysis using Physiological Signals)公开数据库,在网上可以公开免费获取。本文将实验分为两部分,一部分是特征导联选取,另一部分是分类效果对比。

在选取特征之前我们对所选的导联FP1、FP2、F3、F4、F7、F8求不对称熵特征进行对比。

由图2我们可以看出脑电信号在压力状况下的频带能量大于平静状态下的频带能量。本文以β节律下的频带能量为基础,分别对FP1、FP2、F3、F4、F7、F8六个导联的频带能量取对数,求取FP1、FP2、F3、F4、F7、F8六个导联的微分熵,将右侧导联的微分熵除以左右导联的微分熵之差,计为index1,如图4所示。将右侧导联的微分熵除以左右导联的微分熵之和,记为index2,如图5所示。将index1与index2拼合在一起作为不对称熵特征(DisEn),用式(11)来表示。

图5 所选导联的index2的值

由图4和图5可以看出,β节律下压力状态下的index1和index2均大于平静状态下的值。由此可见我们可以选择不对称熵特征作为情感特征,用支持向量机SVM和遗传算法优化参数后的支持向量机Ga-Svm分别进行10次分类实验,得到表1的实验结果。在心理效价(valence)和唤醒度(arousal)的二维平面中,压力状态的分类标准为(Arousal>5)∩(Valence<3),平静状态的分类标准为(Arousal<4)∩(4

表1 两种方法的分类识别率

图6是利用Ga-Svm分类得到的实验1的结果,由图可以看出平静状态下分错6个样本,压力状态下分错2个样本,分类准确率达到了90%。

图6 Ga-Svm下情绪分类结果

图7是分类器寻优时的适应度曲线,上面的红色线是最优适应度曲线,下面的蓝色圆线是过程中的平均适应度曲线,得到的最优的惩罚参数c=45.747 9,核参数g=0.401 02。

相比较文献[19]中Teodiano Freire等人与文献[20]中苏建新基于Deap数据库研究对压力与平静情感的已有研究成果,本文提取的不对称熵特征和分类算法能够达到更好的分类识别效果,如表2所示。

表2 基于DEAP的已有研究成果与本文的对比

5 结论

本文采用了多模态DEAP音乐情感数据库中的数据,提取出压力和平静2种情感脑电信号。每种情感选择了代表额区的6个通道数据。先用小波分解提取了脑电信号中与情绪关联较大的β节律,以频带能量和微分熵为基础对大脑产生的情绪脑电信号进行特征提取,根据人产生情绪时左右脑脑电不对称性的特点提出了新的不对称熵特征,将遗传算法与支持向量机相融合对不同的情绪进行分类,准确率最高可达到93.75%,结果表明该方法可以帮助人们有效地区分脑电情感信号。但是,情绪在一般情况下反映在脑电、肌电和其他的生理信号,本文不足之处在于只利用脑电信号进行情感分类,在以后的研究中希望加入其他的生理信号进行研究以提高情感分类准确率。