多层分类器模型的相似人体活动识别

李 辉，李瑞祥，张耀威，乐燕芬，施伟斌

(上海理工大学 光电信息与计算机工程学院，上海200093)

1 引 言

人体活动识别技术主要应用于医疗健康[1]、居家监控[2]、运动训练[3]以及跌倒检测[4，5]等领域.特别对于居家监控老人是否发生摔倒等意外，人体活动识别发挥了很大作用[6，7].近些年来基于人机交互系统的人体活动识别技术的研究引起了人们的广泛关注.

传统人体活动识别方法可分为两大类：计算机视觉[8，9]与可穿戴设备检测[10，11].根据监控生成的图片或视频进行计算机视觉判别分析，此种方法采集数据量大，容易受到光照、场景以及检测的个体差异等因素影响，难以得到稳定的识别精度[12，13].另一方面，随着微型传感器技术的发展，出现了体积小、功耗低、穿戴便捷的惯性传感器，借助加速度计、陀螺仪等可穿戴传感器，可以在不泄露隐私的情况下采集用户的活动信息，协助完成生活辅助、健康检测等工作.

在以往的单传感器的人体活动识别研究中，传统的特征提取方法通常包含了提取活动的幅度、周期以及能量等时域与频域特征，利用传统的时域与频域特征对不同个体的多类活动进行识别时容易产生相似活动的混淆.相似活动是指在单个加速度计传感器上进行识别，两种不同的人体活动具有相似的周期与幅度，被识别成相似活动.因为具有相似的周期与时域统计特性，这些相似活动在进行时域与频域特征提取时往往也具有相似特性.JANSI R等人[14]通过混沌映射对三轴加速度原始数据进行压缩，对压缩后的数据提取了均值、标准差、均方根、主频系数、谱能量等38维时域与频域特征，取得了83.22%的识别精度，识别结果显示跑、上楼梯、下楼梯3项活动产生了较大混淆.VANRELL S R等人[15]通过提取单加速度计数据的倒谱系数、时域特征、周期特征等91维特征向量，在10类人体活动识别中达到了91.21%的识别精度，识别结果显示行走、快走、倒走、上楼梯、下楼梯之间产生了较大混淆.相似活动的混淆原因可总结为两点，一方面由于实验者之间存在个体的活动差异，不同实验者的活动特点有所不同，因此相似活动的混淆产生于不同个体之间.例如，具有特定活动幅度与活动频率的行走对于某一实验者定义为正常行走，而具有该种幅度与频率的行走对于另一实验者判定为快速行走，如此不同个体间的差异性造成了混淆.另一方面，活动混淆问题也产生于同一个体的不同活动之间，对于相同个体的行走、上楼梯、下楼梯等活动具有相似的活动周期或活动幅度，因此对于同一个体这些活动识别易产生混淆，从而降低了总体的识别精度.

为了解决基于单传感器的人体活动识别中的相似活动混淆问题，提高多类活动的总体识别精度，本文提出一种广义判别分析的多层分类器融合的识别算法.首先，本文通过建立特征工程对提取的时域、频域以及时频特征进行分类重要性分析，降低特征向量维度和提升特征向量的分类有效性.其次，为了解决传统提取特征难以很好识别相似活动的问题，采用双层分类器分析易混淆活动并提取易混淆活动的非线性广义判别特征.非线性广义判别分析通过非线性映射增大相似活动特征间的类间距离，将第1层原始特征分类概率与第2层易混淆活动的广义判别分析特征分类概率加权融合得到最终结果.

本文主要工作包含以下几个部分，第2部分介绍了多类相似活动识别算法的基本流程、数据的获取与预处理、原始特征的提取与选择、广义判别分析特征提取的原理以及双层分类器的选择，其中特征提取与选择部分包括了特征工程的重要性评估与选择.第3部分介绍了数据采集位置选择、分类器参数、特征组合等实验的结果与分析，在相同的数据集上比较了其他算法和本文所提算法的识别性能.第4部分给出了结论和对未来研究的展望.

2 基于广义判别分析的多类相似活动识别算法

2.1 基本框架

人体活动识别流程大致分为数据采集与预处理、特征提取与选择以及分类算法训练与测试等几个步骤[16，17].为解决相似活动间的混淆问题，本文提出了基于多层分类器的多类相似活动分类识别算法.图1为整个算法流程.整个识别流程分为加速度数据采集与预处理、特征提取、第1层分类识别全部活动、广义判别分析映射相似活动特征、第2层分类识别相似活动以及双层分类器加权融合等几个步骤.

2.2 数据采集与预处理

本文采用公开SCUT-NAA三轴加速度活动数据库[18]，该数据库自然条件下采集了包括44个不同采集者(34个男性、10个女性)的1278个样本，采样速率为100HZ，三轴加速度传感器分别放置在采集者的腰部、裤子口袋和上衣口袋3个不同位置，每个采集者执行了10类动作，10类动作中包含了上下楼梯、行走、竞走、倒走以及快走等多类行为.对于10类行为加速度数据采用窗口大小为2s以及50%重合的滑动窗口进行数据分割.其中数据的70%作为训练数据，30%用于测试数据.

图1 多类相似活动识别算法流程图Fig.1 Flow chart of multi-class similar activityrecognition algorithm

2.3 特征提取与选择

人体活动识别结果很大程度取决于提取有效的特征，信号分析与处理空间包括时域、频域以及时频域.基于以往的研究分析[19]，表1记录了本文提取的一系列有效活动特征，同时本文对变换域特征的有效性进行分析，选择有效的特征维度.

表1 特征提取类别Table 1 Feature extraction categories

a)-f)分别介绍了表1中总结的时域、频域以及时频特征的提取原理.

a)轴间相关系数代表了三轴加速度计3个轴(x、y、z)采集数据间的相关性.

Cij=corr(i，j)

(1)

b)四分位距(IQR)用于表示统计数据中间50%的分散情况.它是上四分位数(Q3)与下四分位数(Q1)的差.将一组加速度数据从小到大排序，记为数组a(1，2，…，N)，a(1，2，…，N)，N代表数据的长度.确定四分位数位置，b=1+(n-1)*0.25，其中b的整数部分为c，小数部分为d.

Q1=a(c)+[a(c+1)-a(c)]*d

(2)

Q3计算方式与Q1类似.

IRQ=Q3-Q1

(3)

c)偏度表现了数据的偏斜方向和程度，定义加速度序列xi(i=1，2，…，N)，其均值为μ，方差为σ，则：

(4)

d)信号幅值面积代表了x、y、z三轴加速度数据读数大小与坐标轴围成的面积之和.

(5)

e)傅里叶变换幅值代表了信号在频域的特性，为选取有效的频域特征，对活动信号的频域特性进行分析，如图2所示

图2 x轴人体活动加速度数据幅频分析Fig.2 Amplitude-frequency analysis of x-axis human activity acceleration data

SCUT-NAA中10类活动的幅频分析，发现信号的幅度能量多集中与0-20Hz之间，且高频率多为噪声，不利于活动的分类.采用单独的傅里叶幅值特征进行分类评估，图3显示了x

图3 x轴傅里叶变换幅值特征重要性评估Fig.3 Evaluaton of the importance of X-axis Fourier transform amplitude feature

轴加速度数据的频域特征在分类中的重要性评估，从傅里叶变换的幅度特征的重要性排序可以看出0-10hz频率的幅值特征的重要性远大于10-20hz频率的幅值特征，因此为降低特征向量维度，选取0-10Hz频率幅值作为频域提取的特征.

f)小波变换被认为是对非平稳信号进行时频分析和特征提取的有效工具，为克服小波分解在高频段频率分辨率差与低频段的时间分辨率差的问题，离散小波包变换(DWPT)在每个子带上进行一定程度的迭代，得到近似系数和详细系数，即各阶段的低频系数和高频系数.信号能量是反映活动强度的一个重要特征，但由于活动的类间相似性，不同的活动可能显示出相同的能量，这个问题可以通过分析不同子带的小波包系数解决，具有相似信号能量的各种活动在不同的频带上往往具有不同的能量，因此计算每个子带的小波能量可以区分能量相似但频率不同的活动.

为提取有效的小波能量特征，采用基于小波最优基的特征提取方法，小波包基选择采用距离准则.此外通过频域信号特征分析，信号能量多集中于低频，高频频带通常由各种噪声主导，且由于人类活动的多样性，不同主体甚至同一主体的同一活动在高频上也存在一定差异.为了消除传感器信号内部可变性对活动识别的不利影响，去除高频频带而保留低频频带的小波能量特征，设子带空间为Z，子带能量为E(i，j)，表示在分解层次j上的第i个节点的能量，Ps(n，j，k)代表小波包变换系数.

E(i，j)=∑k∈z[Ps(n，j，k)]2

(6)

对采集信号进行4层小波包分解，通过距离准则计算最优小波包基，得到第4层15、16、17、18节点的能量，并求取4个节点的总能量为小波能量特征.

2.4 广义判别分析

传统提取时域与频域特征的方法为线性特征提取法，相似活动的时域与频域特征的类间距离较小，此类特征难以对相似活动进行准确分类，将线性特征转换为非线性特征是提高相似活动特征类间距离的有效方法.为提取非线性特征与降低相似活动混淆，采用广义判别分析法进行非线性特征提取.广义判别分析是对线性判别分析的非线性扩展[20]，通过非线性映射，将输入特征映射到更高维的特征空间，从而在高维特征空间进行Fisher判别分析[21].

令Ø为输入特征空间到高维特征空间F的非线性映射：

Ø：Rd→F，x→xØ

(7)

定义类间散度矩阵SBØ和总类内散度矩阵SWØ：

(8)

(9)

定义判别准则J(w)：

(10)

求解投影向量wopt就是特征值问题的解.

λSWØwØ=SBØwØ

(11)

由于特征空间F维度较高无法直接求解，因此引用内积核函数RBF作为映射函数k：

(12)

其中x，y代表对应特征值，σ为常数，代表非线性化程度.

由再生核理论可知，高维空间任一解可以被表示为该空间训练样本的线性组合：

(13)

则样本在最佳投影方向上的投影为：

(14)

2.5 双层分类器

为了初步对多类活动进行识别，第1层分类器选用在监督学习中性能优异的随机森林分类算法.随机森林(RF，Random forest)作为Bagging的进一步扩展与优化，在以决策树为基学习器构建Bagging集成基础上引入了随机属性选择的方法，随机森林算法的随机性特征选择使其基学习器具有多样性，提升了其性能与泛化能力，在本次研究中提取了55维特征向量，随机森林算法随机选择特征子集进行划分，充分利用了其各个特征包含的信息，在本文中进一步探讨了其基学习器数量对整体识别精度的影响.

第2层分类器对相似活动的广义判别分析特征进一步分类，解决多类相似活动易混淆的问题.由于广义判别分析特征维度较低因此选择支持向量机(SVM，Support Vector Machine)算法进行分类，得到相似活动的第2层预测概率.

针对相似活动对第1层分类器得到预测概率与第2层分类器的预测概率进行加权融合，解决多类相似活动易混淆问题，提升分类算法整体的识别精度.当第1层活动识别是行走、上下楼等相似活动时，执行广义判别分析算法进行原始特征映射，得到判别分析后非线性特征向量，使用SVM算法对非线性特征向量分类，得到混淆类别活动的识别概率，将第1层RF算法得到的识别概率与SVM算法识别概率平均加权融合，得到混淆活动的最终识别结果.

3 实验结果及分析

3.1 实验设置

本实验将SCUT-NAA数据集分为占比70%的训练数据集与30%的测试数据集，基于该数据集进行以下实验研究验证分类算法的有效性.

a)根据第1层分类器研究不同位置传感器采集数据的识别性能.

b)基于同一数据集比较不同基学习器数量的随机森林分类算法识别性能.

c)根据提取特征进行组合，分析不同组合的分类性能.

d)根据活动混淆矩阵分析相似活动并提取广义判别分析映射特征进行第2层分类，最后加权融合双层分类器得到最终分类结果.

e)比较不同分类算法分类性能以及与基于该数据集以往分类算法的研究比较.

3.2 评价指标

本文采用表2中混淆矩阵计算的指标进行评估，正确率为分类正确的样本数占样本总数的比例，查准率P为TP/(TP+FP)，查全率R为TP/(TP+FN).F1度量为2×P×R/(P+R).

表2 分类结果混淆矩阵Table 2 Confusion matrix of classification result

3.3 结果及分析

3.3.1 不同人体部位传感器采集数据集识别性能

SCUT-NAA数据集中包括来自衣服口袋、裤子口袋以及腰部处加速度计采集的活动数据，将不同位置采集数据进行第1层分类识别，表3 为不同位置加速度计采集数据集.使用随机森林算法分类性能比较，分别从正确率、查准率、查全率以及F1度量4个方面进行比较.

表3 不同部位传感器识别性能比较Table 3 Comparison of recognition performance ofdifferent placement position sensors

表3表明，在相同识别算法下，腰部传感器采集的数据集识别性能优于放置于裤子口袋与衣服口袋传感器采集的数据集，腰部传感器采集数据表达了身体活动的绝大部分信息，而其余位置传感器对少数活动具有局部限制性，无法完整表征活动状态信息，因此位于腰部的传感器采集数据性能最好.

3.3.2 决策树数量性能比较

在随机森林分类算法中最重要的一个参数便是决策树的数量，基学习器数量决定了分类性能好坏，表4总结了不同位置传感器数据在不同数量决策树条件下随机森林算法进行识别的正确率，从表中可看出随着决策树数量增多正确率逐渐上升，且在决策树数量为100时腰部传感器与衣服口袋传感器采集数据识别的正确率达到最高，超过100时正确率不再发生变化.决策树的数量影响了分类器的识别效率，本文提出识别算法的基学习器数量保证了训练效率，同时具有良好的识别正确率.

表4 不同决策树数量识别的正确率比较Table 4 Comparison of the accuracy of different numbersof decision trees for recognition

3.3.3 特征组合的比较分析

提取的特征向量包括时域特征、频域特征以及时频特征，通过特征重要性评估进行特征组合研究，评估不同特征在分类中的贡献，下面将对不同特征组合向量分类性能进行讨论.

表5总结了6种特征组合向量，根据特征重要性排序将均值、均方根、偏度、四分位距、轴间相关系数分为一组，最大值、最小值、信号幅值面积、小波包变换子带能量分为一组，傅里叶变换幅值为一组，3组特征进行组合评估识别性能.表6概括了6种特征组合向量的10类活动识别的结果.从表中看出，FV2特征向量得到最差的识别正确率87.2%，FV6特征向量得到最好的识别正确率95.4%，根据特征重要性排序，FV2的特征重要性较低，因此识别结果较差.但当FV2加入傅里叶幅值特征，正确率提升了7%，傅里叶幅值特征弥补了FV2特征组合中缺少的频域信息，因此傅里叶变换幅值在活动识别中具有较高的贡献度.

表5 特征组合向量识别性能评估Table 5 Performance evaluation of feature combinationvectors for recognition

表6 特征组合向量活动识别性能比较Table 6 Performance comparison of feature combinationvectors for activity recognition

3.3.4 相似活动分析及双层分类器

在SCUT-NAA活动数据集中包含上下楼梯以及多种行走类活动，这些活动具有相似的周期以及活动幅度特征，在算法识别过程中极易发生混淆，形成了相似活动.图4表示腰部传感器采集数据在第1层分类器下的分类混淆矩阵，横坐标代表预测类别，纵坐标代表真实类别.从图4中可看出上下楼梯、行走以及快速走这4种类别容易相互混淆，下楼梯容易错误识别为上楼梯，正常行走容易错误识别为骑车、上楼梯、放松，快速走容易错误识别为正常行走、上楼梯以及放松，尤其对于上楼梯与行走这两种活动在以往的研究中容易产生很大的混淆.

图4 第1层分类器人体活动混淆矩阵Fig.4 Confusion matrix of human activity of the first layer classifier

为解决上述4种相似活动的易混淆问题，将4种活动提取的时频域特征运用广义判别分析法进一步提取非线性特征，广义判别分析法将特征向量映射到高维空间，映射特征相较于原始特征聚类程度更强，更加易于分类相似活动，图5表示4种相似活动中随机抽取的3个原始特征的空间分布，可明显看出特征的类间距离较小，类内距离较大，不利于分类器的活动识别.图6表示4种相似活动的原始特征进行广义判别分析提取后随机抽取的3个非线性判别特征，经过映射后类间距离变大，类内距离变小，有利于分类器的识别.

图5 原始特征Fig.5 Primitive features

图6 广义判别分析特征Fig.6 Features of generalized discriminant analysis

将第1层分类器4种相似活动的输入特征进行广义判别分析映射后得到高维特征，输入到第2层分类器支持向量机得到4种相似活动的识别概率，与第1层分类器识别概率进行加权平均得到4种相似活动的最后识别结果.图7表示了双层分类器分类融合后的识别结果，可以看出与单层分类器识别相比，上下楼梯、行走以及快速走正确率从95%、91%、91%、89%提升到96%、96%、95%、95%，总体正确率由95.8%提升到97.2%，降低了相似活动的混淆程度.

图7 双层分类器识别混淆矩阵Fig.7 Confusion matrix of double-layer classifier identifies

3.3.5 分类算法比较及历史研究对比

表7对KNN、SVM、Xgboost、BP神经网络以及本文双层分类器识别性能进行了对比，本文提出的双层分类器在F1度量以及正确率都优于其他识别算法.

此外，将各类集成算法与广义判别分析降维算法进行双层分类组合比较性能，第2层分类器仍采用SVM，组合方式有Adaboost+GDA、Bagging+GDA和Randomforest+GDA，研究从查准率、查全率、F1值以及准确率等4个方面进行比较.表8可以看出，本文提出的Randomforest+GDA双层分类算法优于其他集成算法与GDA组合的双层分类，总体正确率达到97.2%.

表8 组合算法性能对比Table 8 Performance comparison of combined algorithms

与以往基于SCUT-NAA数据集研究的正确率进行对比，从表9可以看出对于上下楼梯、行走、快速走以及倒走错误率降低了59.89%、73.09%、80.48%、80.38%、61.94%.总体错误率降低了了35.57%.可以看出正确率有较大提升的几个活动为相似活动，双层分类器算法对相似活动混淆问题的分辨有了明显改善.

表9 历史研究分类错误率比较Table 9 Comparison of classification error rate ofhistorical research

4 结束语

本文提出基于单个加速度计的多类活动识别算法，通过传统特征的广义判别分析与双层分类器结合，降低相似活动混淆，提高了对于多类活动的总体识别正确率.在特征提取部分对频域特征与时频特征进行分析与重要性评估，减少了不利于识别的噪声以及降低了特征向量维度.同时特征向量组合的性能分析表明了提取的特征向量具有良好的有效性与鲁棒性.通过基于SCUT-NAA数据集验证，双层分类器融合算法在活动数据集得到识别正确率为97.2%以及F1值为0.97的良好性能，比以往基于该数据集研究得到的识别正确率提高了6%.对于正常走、快走、倒走、上楼和下楼等几类相似活动识别错误率降低了35%.因此，基于广义判别分析的特征提取方法可以将相似活动的特征在高维空间区别开来，提取出相似活动的有效分类特征，在针对单传感器相似活动易混淆问题上取得了一些进步.下一步研究本文算法在更多人体活动上的有效性.