基于全天空极光图像方向能量表征方法的极光事件分类

张军 胡泽骏 王倩，3 梁继民

(1西安电子科技大学，陕西西安710071;2国家海洋局极地科学重点实验室，中国极地研究中心，上海200136;3西安邮电大学，陕西 西安710121)

0 引言

由于极光观测图像数据逐年递增，单纯依靠人工手段已无法进行有效及时的处理，因此，极光自动分类方法已成为极光图像分析领域中的研究热点。

Syrjäsuo等［1-4］在早期的极光自动分类问题中采用极光图像的一个或几个特征，如亮度、能量密度、灰度共生矩阵(GCM)、傅里叶描述子等特征来进行分类，虽然算法的扩展性和可靠性有限，但是作为早期极光自动分类工作中的经典方法，具有极其重要的启发意义，为后续的分类工作奠定了基础。2009年，付蓉等［5］提出了一种形态分量分析(MCA)的方法并结合多种分类器进行分类。2010年，王钰如等［6］提出采用X-灰度氛围矩阵(X-GLAMs)提取极光图像特征并结合支撑向量机(SVM)进行分类。同年，王倩等［7］利用局部二元模式(LBP)结合分块策略提取图像静态特征，得到了局部纹理和全局形态的统一描述，并且结合K近邻分类器取得了十分优异的分类效果。Han等［8］采用多阶统计特征结合小波分解，提取了包括灰度分布、灰度共生矩阵、行程长度矩阵(RLM)等特征，并结合K近邻分类器和后向神经网络进行自动分类，在保证特征维度较低的情况下，得到了鲁棒的分类性能。2013年，韩冰等［9］利用生物启发特征(BIFs)并结合判别位置对齐(DLA)的流行学习方法对特征进行稀疏表征，结合支撑向量机分类，获得了较好的实验结果。

然而，极光是一个动态物理过程，目前大部分基于静态图像的分析往往忽略了极光的运动信息。而特定的极光事件同时包含丰富的形态和运动信息，所以针对极光事件的动态分析才能更好地理解这种物理现象。杨秋菊等［10］提出的基于隐马尔科夫模型用于极光事件的检测，王倩等［11］提出基于光流场的方法用来表征极光事件，这两种方法都在极光事件的表征和检测中取得了一定的效果，但是这两种方法都是基于参数模型的算法，由于极光图像的复杂性，不同事件之间存在模糊过渡事件，而同类事件又往往存在较大的差异，因此需要大量人为标定的已知数据对模型进行训练。人工标定训练数据非常费时费力，而且由于经验和疲劳等原因很容易导致误标记问题。此外，这类基于参数的方法，往往难以解决事件长度不一致的问题，即使解决也是采用近似的方式进行处理。

针对上述问题，本文采用一种非参数模型的基于单个样本的表征方法用于动态极光事件自动分类。针对极光事件的运动方式，结合统计的动态纹理特性，本文提出一种基于方向能量的三维序列表征方法。首先，通过对多个方向上能量分解来描述极光事件中的局部纹理和各个方向上的运动信息，结合分块策略获得极光的全局形态信息。其次，为了最终计算统计表征，借鉴一种二元编码重组的方式对多个方向能量进行融合，从而使得极光事件的表征具有同时捕获多种类型信息的能力。最后，利用最近邻和支撑向量机分类器分别对从中国北极黄河站拍摄到的极光数据中挑选的特定极光事件进行自动分类。该方法不需要复杂的训练过程，参数简单，却能同时表征局部纹理，全局形态和运动信息。所提方法具有针对性，能有效用于极光事件的分析，并且所提特征完全不依赖于极光事件长度，方便表征不同持续时间的极光事件。

1 极光事件的表征方法

纹理、形态和运动特征在极光事件的表征中具有重要的意义，而同时获取这三种特性在极光事件的表征中十分必要。本文采用方向能量来表征局部纹理和运动特性，利用二元编码重组的方式对多个方向能量进行融合，结合分块策略来获取形态信息。

1.1 极光事件的方向能量

本文采用时空同时分解的方式获取方向能量，具体采用三维可操控滤波器，计算各个方向上的能量［12］。采用高斯二阶导数的输出和其希尔伯特变换得到特定方向上的能量响应［13］:

这里，θ∈［0，2π］和 φ∈［0，π］为球坐标中的两个角变量。图1(a)-(g)为一个极光图像序列的7个不同方向的能量示意图，这7个方向(θ^p)分别对应:帧内垂直运动(1，0，0)，帧内水平运动(0，1，0)， 帧间闪烁摇曳(0，0，1)，帧间向右运动，帧间向上运动(0，和帧间向下运动通过这样7个典型方向上的能量提取，可以全面地获取纹理和运动信息。

1.2 二元编码混合表征

为了进一步对7个方向能量进行联合统计，受局部二元模式的启发［14］，本文采用二元编码的方式进行特征重组。定义Ec=I2(x，y，t)为图像序列原始能量，重组后的编码序列为:

图1最后一行显示了编码之后的序列示意图。图2显示了详细的编码过程，通过公式(3)差分和加权编码，并对7个方向上能量进行编码重组，可以使得多个方向上的能量通过一个总的能量函数表示，这对于后续的统计直方图计算尤为重要。帧间向左运动

图1 方向能量示意图Fig.1.Diagram of orientated energies

图2 编码示意图Fig.2.Diagram of coding procedure

1.3 分块提取形态

图3所示为两种分块模式的详细描述，(a)为方形分块策略，(b)为扇形分块策略，(c)为如何提取特征的说明。每一帧图像按照相同的分块模式进行划分，所有帧的相同位置子块相连作为三维子块的一个划分提取三维序列特征。本文提出基于方形和扇形两种分块方式，每个的子块分别统计直方图特征为:这里，W(A)={1 如果A为真0 如果A为假，Ωi是所在子块的三维坐标范围，N是子块的总数，因此每个子块的直方图为:所有特征串联生成最终的图像序列表征H:

假如分块总数为N，最终特征维数为128×N。通过这种分块方式，可以从整体上获取极光图像的形态信息，结合各个子块方向能量的表征，实现所提特征能同时拥有获取纹理、形态和运动信息的能力。

图3 分块方式示意图Fig.3.Block partition scheme

1.4 正则化

由于每个极光事件的持续时间不同，所以对应的极光图像序列帧数不同。通过采用简单的归一化函数即可得到完全与帧数无关的序列表征:这里ε0是一个很小的常数，用来保证分母不为零。由于直方图特征的1范数为所有直方图条目相加，即为整个图像序列中所有像素数目总和，而由于每张图像大小相同，所以归一化之后可以得到与帧数无关的表征。这种简单的归一化操作，是很多基于参数模型难以做到的。

2 实验数据及参数分析

2.1 实验数据

中国北极黄河站拍摄的全天空极光数据，时间分辨率为10 s，原始图像为512×512，经过一系列预处理(包括去除暗电流、噪声、灰度增强和旋转)后，得到图像大小为440×440，灰度级为0-255的极光序列。

挑选具有稳定的极光过程的321个典型的极光序列进行分类实验。按照胡泽骏等［15］对极光的研究和王倩等［7］对于静态极光的分类，本文将数据库中的极光事件分为4个类别，分别为弧状极光序列(90)、帷幔型冕状极光序列(62)、放射型冕状极光序列(92)和热点极光序列(77)，图4所示为4种典型的极光序列示例。

本数据库拥有4种类别的极光事件，整体来说同类之间拥有相似的形态和变化，但是具体的变化形态和运动模式却复杂多样，持续时间各异，并且类间依然存在少量过渡状态，使得本数据库中极光事件的分类非常具有挑战性。

2.2 距离测度和分类器

本文分别采用支撑向量机［16］和最近邻分类［17］的方式进行有监督的分类。对于支撑向量机，需要针对特征类型选择适合的核函数，结合直方图特征的性质和前人的工作经验，通过大量的实验筛选发现，采用卡方核函数进行距离测度可以取得最优的结果。对于最近邻分类器，也采用卡方距离计算训练模型和测试样本之间的不相似度。卡方距离测度定义如下［18］:

这里x和y分别代表了训练样本和测试样本的特征，B为直方图特征的维度。

2.3 参数分析

图4 极光事件示例Fig.4.Examples of auroral event

本文提出的表征方法中最重要的一个参数是如何进行分块，本文定义m×n的方形分块方式为Sm×n;定义扇形分块为Cq×h，其中同心圆个数为q，径向块数h。通过采用留一法的策略进行最近邻分类，以便选择最优参数。留一法是交叉验证中的一种极限情况，假设样本数据集中有N个样本数据，将每个样本单独作为测试集，其余N-1个样本作为训练集，这样得到了N个分类策略对应的结果，用这N个分类策略的平均分类准确率作为此组参数的性能指标。

图5所示为不同参数选择下留一法的分类正确率，图(a)为方形分块的结果，图(b)为扇形分块的结果。当选择S3×3和C2×3时分别获得各自最高分类正确率为:85.78%和87.00%。总体来说，扇形分块可以更好地描述极光的整体形态。但由于王倩等采用方形分块策略进行静态极光图像的表征得到较好的分类效果，因此，在后续的实验中，本文依然对两种分块策略分别进行了实验比较，针对不同的分类策略探讨两种分块方式的特点。

图5 参数分析Fig.5.Parameter analysis

3 有监督分类

按照随机的方式，挑选数据库中一定量的样本作为训练集，剩余所有样本作为测试集，训练测试比例从1∶1到1∶10。图6显示分类结果随着训练测试比改变的情况。可以看出当采用扇形分块方式和最近邻分类器时可以得到最优的实验结果，并且特征维度为768，相比方形分块的1 152的特征维度有较大的降低。本文进一步给出扇形最近邻方式，当训练测试比为1∶1时的详细分类结果的混淆矩阵显示，如表1所示。从表中可以看出，弧状和放射型冕状极光事件得到较高的分类正确率，由于这两类极光事件各自特征明显而独特，类内一致性较好，类间差异较大，这也符合人眼常规更易于区分这两类极光的特性。反之，帷幔型冕状极光事件中经常出现过渡状态极光，尤其是热点极光事件除了拥有强烈的亮斑也会伴随其他各个类型极光的特征，所以出现误分的可能性较大。

从另一个角度来看，图6中，支撑向量机的方法没能取得比最近邻方法更优的分类结果。但是由于最近邻分类器不可避免地需要计算每一个样本与训练集之间的距离，效率比较低下，在实际应用中难以推广。由于训练样本较少的缘故，最近邻分类器所需的计算时间还可以容忍，但是在大量的训练和分类样本中，支撑向量机往往能取得非常优异的性能，特别在分类效率上，有大量提升。所以，对于海量数据实时分类，使用支撑向量机更有利于对数据进行分类。

此外，本文将两种经典的动态纹理表征方法Derpanis法［13］和 Doretto法［19］直接用于极光事件表征，结合最近邻分类器分类与所提算法进行比较。与这两种方法进行比较的原因有两点:第一，Derpanis的方法是基于方向能量的直接表征，跟本文所提方法最为近似;第二，Doretto的方法是非常经典的基于参数模型的动态纹理表征方法，与其比较的结果具有代表性。从图6中可以看出，相比于Derpanis的方法单纯使用方向能量，本文所提出的二元编码方式和分块策略取得了更为准确的分类结果，使得分类性能大大提升，这也说明，所采用的二元编码重组的方式，更加适用于极光序列的表征。Doretto基于参数模型的方法，取得了相对较低的分类结果，原因可能是训练样本较少，而且极光事件不同于普通的自然动态纹理序列，复杂的变化和不定的形态，类间差异不够明确，使得此参数模型难以精确地描述极光事件。

此外，本文还进行了K近邻分类，部分结果如图7所示。可以发现大部分情况下，找到的若干个近邻序列跟原始测试序列形态一致，但是偶尔也会出现标记不一样的情况。通过仔细研究发现，有些结果中，虽然标记的类别不同，但事实上，图像序列本身依然存在非常大的相似性，由于极光图像是连续变化的过程，难免有些中间的过渡状态，而对于这种情况，简单的标记难以描述清楚，多类别标记或者模糊标记可能是一个很好的解决方法。总体来说，对于选择的典型的极光事件，本文提出的算法取得了优异的分类效果，能方便地辅助极光专家进行数据的预选择。

图6 分类正确率随测试训练比变化Fig.6.Classification accuracy with different training-testing ratio

表1 各个类别分类正确率Table 1.Classification accuracies of different categories

图7 K近邻分类示例Fig.7.Samples from the results of K-nearest neighbor classification

4 结语

本文提出了一种新型的基于方向能量二元编码的三维动态极光序列表征方法，结合不同的分块方式，可以同时提取局部纹理、全局形态和运动信息。同时本文所提特征不需要复杂的训练过程，参数简单，并且跟极光事件持续时间无关，可以对不同持续时间的极光事件进行表征。

结合最近邻分类器和支撑向量机分类器，本文的特征描述方法得到了优异的分类性能，尤其是最近邻分类器结合扇形分块方式取得了最好的分类结果。实验结果表明，该算法可以进一步推广到更为海量的数据应用中去，解决了人工不可能完成的工作量，对实际观测结果的统计会有极大的帮助。如果具体应用中对效率和实时性要求比较高，支撑向量机可以用来进行分类，分类效率可以大幅提升。

但是，由于数据量较大，人工标记的训练集，难免存在一些错误标记。在接下来的工作中，需要寻找一种针对训练集进行重新筛选的策略，对训练集的误标记进行纠正或者剔除。除此之外，相比于海量的极光数据，本文实验中，由于人工选择的关系，所采用的极光事件数据量较少，实验结果并不能完全反映海量数据中的应用效果。所以在接下来的工作中，可以考虑将本算法应用于海量的极光数据分析中去，对完全未标定的极光事件进行检测和自动分类，为极光专家提供一种海量数据的自动分析方法。

1 Syrjäsuo M T， Donovan E F.Analysis of auroral images:detection and tracking.Geophysica， 2002， 38(1-2):3-14.

2 Syrjäsuo M T， Donovan E F.Diurnal auroral occurrence statistics obtained viamachine vision.Annales Geophysicae， 2004， 22:1103-1113.

3 Syrjäsuo M T， Donovan E F， Qin X， et al.Automatic classification of auroral images in substorm studies//Proceedings of the International Conference on Substorms(ICS8)， University of Calgary， Alberta， Canada， 2007:309-313.

4 Syrjäsuo M T， Kauristie K， Pulkkinen T I.A search engine for auroral forms.Advances in Space Research， 2001， 28(11):1611-1616.

5 Fu R，Li J，Gao X B，et al.Automatic aurora images classification algorithm based on separated texture//2009 IEEE International Conference on Proceedings of the Robotics and Biomimetics(ROBIO).Guilin:IEEE，2009:1331-1335.

6 Wang Y R，Li J，Fu R，et al.Dayside corona aurora classification based on X-grey level auramatrices and feature selection.International Journal of Computer Mathematics， 2011， 88(18):3852-3863.

7 Wang Q，Liang JM，Hu Z J，etal.Spatial texture based automatic classification of dayside aurora in all-sky images.Journal of Atmospheric and Solar-Terrestrial Physics， 2010， 72(5-6):498-508.

8 Han SM，Wu ZS，Wu G L，etal.Automatic classification of dayside aurora in all-sky imagesusing amulti-level texture feature representation.Advanced Materials Research，2012，341-342:158-162.

9 Han B，Zhao X J，Tao D C，etal.Dayside aurora classification via BIFs-based sparse representation usingmanifold learning.International Journal of Computer Mathematics， 2013， 91(11):2415-2426.

10 Yang Q J，Liang JM，Hu Z J，etal.Auroral sequence representation and classification using hiddenmarkovmodels.IEEE Transactionson Geoscience and Remote Sensing，2012， 50(12):5049-5060.

11 Wang Q，Liang JM，Hu Z J.Auroral event detection using spatiotemporal statistics of localmotion vectors.Advances in Polar Science，2013，24(3):175-182.

12 Derpanis K G，Gryn JM.Three-dimensional nth derivative ofGaussian separable steerable filters//IEEE International Conference on Image Processing，2005.Genova:IEEE，2005:Ⅲ-553-556.

13 Derpanis K G，Wildes R P.Dynamic texture recognition based on distributionsof spacetime oriented structure//2010 IEEEConference on Computer Vision and Pattern Recognition(CVPR).San Francisco， CA:IEEE，2010:191-198.

14 Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24(7):971-987.

15 Hu Z J，Yang H，Huang D，et al.Synoptic distribution of dayside aurora:Multiple-wavelength all-sky observation at Yellow River Station in Ny-Ålesund， Svalbard.Journal of Atmospheric and Solar-Terrestrial Physics， 2009， 71(8-9):794-804.

16 Suykens JA K，Vandewalle J.Least squares support vectormachine classifiers.Neural Processing Letters，1999，9(3):293-300.

17 Duda R O，Hart PE，Stork D G.Pattern Classification.New York:John Wiley&Sons，2012.

18 Sokal R R， Rohlf F J.Biometry:The Principals and Practice of Statistics in Biological Research.New York:WH Freeman and Company，1995.

19 Doretto G，Chiuso A，Wu Y N，et al.Dynamic textures.International Journal of Computer Vision，2003，51(2):91-109.