基于SIFT特征和ISM的X射线图像危险品检测方法

， ,3

(1.无锡太湖学院 物联网工程学院，江苏 无锡 214064; 2.江苏省物联网应用技术重点建设实验室，江苏 无锡 214064; 3.江南大学 通信与控制工程学院，江苏 无锡 214122)

0 引言

使用X射线进行行李安全检查是减少犯罪和恐怖袭击风险的有效手段[1]。目前，X射线扫描仪在机场、火车站、地铁站等场所安检中已广泛应用。然而，当危险品目标放置在一个紧密包裹中、被其他物品遮挡、存在旋转等情况为基于X射线图像进行危险品检查制造了一些困难[2]。X射线图像是透视投影的阴影图像。基于X射线的检查系统可通过图像分割和伪彩色算法来提高X射线图像的质量。

目前，基于X射线的目标自动检测方法通常为图像匹配法，可分为基于灰度信息、基于变换域和基于特征的匹配法[3]。其中，基于特征的匹配法较为有效。采用的特征通常有角点特征[4]、尺度不变特征变换(scale invariant feature transform, SIFT)描述符[5]、快速鲁棒特征(speed-up robust feature, SURF)描述符[6]等。由于危险品目标的姿态通常是多变的，为了从X射线图像中获得对姿态变化具有鲁棒性特征，通过提取尺度不变特征是一种有效方法。

为此，采用了SIFT特征和隐式形状模型(implicit shape model, ISM)构建一种X射线图像危险品检测方法。首先，采集具有不同目标姿态的X射线图像集合，通过SIFT特征方法提取关键点及其局部视觉描述符。然后，在训练阶段，基于这些特征生成目标ISM模型，将一个目标对象通过特定类外观ISM模型中的部分视觉描述符来表示。在测试阶段，将输入图像中提取的目标描述符与ISM模型进行匹配，通过投票机制来确定目标所属的类别，以此实现危险品目标的检测。对具有不同姿态的酒瓶和手枪这两种危险品进行了检测实验，结果证明了提出方法的有效性。

1 目标表示与ISM模型

目标表示分为3个步骤：1)采集训练图像：采集具有代表性的危险品X射线图像; 2)提取SIFT关键点，利用SIFT特征提取方法获得目标的关键点信息；3)生成ISM模型：使用关键点和局部视觉描述符创建ISM模型。

1.1 训练图像采集

训练数据集使用了N个X射线图像。为了获取目标对象不同姿态的代表性X射线图像，需要从不同视点获取X射线图像。为此，将目标对象固定放置于一个塑料球体内，通过旋转球体来获得不同视角的X射线图像。其中，设定目标对象的α、β、γ角度分别与球体的X、Y、Z轴相关联。

然而，由于一部分图像在视觉上是重复的，因此只有少部分被选择为训练图像。训练图像数据库包含了在以下角度获得的100幅图像：α∈{120°,150°,180°,210°,240°}、γ∈{120°,150°,180°,210°,240°}、β∈{0°,30°,60°,90°}。

1.2 提取SIFT关键点

用SIFT特征点检测算子提取训练图像集中每幅X射线图像的关键点。

首先，需要找出在不同方向观察物体时都不会受影响的位置和尺度。通过一个连续尺度函数来寻找稳定的特征点，即将一个尺度可变的高斯函数与二维图像I(x,y)进行卷积，表达式如下[7]：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中，σ为尺度因子，G(x,y,σ)为高斯函数：

(2)

为了寻找L(x,y,σ)尺度空间的极大值点和极小值点，将每一个采样点与同尺度的相邻点进行比较，将极值点对应的采样点作为特征点[8]。

然后，依据极值点邻域像素的梯度方向分布特性，给每个极值点分配一个方向。每个取样点的梯度模值和方向的表达式如下：

m(x,y)=

(3)

(4)

图1所示为对一幅X射线图像提取的SIFT特征点及其方向。可以看出，目标物体的SIFT特征点能全部检测到。

图1 SIFT特征提取结果

1.3 生成ISM模型

在这个阶段，基于提取出的SIFT特征，将一个目标对象通过特定类ISM模型中的部分视觉描述符来表示。

为了确保为对象的各个部分都能开发有效的视觉描述符，需要将具有相似特征的视觉部分进行聚类以构建一个局部外观ISM模型。在本文中，使用一种了层次聚类策略来进行聚类。在层次聚类的初始化阶段中，将每个SIFT特征fk分别分配到一个簇中。将簇间距离最小的簇(最相似的簇)按顺序合并，直到满足准则条件。从形式上看，簇p被定义为包含全部SIFT特征fk的集合。对于p和q两个簇，其距离度量可通过下式定义：

d(Cp,Cq)=min(dE(fp,fq))，fp∈Cp,fq∈Cq

(5)

(6)

式中，fp和fq为SIFT描述符，fp(i)和fq(i)分别是第i个元素的fp和fq。

当一定数目或所有簇的类间距离均大于某一阈值时，聚类停止。在本文中，使用预定义类别数作为准则条件以实现更好的聚类效果。对于各种目标类，预定义的类别数M为400。那么，聚类p的中心为ISM模型中的一个描述符[10]，定义为：

(7)

其中:np为簇Cp中关键点的数量；ISM模型根据各聚类中心以及类中样本定义。

接下来，为目标的每个簇进行关键点聚合，簇p的聚合定义为集合Zp，其中p=1,…,M。Zp包含与Cp聚类中心具有相似描述符的训练图像的关键点。为此，Zp是一组坐标zk=(xk,yk)，定义如下：

Zp={zk:dE(fk,Cp)<θ}

(8)

式中，fk为关键点zk的SIFT描述符。关键点的坐标是相对于对象中心定义的。

2 目标检测

对X射线图像的目标检测分为两个阶段：1)特征提取; 2) ISM模型匹配和投票。

2.1 特征提取

2.2 ISM模型匹配与投票

(9)

(10)

(11)

然后将所有这些投票的进行融合，获得该目标中心位置分类检测的评分score(on,λ)：

(12)

最后，从全部候选检测中选择得分最高的作为最终检测结果。

3 实验及分析

3.1 实验设置

利用MATLAB软件对所提出方法进行了实验评估。实验中的X射线图像来源于配备数字X射线检测仪(Canon CXDI-50G)，X射线发射管(Poskom PXM-20BT)的安检仪器。X射线图像大小为2208×2688像素。实验检测两种不同的危险品目标：手枪和酒瓶，如图2所示。

图2 行李中的危险品目标

3.2 训练和测试图像

首先，对于每个目标对象，采集具有特定姿态的X射线图像。实验中所用的训练图像的数量为：酒瓶100张以及手枪200张。由于手枪具有多种内在的变化形状，因此使用了更多的训练图像。另外，所有的目标对象都使用边界框手动注释，表示为标记框BBgt，标注了目标对象在X射线图像中的位置。

选用了两组行李箱X射线测试图像(每个目标对象一组)。每个测试集由100张X射线图像组成，又可分为以下3个子集：1)100张具有一个目标对象的不同姿态图像；2)30个具有两个目标对象的图像；3)20张没有目标对象的图像。即每个测试集包含Np=100+2×30=160个阳性待测对象。另外，每一个X射线图像中都包含多种非目标对象(如衣物、充电线、笔记本电脑、CD、夹子、螺钉、钳子、发卡等)。图3给出了行李箱中不同姿态的手枪和酒瓶的X射线图像。

图3 不同姿态目标的X射线图像

3.3 性能评估

使用PASCAL视觉目标分类规则[13]作为性能度量。即：检测边界框BBdt与标记框BBgt的标准化重叠区域ao大于θa时，判定检测正确，通常设置θa=0.5，ao定义如下：

(13)

式中，BBdt∩BBgt表示两框的公共区域，而BBdt∪BBgt则表示两框的合并区域，如图4所示。

图4 重叠区域规则的解释

首先测量了整个数据集中真阳性(TP)和假阳性(FP)的样本数量，即，所有满足a0≥θa的样本即为TP样本，所有不满足以上条件的样本即为FP样本。理想的情况下，TP=Np(Np为目标对象总数)，而FP=0。定义真阳性率(TPR)为：TPR=TP/Np，假阳性率(FPR)为：FPR=FP/Nn。其中，Nn为非目标对象总数。图5给出了算法对手枪和酒瓶检测的受试者工作特性(ROC)曲线。可以通过计算ROC曲线下的面积来评估检测性能。

图5 酒瓶和手枪检测的ROC曲线

可以看出，本文方法对酒瓶的检测非常有效，在一个非常

低FPR处就能获得高TPR，例如FPR=0.05时TPR=0.996。而对于手枪的检测结果稍差，这是因为手枪为非对称的无规则形状物体，由于其质心与实际中心偏移较远，可能导致目标内外的分散检测，检测准确度会下降。但在此不良因素下，本文方法依然获得了可接受的结果，例如当FPR = 0.12时，FPR = 0.99。

3.4 性能比较

将提出的方法与两种已知的危险品目标检测方法进行比较。这两种方法分别为：1)文献[5]提出的基于传统SIFT描述符和支持向量机分类器的单视角X射线图像检测方法；2)文献[6]提出的基于快速鲁棒特征(SURF)描述符的X射线图像检测方法。

将酒瓶图像测试集的100幅图像作为测试集，计算每种算法的TP和FP的数量。其中，阳性和阴性样品数量分别为Np=100和Nn=1800。图6给出了3种算法的ROC曲线。表1给出了在FPR=0.05时，所对应的TPR值。可以看出，本文方法具有最佳性能，在FPR=0.05时，TPR=0.996，识别准确性比其他方法有着明显提高。

图6 3种方法的ROC曲线比较

方法TPR0．05值提出的方法0．996文献[5]0．826文献[6]0．617

4 结束语

提出了一种可以在X射线图像中自动识别特定危险品目标的方法。通过采集多姿态的目标图像构建训练集，通过SIFT算法提取目标特征点来获得目标描述符，从而构建目标的ISM模型。在检测过程中，通过目标描述符合ISM模型的匹配结果来检测危险品。在包含多个非目标物体的行李箱X射线图像上进行了相关实验，提出的方法都能够有效的检测出危险品目标并标注其位置，对目标姿态的变化具有很好的鲁棒性。

在未来工作中，将进一步提高对不规则形状目标的检测性能，同时尝试多视角X射线图像的目标检测，以此提高检测精度。

[1] 王小鹏, 于挥, 闫建伟. 一种基于X射线图像和特征曲线的危险品检测方法[J]. 中国体视学与图像分析, 2014,23(4):330-337.

[2] Mery D. Computer vision technology for X-ray testing[J]. Insight - Non-Destructive Testing and Condition Monitoring, 2014, 56(3):147-155(9).

[3] 董 浩. 基于多视角的X射线图像分析方法研究[D]. 南京：东南大学, 2016.

[4] 唐守军, 吴洪武. 基于Snake模型和协作表示分类的鲁棒人脸识别方法[J]. 湘潭大学自科学报, 2016, 38(2):104-108.

[5] Matravers D. Active X-ray testing of complex objects[J]. Insight - Non-Destructive Testing and Condition Monitoring, 2012, 54(1):28-35.

[6] Gong J H, Zhang J H, An Z Z, et al. An approach for X-ray image mosaicing based on Speeded-Up Robust Features[A]. International Conference on Wavelet Active Media Technology and Information Processing[C]. IEEE, 2012:432-435.

[7] 杨 敏, 赖惠成, 董九玲,等. 改进SIFT融合五官特征的旋转人脸检测算法[J]. 计算机测量与控制, 2016, 24(4):189-192.

[8] Tao Y, Xia Y, Xu T, et al. Research Progress of the Scale Invariant Feature Transform (SIFT) Descriptors[J]. Journal of Convergence Information Technology, 2010, 5(1):116-121.

[9] Kher H R, Thakar V K. Scale Invariant Feature Transform Based Image Matching and Registration[A]. Fifth International Conference on Signal and Image Processing[C]. 2014:50-55.

[10] 张路平, 李 飚, 王鲁平,等. 基于两级隐式形状模型的抗遮挡目标跟踪[J]. 国防科技大学学报, 2013, 32(6): 96-102.

[11] Leibe B, Leonardis A, Schiele B. Robust Object Detection with Interleaved Categorization and Segmentation[J]. International Journal of Computer Vision, 2008, 77(1):259-289.

[12] 郭树青, 赵凤霞, 张琳娜,等. 基于Hough变换的金刚石颗粒测量方法研究[J]. 计算机测量与控制, 2015, 23(10):3260-3263.

[13] 赵永威, 李弼程, 柯圣财. 基于弱监督E2LSH和显著图加权的目标分类方法[J]. 电子与信息学报, 2016, 38(1): 38-46.