基于SIFT的运动模糊编码点识别研究

陈明军，张丽艳

(南京航空航天大学 机电学院，江苏 南京 210016)

0 引言

机器视觉是工程领域中常用的用于缺陷检测、三维外形测量的有效技术手段，具有非接触、便携、速度快等诸多优点，现已经被广泛用于各类工程实践中。

现有的大多数视觉测量算法都是以所拍摄目标的图像具有清晰边缘和轮廓为基础的，虽然使用高速相机可以提高相机帧频进而拍摄到高速运动目标的清晰图像，但是随之而来的问题是曝光量不足导致的严重图像噪声问题。过度的噪声无疑会大幅降低目标三维外形的测量精度，而在航空航天等领域的一些应用中，需要对高速运动目标的三维形态进行精确的三维重建。例如，旋翼桨叶是直升机最重要的运动部件之一，在飞行中受到复杂载荷的作用而具有复杂的非周期运动形式和三维变形形态，而桨叶运动中的三维变形形态与桨叶所受的气动载荷直接相关，因此测量运动中的桨叶三维外形形态对于非线性气弹特性研究、非定常气动载荷识别具有十分重要的意义[1]。而在基于视觉的测量方法中常用的提高测量精度的手段是在待测目标上布设人为设计的主动视觉特征点，使用普通的工业相机拍摄的高速运动目标图像通常具有一定程度的运动模糊效应，这种运动模糊效应也是影响三维视觉测量精度的最重要因素。因此，在测量运动目标三维外形形态研究中首先遇到的问题就是如何准确识别布设于运动目标上的具有一定程度的运动模糊效应的主动视觉特征点。

SIFT(scale-invariant feature transform)[2]的全称是尺度不变特征转换，可用于描述图像的特征。这种描述具有尺度不变性，它常被用于清晰图像的特征匹配，具有很强的鲁棒性。因此，本文提出利用SIFT特征识别布设于高速运动目标上的视觉特征点。

1 视觉编码点的设计

主动视觉特征的选取直接关乎后续特征点能否准确识别并精确重建，为此，本文选取Forbes时，提出了一种编码图案(后文简称为编码点)[3]作为本文的待检测的视觉特征，如图1(a)所示是编码点的设计图，该图案的前景图案为白色，背景图案是黑色，具有强烈的对比度。因此，可以很方便地设计算法将该编码点与实际的测量场景中可能出现的干扰特征区分开来。在针对清晰的编码点的解码问题中，位于前景图案中心的小圆是待检测的“目标圆”。“目标圆”的圆心是三维重建过程中待测量的“目标点”，如图1(b)所示是编码点的设计结构示意图。在“目标圆”的外围是被等分成15份的环形区域，每一份相当于一个二进制位，可根据对应位的颜色将其编码，如图1(c)所示是图1(a)对应编码点的编码布局，其中，白色位为“1”，黑色位为“0”。

图1 编码点

在实际的编码过程中，按顺时针排列这十五位二进制，可以看出，如果所选取的起始点不同，编码点所对应的十五位二进制编码也不同，也就是说，每个编码点最多会对应15种不同的二进制编码。为此将这15种二进制编码转换为十进制，约定最小的十进制数对应地二进制编码为该编码点的身份编号，因此，图1(a)所对应的二进制编码为(000011101100111)2，十进制的身份编号为1895。

2 运动模糊编码点识别研究

2.1 SIFT特征提取算法

SIFT算法是一种检测局部特征的算法，它不仅具有尺度不变性，即使旋转角度、改变图像亮度或拍摄视角，甚至对于具有一定程度运动模糊效应的图像，仍然能够获得很好的检测效果，以下是SIFT算法流程的简要介绍。

1) 构建尺度空间。构建尺度空间的目的是模拟图像的多尺度特征，高速卷积核是实现尺度变换的唯一线性核，所以二维图像I(x,y)的尺度空间可以用式(1)表示：

L(x,y,σ)=G(x,y,σ)·I(x,y)

(1)

其中，(x,y)是图像坐标，σ是尺度变量，它的大小决定了图像平滑的程度，较大的尺度对应图像的概貌特征，小尺度对应图像的细节特征，G(x,y,σ)是尺度可变的高斯函数，它的定义如下：

(2)

为了有效地在尺度空间检测到稳定的关键点，定义高斯差分尺度空间如下：

D(x,y,σ)=L(x,y,miσ)-L(x,y,mjσ)

(3)

其中，D(x,y,σ)是图像尺度在miσ和mjσ下的高斯差分图像。i和j表示m的取值索引，根据索引选取多种m值，求取所有m值下的高斯模糊图像。将这些图像集看作是一个子八度(octave)，把同一子八度的图像降采样即可得到小尺寸的高斯模糊图像，这些模糊图像构成了一个新的子八度，如此即可构成一个高斯图像金字塔，每个子八度表示金字塔的一层塔，使用公式(3)计算同一层塔中相邻图像的差分图像，即可求得高斯差分图像金字塔。

2) 检测尺度空间极值点。在高斯差分图像金字塔中，除去每层塔的首尾两张图像，将其他图像中的每个采样点与其相邻点比较，看是否比它的图像域和尺度域的相邻点大或者小，即如果该点在相邻点中为极值点，则认为该点就是待检测的特征点。

3) 方向估计。利用特征点邻域像素的梯度方向分布特性为每个特征点指定一个方向参数，使算子具有旋转不变性。式(4)为计算点(x,y)处的梯度模值m(x,y)和方向θ(x,y)公式：

θ(x,y)=atan2(L(x,y+1)-L(x,y-1)，L(x+1,y)-L(x-1,y))

(4)

其中，atan2(x,y)指以坐标原点为起点，指向(x,y)的射线在坐标平面上与x轴正方向之间角的角度。

4) 计算SIFT特征。用公式(4)计算以特征点为中心的16×16邻域的梯度模值和方向。将该邻域窗口分为16个4×4的小窗口，按每45°一个柱统计每个小窗口的梯度方向。以此构建一个维度为8的梯度方向直方图，将直方图的峰值对应的角度作为该邻域窗口的主方向。因此，每个特征点对应着4×4×8=128维的SIFT特征。

2.2 运动模糊编码点识别模型构建

本文所使用的运动模糊编码点识别模型构建的主要流程如图2所示，首先从运动模糊编码点训练数据集中提取图像的SIFT特征，然后建立相应的特征描述，最后将运动模糊编码点训练数据集输入到支持向量机中进行模型的分类训练。

图2 运动模糊编码点识别模型构建流程

数据集中每张图像的SIFT特征个数通常是不同的，而支持向量机(support vector machine，SVM)[4]需要固定输入数据的维数。为此，本文使用文献[5]提出的方法为每张图像构建固定维数的特征统计直方图，将该直方图作为相应图像的特征描述，这种特征描述也被称作BoF(bag of features)，以下是建立BoF的主要算法流程：

1) 提取SIFT特征。使用SIFT算法提取运动模糊编码点的数据集中的每幅图像的特征。

2) k-means聚类。使用聚类算法k-means将提取到的所有SIFT特征聚类为k个类别，k为正整数。

3) 建立BoF。对于训练数据集中的每张图像，使用聚类的结果将图像上的每个SIFT特征进行分类，并建立相应的直方图统计每个类别出现的次数，将该直方图归一化后作为该图像的BoF。

3 实验研究

3.1 数据集

实验选取了身份号分别为1501、1907、2423、2525、2679的5种编码点作为待识别的视觉特征。足够的训练数据是模型获得良好泛化性能的前提。为了尽可能充分地采集到编码点在多种姿态、运动模糊程度下的图像，将这5种编码点布设于旋转中的吊扇扇叶上，在多个角度下选取多种曝光时间拍摄扇叶图像，并从中分割出编码点所覆盖的局部区域，采集了共19 000张图像，每个类别3 800张，按7∶3的比例将采集到的图像随机分为训练数据集和测试数据集，并保证两个数据集中的每个类别包含的图像数量相同，训练数据集和测试数据集的数据量统计如表1所示。

表1 数据集样本数量统计

如图3所示是从数据集中随机挑选的一部分图像，图示的图像已使用双线性变换法变换成了同一尺寸。

图3 编码点运动模糊图像

3.2 模型构建与泛化性测试

本文使用数据集识别精度作为网络模型泛化性的评价标准，识别精度表示使用已训练完毕的模型识别数据集中的图像，其中识别正确的图像数目占数据集包含的图像总数目的比例。

实验利用第3.1节建立的训练数据集构建运动模糊编码点识别模型，在使用SVM进行分类训练时，其惩罚参数设为1.0，所选取的核函数为线性核函数。另外，建立特征描述BoF的第二步需要设定聚类的类别数k。为了说明k值的选取对模型泛化性的影响，本文选取了多组k值(k=100, 300, 500, 700, 1 000)分别构建运动模糊编码点识别模型，并使用测试数据集测试这些模型的效果，训练数据集识别精度和测试数据集识别精度如图4所示。

图4 聚类类别数目k与识别精度的关系

从图4可以看出，随着k值的增长，训练数据集识别精度和测试数据集识别精度均呈上升趋势，其上升的幅度也越来越小。当k=700时，样本集的识别精度如表2所示，其中，训练数据集的识别精度为92.74%，测试数据集的识别精度达到了92.45%。从图4中可以看出此时测试数据集的识别精度最高，该结果说明了本文方法的有效性。

表2 k=700时的样本集识别精度

4 结语

本文提出了一种利用具有尺度等不变特性的SIFT特征来识别具有一定运动模糊效应的编码点视觉特征的方法，在简要介绍编码点的基本结构的基础之上，详细阐述了SIFT特征提取算法和运动模糊编码点识别模型构建方法。在实验部分，采集了5类共19 000张编码点的实际运动模糊图像用于模型的训练和测试，并分析了聚类类别数目k对识别精度的影响，本文实验的测试数据集精度最高可达92.45%，研究结果体现了本方法的有效性，可应用于工程实践中。