虹膜序列图像的质量评价与定位方法研究*

张海珊，刘笑楠，张文云

（沈阳工业大学信息科学与工程学院， 沈阳110870）

1 引 言

虹膜因其识别精度高而成为最突出的生物特征之一，应用于身份验证和身份识别。传统的虹膜识别技术在红外光源下进行图像采集，虽然采集到的图像干扰较少，但会伤害人眼[1]。随着智能移动终端性能的不断增强，可见光移动端虹膜识别发展迅速。在可见光条件下，所得图像中的虹膜区域包含更多的纹理细节[2]，然而这种弱约束的采集环境也令图像中的虹膜区域容易被阴影、眼睑、睫毛、镜面反射所干扰，从而导致可用于识别的虹膜纹理特征减少，降低了系统的识别精度[3]。Daugman 等人[4]最先提出了虹膜图像质量评价的概念，将虹膜区域的特征信息作为评价依据，对图像所反映的虹膜纹理信息进行评判，衡量图像信息对身份识别的适用性。该问题的解决方法可分为单一指标评价和多测度融合评价两类。在可见光移动端虹膜识别领域，由于干扰因素的多样性，单一评价指标不能满足图像质量评价的需求，虹膜图像质量必然是多测度融合的结果。罗晓庆等人[5]以虹膜图像的灰度分布特征为基础，提出虹膜完整性、虹膜可见度和虹膜清晰度三个单测度结合的虹膜图像质量评价模型。蔺勇等人[6]设计了可用虹膜区、虹膜大小、清晰度、扩张度等八个评价因子， 将评价因子融合形成虹膜图像质量评价值。郭慧杰[7]通过量化单帧图像感兴趣区域的清晰度、可用度和对比度等质量指标，计算序列图像的联合加权质量得分，对虹膜图像序列的可用性进行评价。上述方法针对红外虹膜图像进行质量评价，对于可见光移动端虹膜识别所获取虹膜图像而言，其可能存在的干扰因素更多，受干扰的程度更甚，还需进行进一步有针对性的研究。

虹膜定位指虹膜内外边缘的定位，它是虹膜识别系统中的重要环节，其准确性直接关系到特征提取效率以及特征匹配正确率[8]。针对可见光移动端虹膜图像的虹膜定位问题，Tan 等人[9]利用巩膜和虹膜特征训练支持向量机进行分类，根据虹膜灰度信息实现虹膜分割。刘帅等人[10]提出一种基于分块搜索的虹膜定位算法。穆珺等人[11]提出基于霍夫变换的可见光虹膜图像定位算法。文献[12]在此基础上，将霍夫变换与最小二乘法相结合实现虹膜定位。滕童等人[13]为快速淘汰干扰信息以准确定位虹膜区域，提出了基于卷积神经网络的区域和关键点回归多任务虹膜快速定位方法。孙正[14]提出了基于单位扇环灰度的虹膜定位算法。此外还包括主动轮廓法[15]、圆形Gabor 滤波器法[16]以及基于分水岭原理并依据巩膜和虹膜边缘信息的定位方法[17]。上述方法只适用于眼睛周围小范围区域且图像所受干扰较弱的虹膜图像的虹膜定位问题，无法实现干扰问题较多且面积较大的虹膜图像的虹膜定位。在光照不均、镜面反射造成虹膜边缘不明显的虹膜图像中，其定位效果并不理想。

综上所述，智能移动终端所获得的可见光虹膜图像因受光照及人眼眨动等影响普遍存在不同程度的干扰，而目前已有的虹膜定位方法无法实现严重干扰虹膜图像的准确定位。为此，利用智能移动终端的视频采集功能，在虹膜识别系统中采集多帧虹膜序列图像，在虹膜定位过程中植入图像质量评价，淘汰非理想虹膜图像，择优进行虹膜初定位；再针对虹膜区域纹理进行质量评价，选取可满足识别要求的虹膜图像进行后续特征提取与匹配操作，在提高虹膜定位准确率的同时降低设备的运算负担。以此设计新的融合图像质量评价与虹膜定位的多层级联式虹膜图像预处理算法，该方法能够实现以图像质量为依据的虹膜序列图像的图像选取与获选图像的虹膜区域定位。

2 算法的提出

在此提出一种包括两级质量评价和两级虹膜定位的多层级联式虹膜图像预处理算法。其算法流程如图1 所示，首先对智能移动终端采集所得的九帧序列图像依次进行图像增强并通过拉格朗日插值法消除光斑。通过Tenegrad 聚焦评价函数对图像进行第一级质量评价，若图像所得评价函数高于设定值，则进入虹膜初定位，否则淘汰图像。然后利用基于HOG-SVM 的分类模型实现虹膜初定位，若虹膜定位成功，则进入第二级虹膜质量评价，否则淘汰图像；第二级虹膜图像质量评价以小波系数作为特征值，利用BP 神经网络对图像进行质量评价，若图像纹理满足识别要求，则进入虹膜细定位，否则淘汰图像；最后利用圆拟合法及混合测地线演化法完成虹膜内外边缘定位。

图1 算法流程图

2.1 虹膜图像增强与光斑去除

可见光虹膜图像在采集过程中易受光照明暗度影响，虹膜纹理过暗或存在光斑，因此需要进行图像增强与光斑消除，减少光照对虹膜定位与质量评价准确性的影响。Retinex 算法可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此选择此算法对虹膜图像进行增强。其原理如下式所示：

其中S(x，y)表示获取的原始图像，L(x，y)表示自然光照分量，R(x，y)表示物体对入射光的反射分量。为简化运算，对式(1)两边进行取对数计算，这样就可以得到包含丰富信息的物体反射分量，如下式：

将此式运用到虹膜中，其中S(x，y)表示原始虹膜图像；按照Retinex 理论，此处的L(x，y)表示将原始虹膜图像高斯模糊后图像，R(x，y)则表示增强后的图像。

针对虹膜区域内由于可见光镜面反射所引起的光斑去除问题，根据光斑亮度高，连通区域面积小的属性，采用灰度值和区域面积确定光斑位置。首先，利用阈值法将灰度图像二值化，经过多次实验分析，将分割阈值设定为204。然后对二值图像进行开运算，通过统计分析，将8 连通区域面积小于800 个像素的区域判定为光斑。最后得到光斑位置坐标后，采用拉格朗日插值法消除光斑。

经实验分析，采用四次插值多项式修复。设光斑区域边缘处一点在图像中列坐标为p0，其位于光斑外的四个邻域点在图像中的列坐标为x0、x1、x2、x3，则：

其中L(x)为光斑恢复后灰度值，gi为光斑外四点灰度值。

2.2 第一级图像质量评价

第一级图像质量评价针对图像失焦问题。选择Tenegrad 清晰评价函数，该方法使用Sobel 算子提取水平和垂直方向的梯度值，图像梯度值F 的计算方法如下式所示：

由于对焦良好的图像有尖锐的边缘，因此F 越大，图像越清晰，如图2 所示。统计图库中360 幅图像的梯度值F，前180 张为清晰图像，后180 张为非清晰图像，统计结果如图3 所示。可见阈值T 设置为5.80 时，能更好判别出图像质量清晰程度。

图2 不同F 值下的虹膜图像对比

图3 虹膜图像F 值分布图

2.3 虹膜初定位

清晰的虹膜图像将进行虹膜初定位。为减少面部、眉毛等干扰因素对虹膜边缘的影响，使用HOG+SVM 分类器进行虹膜初定位。依据HOG 特征的计算原理，在此利用图库中的虹膜图像构建SVM 样本集，将包含完整人眼结构的图像块作为正样本，其他区域图像块作为负样本，如图4 所示。为获取样本HOG 特征值，将截取正负样本归一化，然后计算梯度，分割每一个cell，并为每个单元格构建HOG，将cell 组合为大block；块内归一化成梯度直方图，并把block 向量的特征向量串联成最终的HOG 特征。在获取HOG 特征时，采用合适的滑动窗格和block尺寸可以降低HOG 特征维数并有效地描述虹膜结构。通过对图库中图像的实验分析，该图库中虹膜区域的HOG 特征维度为20736 维，设置步长为25 个像素单位。训练后SVM 分类器准确率可达92%。

图4 训练样本示例图(人眼完整度)

2.4 第二级图像质量评价

初定位后可获得准确的眼球区域，但其中的虹膜纹理信息还可能不满足后续的识别要求，因此须对初定位所得区域采用小波变换与BP 神经网络结合的方式进行二级质量评价。在实际仿真过程中发现，使用db2 小波基与三次小波分解时所提取的特征系数效果最佳。低频子图因其包含的原图信息量多且丰富被选用为最佳子图。所设计算法的学习规则为梯度下降法双层BP 神经网络，选择第一层传递函数为logsig，第二层传递函数为purelin。将虹膜纹理清晰且完整的图像标记为正样本，虹膜纹理不清晰或不完整的图像标记为负样本，如图5 所示。正负样本各选取300 张，分别作为训练集与测试集，将样本低频子图的小波系数作为BP 神经网络的输入，样本标签作为BP 神经网络输出进行训练。训练完成后，选用测试集中的样本进行测试。训练后的神经网络分类正确率为96%。

图5 训练样本示例图(虹膜清晰度)

2.5 虹膜内外边缘提取

虹膜的内边缘就是瞳孔的外边缘，由于瞳孔内区域的整体灰度值比虹膜其他区域低，因此采用与瞳孔直径大小接近的30×30 方形模板在整个虹膜区域图像中滑动卷积求和，找出灰度值最小的区域中心点，然后以该中心点作为初始点，利用圆拟合方法圈出瞳孔。

混合测地线区域曲线演化法由Lankton 等人提出，它是一种混合了局部测地线活动轮廓和全局区域活动轮廓优点以确定目标边缘的方法[18]。其演化计算的公式如下式所示：

式中r，s∈[0，L(C)]，L(C)表示曲线C 的长度，参数r用来更新不断变化的曲线C 上的点，k 代表线上的高斯曲率，N 代表曲线对应某点的法线，x 用来更新曲线C(s)附近的点的函数。

经过多次曲线演化后，曲线周围局部范围内能量最小，此时曲线为目标边缘。该算法可以在低频噪声和部分光干扰的情况下，找出虹膜图像中的虹膜外边缘，达到虹膜定位的目的。

3 实验及结果

在此采用UBIRIS.v2 虹膜数据库模拟视频采集到的虹膜序列图像进行算法评估。此图库图像为可见光图像，包括受成像距离、主题视角和光照条件等干扰因素所致的各种非理想图像。图库图像大小为400×300 像素，受试人数为261 人。为构建所提算法适用的虹膜序列图像的实验仿真环境，选取图库的100 人作为实验对象。这些对象每人均可选出9 帧虹膜图像构成序列，并且序列中仅存在1 帧质量优良的虹膜图像。另外，所选图像包含实际采集过程中可能产生的各类干扰，受试人性别均衡、年龄层分布符合社会群体中虹膜识别需求。其中一人的9 帧图像示例如图6 所示。

图6 同一人的9 帧图像

如表1、图7 所示为本算法各步骤的实验结果。再进行第一级质量评价之后，图6 中(b)、(d)、(f)图像因失焦被淘汰掉；在初定位阶段，图(a)、(c)图像因虹膜结构不满足识别需求被淘汰掉；在第二级质量评价阶段，图6 中(e)、(g)、(h)图像因纹理不理想被淘汰掉；在细定位阶段，仅保留图6 中(i)图像。图7 表明经本方法淘汰质量受干扰的虹膜图像后，所保留下来的虹膜图像(i)可准确获得虹膜的边缘。

表1 各步骤实验结果

图7 各步实验效果图

以上实验仿真环境为Windows 10 系统，配置为第7 代i5 处理器，主频2.5GHz，8G 内存；实验平台为MATLAB 2017。

4 质量判别分析

利用基于Tenegrad 方法的粗评价算法与小波变换及BP 神经网络相结合的细评价算法对图库中900 张图像进行分类，其分类结果与主观评价结果对比如表2 所示。

表2 各两级质量评价的分类结果单位：幅

为衡量所提粗评价方法的性能，计算质量评价算法的真正类率（TPR， True Position Rate)、真负类率(TNR，true negative rate)和正确率(Accuracy)，采用如下各式计算：

其中TP 表示将正样本判定为正样本，TN 表示将负样本判定为负样本，FP 表示将负样本判定为正样本，FN 表示将正样本判定为负样本。

粗细评价方法的性能比较如表3 所示。可见，两级质量评价算法均取得良好的分类效果，说明本算法对虹膜图像质量评价的正确率能够满足筛选优质虹膜图像进行定位与身份识别的要求。

表3 粗细评价方法性能分析

为验证本方法中质量评价对虹膜定位算法准确性及运行效率的提升，对图库中的图像分别进行无质量评价环节的虹膜定位和此处提出的级联方法进行对比，对比情况如图8 和表4 所示。

图8 定位算法对比图

表4 定位准确率与运行时间对比

未经质量评价的虹膜图库中存在大量纹理不清晰或可见光镜面反射等问题。由图8 所示的实验结果可见，如果不通过图像质量评价环节，图8(b)和图8(c)中的非优质的图像无法获得准确的虹膜区域定位结果，即便定位成功，其虹膜纹理也不足以满足身份识别的要求，100 人的900 幅图像定位准确率仅为87%。所提方法通过图像质量评价可以获得每人最高质量的虹膜图像，使得虹膜定位结果更加准确，且可以获得更加可靠的虹膜纹理信息，排除各种干扰，100 人定位准确率可达到94%。如图8(a)中的居中一幅图像所示为定位不准确的情况，这里虽然排除了干扰对定位精度的影响，却没能排除与虹膜区域类似的睫毛的影响，该问题还需在今后的研究工作中做进一步改进。同时，若不通过质量评价环节，100 人的全部9 张虹膜序列均完成定位，平均每人的定位时间为127s，加入质量评价后，平均每人的定位时间为57s，运行时间提高55%。

5 手持设备视频拍摄实验及结果分析

为验证本算法在实际应用场合中的适用性，使用iPhone 8 后置摄像头拍摄一段视频，截取9 帧图像如图9 所示。

图9 视频截取的9 帧图像

第一级质量评价之后，图9 中(a)、(d)图像因失焦严重被淘汰掉；在虹膜初定位阶段，(b)、(e)图像因虹膜结构不完整被淘汰掉；在第二级质量评价阶段，图9 中(c)、(f)、(g)、(h)图像因纹理不理想被淘汰掉；在细定位阶段，仅保留图9 中(i)图像。如图10 所示为本方法在移动端拍摄的视频中淘汰质量受到光照干扰的虹膜图像的流程。可见， 所保留下来的虹膜图像(i)可准确获得虹膜的边缘域定位。

图10 手机拍摄实验各步骤效果图

6 结 束 语

为尝试解决移动端可见光条件下虹膜图像因存在光照不均、镜面反射等干扰因素而难以准确定位的问题，利用智能移动终端的视频采集功能采集多帧虹膜序列图像，设计一个同时完成两级质量评价与虹膜定位的级联型方法。测试结果表明该方法能够在移动端虹膜识别系统中在完成图像质量评价的同时对筛选出的优质图像进行虹膜定位。与传统虹膜定位方法相比，本方法通过淘汰不满足识别要求的虹膜图像，提高了虹膜定位准确率，也同时提高了系统运行速度与运行效率，具有一定的应用价值。