基于卷积稀疏表示的内外部指纹融合方法研究①

崔静静 王海霞 陈 朋 蒋 莉 张怡龙

(∗浙江工业大学计算机科学与技术学院 杭州 310000)

(∗∗浙江工业大学信息工程学院 杭州 310000)

0 引言

随着个人身份认证越来越受到重视,生物特征识别技术得到了迅猛的发展。指纹由于其独特性和终身不变性[1],成为当前个体识别或认证中使用最多的生物识别特征。传统的指纹采集设备,例如光学设备[2]、电容性设备[3]等,能够快速采集到对比度较高的指纹图像。然而当手指表皮存在污垢、磨损或疤痕时,获取的指纹图像会出现信息模糊与缺失等现象,对指纹的匹配识别造成影响。此外,表皮指纹易遭受硅胶指纹膜等的欺骗攻击[4]。事实上,手指指尖皮肤主要由表皮与真皮构成,在两者的交界处存在活性表皮层。生理学家发现表皮层构成的外部指纹与活性表皮层构成的内部指纹结构相同[4]。内部指纹位于指尖皮下2 mm 内[5],不易受外部皮肤状态影响[5-6],且能够有效地防止伪造指纹的欺骗。外部指纹与内部指纹之间的一致性也已经得到验证[6]。光学相干断层扫描(optical coherence tomography,OCT)成功从指尖活性表皮层采集内部指纹数据[7]。OCT 是一种无损、高分辨、非侵入式的成像技术,基于低相干干涉成像原理,对活体组织进行高分辨率成像,获取指尖皮下的3D 体数据。文献[8]利用轻量级神经网络精确提取OCT 内外指纹。文献[9]证明了OCT 指纹可以抵抗假指纹攻击和恶劣的指尖情况。

通过光学设备采集的外部指纹图像,有效面积大,图像清晰度高,但抗干扰性不强。通过OCT 技术采集得到指尖皮肤的体数据,利用指纹提取算法获取到内部指纹图像,抗干扰性强。然而受传感器与提取算法等影响,内部指纹图像通常包含噪声和较低的对比度。通过上述采集方式获取的内外指纹图像,是本文的主要研究对象。

内外指纹图像融合是将多张指纹图像信息相互结合,使融合指纹图像包含更多的细节纹理信息,便于后续识别研究。关于指纹图像融合的研究较少,文献[10]提出了将不同传感器采集得到的外部指纹进行融合,但当外部指纹出现磨损等情况时,外部指纹图像均存在相同的信息缺失的情况,融合不会有助于信息的补充。文献[11]利用OCT 获取指尖皮肤体数据,由指纹提取算法同步得到内外指纹图像,按照多尺度规则计算指纹图像的方向确定度(orientation certainty level,OCL)分数,利用偏置算法将OCT 内外指纹图像进行融合。该融合方法得到的融合指纹图像,不受指尖表皮状态的影响,但OCT 指纹图像存在噪声、对比度较低的问题,无法解决。目前,没有关于多传感器内外指纹图像融合的研究,现有的多传感器图像融合的研究主要是针对医学图像和遥感图像融合。基于稀疏表示(sparse representation,SR)的方法已成功应用于许多图像处理领域,文献[12]提出了基于稀疏表示的多传感器图像融合方法。文献[13]提出了基于SR的形态成分分析(morphological component analysis,MCA)的融合方法,解决了单分量表示的问题。文献[14]提出了基于卷积稀疏表示(convolutional sparse representation,CSR)的全局图像融合方法,解决了基于局部区域编码的细节保存能力有限以及对误配准不敏感的缺点。文献[15]把基于卷积稀疏的形态成分分析(convolutional sparsity based morphological component analysis,CSMCA)引入图像融合领域,该方法将MCA 模型和CSR 模型集成到统一的优化框架中,能够同时实现源图像的多分量和全局稀疏表示。

本文所研究的内外指纹图像,外部指纹图像受指尖状态影响,存在部分局部脊谷纹理信息缺失、模糊等情况;内部指纹图像受传感器与手指皮层深度差异的影响,局部信息可能出现缺失或模糊等。若直接进行融合,可能造成融合指纹比内外指纹的质量均差的情况。本文基于CSMCA 融合框架,结合像素级OCL 指纹质量评估,提出基于OCL-CSMCA的内外指纹融合方法,本文提出的方法具有以下两点创新:(1)将内外指纹图像进行融合,使融合指纹图像包含更多的指纹细节纹理信息,便于识别匹配等操作;(2)将内外指纹图像的OCL 质量图作为约束条件添加到融合过程中,保证融合指纹能保留内外指纹质量较好的区域,降低或避免指纹较差和异常区域给融合带来的影响。

1 指纹数据准备

本文研究的内外指纹图像分别由全反射(total internal reflection,TIR)设备和OCT 设备采集,不同设备之间存在系统畸变无法对齐,且OCT 采集的内部指纹需要从体数据中提取。多传感器设备采集在灰度分布、噪声水平、脊谷对比度以及脊谷厚度比等方面具有差异,称之为指纹风格差异,会影响指纹配准,进而导致指纹融合结果不佳。因此,为避免上述影响,在指纹融合前需要进行三步必要操作:(1)内外指纹同步采集与去畸变;(2)内部指纹提取;(3)内外指纹风格转换与配准。整体流程图如图1 所示,本节将对这3 个预处理步骤进行简要介绍。

图1 整体流程图

1.1 指纹数据采集

多传感器内外指纹由不同设备采集。时间、按压力度以及手指皮肤变化等因素造成指纹不同变形,造成内外指纹差异较大。为了减少差异影响,本文通过文献[6]提出的内外指纹同步采集系统,其通过梯形棱镜组合TIR 和OCT 光路系统,同时获取同一区域的外部指纹和指尖皮肤体数据。由于该同步采集系统组合了两个不同的光路系统,采集的指纹图像不处于同一坐标系下且具有不同的畸变,采用基于网格标定板的薄板样条差值(thin plate spline,TPS)算法对内外指纹进行了校正与坐标系的统一。

1.2 内部指纹提取

OCT 系统采集到的是指尖皮肤体数据,利用内部指纹提取算法获取到内部指纹。精度较高的提取方法将使指纹图像的细节纹理信息更加清晰,包含较少的错误指纹信息,质量更好。本文采用文献[16]提出的基于BCL-U Net 的内部指纹提取方法。该提取方法实现了对存在噪声和对比度较低的OCT 体数据的准确分割,从而实现了内部指纹的准确提取。其实验部分验证了内外指纹的一致性,并对内外指纹的识别能力进行了全面的评估,在指尖皮肤状态较差的情况下,内部指纹的识别能力高于外部指纹。

1.3 风格转换与配准

内外指纹由不同传感器在手指不同皮层深度得到,图像风格、图像质量等会存在较大的差异,此外,采集OCT 体数据大约需要30 s,比TIR 采集时间要长,在采集期间不可避免地会有手指抖动等现象的发生,会造成内外指纹位置发生错位或局部扭曲等现象。为了降低内外指纹风格差异与指纹间的相对形变给后续指纹图像融合带来的影响,本文采用文献[17]提出的基于多传感器差异最小化的内外指纹配准方法,实现指纹图像融合前的配准工作。该方法提出具有结构约束的生成对抗网络(generative adversarial network,GAN)用以实现内部指纹图像的风格转换,使其风格接近于外部指纹图像;设计了快速数字图像相关(fast digital image correlation,F-DIC)与离群排斥(outlier rejection,OR)相结合的两步配准方法实现内外指纹全局和局部的精准对齐。

1.4 融合必要性分析

同步采集等步骤实现了内外指纹图像的对齐,但无法消除指纹自身问题的影响。图2 展示3 组经过配准后的内外指纹图像,a(i)～a(iii)为TIR 采集到的外部指纹图像,受指尖皮肤状态等影响,有褶皱、汗渍、缺失等情况影响指纹质量。b(i)～b(iii)为基于BCL-U Net 的内部指纹提取方法提取到的OCT 内部指纹图像,对比度较低,局部指纹图像信息较为模糊。c(i)～c(iii)为对应的经过风格转换与精细配准后的内部指纹图像,对比度较高,脊谷结构较清晰,与外部指纹风格较为相似,但有局部信息缺失、模糊以及脊谷结构断裂等特点。若直接利用内部或外部指纹图像进行识别匹配等操作,会受到指纹局部信息缺失等影响。指纹图像融合能将内外指纹图像信息互相结合、补充,减少局部较差区域带来的影响,提高指纹图像质量,便于后续的识别匹配等操作。

图2 配准后的内外指纹图像对比图

2 基于OCL-CSMCA 的内外指纹图像融合

本文提出基于OCL-CSMCA 的内外指纹图像融合方法,将指纹图像的像素级OCL 质量评估与CSMCA 融合模型相结合,确保融合过程中保留指纹质量较好区域,降低质量较差与异常区域带来的影响。本节分为3 个部分,即CSMCA 融合模型概述,像素级质量指标OCL 和指纹图像融合过程。

2.1 CSMCA 融合模型

基于CSMCA[15]的图像融合模型将MCA 模型和CSR 模型集成到统一的优化框架中,可以同时实现内外图像的多分量和全局稀疏表示,保留内外指纹图像纹理结构较为完整的区域,减少由于磨损造成的指纹纹理信息模糊的影响。

MCA 模型将源指纹图像分解为一个卡通分量和一个纹理分量,卡通分量主要包含指纹图像平滑的脊线谷线结构;纹理分量主要包含脊谷纹理结构重复变化的部分。通过将指纹图像分解,能够在融合过程中根据实际需求设计适合指纹图像融合的策略,降低局部脊谷结构不清晰给融合造成的影响。CSR 模型是一种有效的图像融合模型,克服了基于稀疏表示SR 融合方法的细节保存能力有限以及对图像误配准不敏感的缺点。CSR 模型是在整个图像上进行了优化而不是将源图像分解为重叠的局部块,其有较好的图像细节保存能力,另外该模型具有位移不变性,显著提高了图像误配准区域的融合质量。将CSR 模型应用于指纹图像融合,能够保留内外指纹图像的细节、纹理等信息,降低局部误配准给指纹图像融合造成的影响。

通过将基于MCA 的方法和基于CSR 的方法集成到统一的优化框架,来促进基于SR 的指纹图像融合,得到融合模型CSMCA,该模型被定义为

式(1)中,Y表示待分解的单幅指纹源图像。dc,m和dt,m是两种分量对应的两组字典过滤器,其数量分别是Mc和Mt,值皆为常数6。该过滤器由卷积稀疏表示的字典学习方法[18]从卡通图像和纹理图像中预先学习获取得到。Xc,m和Xt,m分别表示源图像分解后的卡通和纹理分量稀疏系数图。·代表卷积运算符。λc和λt分别表示卡通和纹理分量的正则化参数,值皆为常数0.6;‖·‖1表示l1-范数,‖·‖2表示l2-范数,根据相关的基于SR 的融合方法[12-13],使用l1-范数用于约束稀疏性,使用l2-范数用于防止过拟合。

2.2 像素级质量指标OCL

指纹图像受手指皮肤状态与采集设备等影响质量不均匀。质量较好的指纹图像由清晰的脊线、谷线沿相同方向均匀组成。质量较差的指纹图像则存在脊线谷线模糊不清或脊线断裂等情况。OCL[19]是一种重要的指纹质量检测方法。它通过对图像块中的图像梯度进行主成分分析,寻找其特征向量和特征值来形成正交基。两个向量分别指向平均脊线流向的法线和切线方向。两个特征值之间的比值表示沿主导方向能量集中的强度,来判断指纹图像质量。

传统的OCL 计算方式是将指纹图像划分为大小相等的局部块,计算每个局部块的OCL 值,然后通过加权平均得到指纹图像的OCL 值,用OCL 值的大小判断指纹图像整体的好坏。本文中,为实现像素级的内外指纹图像融合,本文需要对指纹图像进行像素级OCL 评估。因而,对指纹的每个像素点(x,y),以其为中心,取含N个像素的图像块P,构建协方差矩阵如式(2)所示。

其中,(dxi,dyi)表示i处图像的方向和方向强度,c1～c3是矩阵元素的简单表述。从协方差矩阵中C计算得到较小特征值λmin和较大特征值λmax。

求解公式为式(3)。

当λmax大而λmin接近于0 时,方向确定性高而指纹质量好;当λmin和λmax的值接近,方向确定性不高而指纹质量较差。为使OCL 值能直接代表指纹质量,本文将OCL 值计算如下。

最终获取的OCL 值分布在[0,1]的范围之间。OCL=1 表示一个区块中的山脊和山谷在同一方向上一致地变化。OCL=0 表示山谷和山脊的方向垂直。通过对每一个像素进行OCL 值的计算,对每个指纹图,可获取到相同大小的OCL 质量图。

2.3 内外指纹融合过程

本文的内外指纹图像融合包括4 个步骤。(1)将内外指纹图像分别进行分解,分别得到其卡通和纹理分量的稀疏系数图;(2)将内外指纹的OCL 作为约束条件分别融入到卡通和纹理分量的稀疏系数图中;(3)采用最大值策略获得卡通融合系数图和纹理融合系数图;(4)对卡通和纹理融合系数图进行重建,得到融合指纹图像。指纹融合流程图如图3所示。

图3 指纹融合流程图

2.3.1 源指纹图像分解

本节将基于CSMCA 模型的稀疏编码分别应用于一组配准好的待融合的内外指纹图像,得到内外指纹图像的卡通分量与纹理分量的稀疏系数图,分别表示外部指纹图像分解后获得的卡通分量和纹理分量的稀疏系数图,分别表示内部指纹图像分解后获得的卡通分量和纹理分量的稀疏系数图。

2.3.2 融入OCL 质量评估

传统指纹图像OCL 评估只得到单一的OCL 值评估图像的整体质量,不能对指纹细节质量进行体现,不符合本文添加OCL 约束的要求。本文利用滑动窗口技术,逐像素移动窗口遍历整个指纹图像进行像素级OCL 评估。窗口过大会忽略局部细节,过小包含的指纹信息不全,因此窗口过大或过小均不能很好地表示指纹图像的质量,本文指纹图像大小为300×260,窗口大小设置为10×10。其中指纹及其对应的OCL 质量图如图4 所示。

其中,图4 所示的质量图灰度值较大表示该区域指纹质量较好,灰度值较小表示该区域指纹质量较差。a(i)～a(iiii)分别为外部指纹图像局部区域褶皱、磨损、较干以及较湿4 种情况,能够看到,其对应的b(i)～b(iiii)OCL 质量图在指纹较差区域灰度值较小,能够很好地表征指纹的局部区域质量。所以将指纹的OCL 质量图作为约束条件融入到指纹图像融合过程,能保留内外指纹较好的区域,降低或避免内外指纹较差区域给融合指纹带来的影响。

图4 指纹OCL 质量图

指纹的卡通分量和纹理分量的稀疏系数图和指纹图像的大小相同,纹理结构相同,且质量好坏区域像素一一对应,因此指纹图像的质量图同样适用于其分量图。本文通过构建结合OCL 质量评估的卡通与纹理分量稀疏系数图,在融合过程中降低低质量区域的影响。为简化符号,本文使用n(n∈{c,t})通用地表示卡通与纹理分量,新的内外指纹卡通与纹理分量表示如下。

其中,Ws为外部指纹权重,Wi为内部指纹权重,Ws和Wi均分布在[0,1]的范围之间;(x,y)为图像坐标,OCLs(x,y)和OCLi(x,y)分别表示外部指纹和内部指纹在(x,y)处的OCL 值;分别为外部指纹图像添加权重Ws后的卡通分量与纹理分量稀疏系数图;分别为内部指纹图像添加权重Wi后的卡通分量与纹理分量稀疏系数图。

2.3.3 稀疏系数图的融合

利用最大值融合策略对外部指纹与内部指纹的卡通分量或纹理分量的稀疏系数图进行融合,需要对指纹的活度进行测量。指纹图像的初始活度图采用稀疏系数向量的l1-范数实现如下。

为提高活度测量对指纹图像噪声和误配准的鲁棒性,采用基于窗口的平均策略获得内外指纹的最终活度图:

其中rc和rt分别为卡通分量和纹理分量的窗口半径,在本文中设为相同的值5。基于最大值融合策略,卡通或纹理分量的融合系数图的表达式为

2.3.4 稀疏系数图的重建

使用得到的卡通融合系数图和纹理融合系数图,对指纹图像进行重建,重建表达式如式(13)所示。

其中If是最终的融合指纹图像。

2.4 OCL 融合方式验证

指纹的卡通分量和纹理分量的稀疏系数图和指纹图像的大小相同,纹理结构相同,且质量好坏区域像素一一对应,因此指纹图像的质量图同样适用于其分量图。如图5 所示,a(i)～a(iii)为同一组外部指纹,b(i)～b(iii)为对应的内部指纹,c(i)～c(iii)为CSMCA 融合指纹,d(i)～d(iii)为OCL-CSMCA融合指纹。通过设置一个全黑的150×150 局部小块分别遮挡内部指纹b(i)、外部指纹a(ii),遮挡区域没有指纹脊谷结构,故该局部区域OCL 值为0,则受遮挡的指纹在OCL-CSMCA 融合过程中不起作用。通过c(i)和c(ii)能够看到,受全黑局部块影响,CSMCA 融合指纹在局部块内融合结果整体偏黑,通过d(i)和d(ii)能够看到,OCL-CSMCA 融合指纹在局部块内融合结果与未受遮挡指纹保持一致。未添加遮挡的OCL-CSMCA 融合指纹d(iii)比CSMCA 融合指纹c(iii)纹理结构更加清晰。像素级OCL 质量评估不仅能对指纹图像质量有很好的体现,也能作为指纹质量约束条件融入到CSMCA融合算法中,保证融合指纹图像的质量。

图5 OCL 融合方式对比图

融合算法伪代码如算法1 所示。

3 实验与结果分析

本节将进行指纹质量对比实验来验证本文所提出指纹图像融合方法的性能及融合指纹匹配情况。

3.1 指纹数据情况

在本实验中,指纹数据是经过预先采集、提取、风格转换与配准的320 组内外指纹图像。按照外部数据情况将指纹数据库分为以下4 种情况:(1)外部指纹有褶皱,指纹脊线局部断裂缺失的情况;(2)外部指纹有磨损,指纹信息缺失的情况;(3)外部指纹较干,脊线断裂的情况;(4)外部指纹较湿,指纹脊谷结构模糊的情况。以上4 种情况的外部指纹对应的内部指纹具有不同程度的缺失、指纹信息模糊等。情况(1)、(2)、(3)中的指纹数据各占数据总量的20%,情况4 约占数据总量的40%。图6 中a(i)～a(iiii)所示的指纹图像分别为以上描述的4 种内外指纹,b(i)～b(iiii)为与a(i)～a(iiii)相对应的风格转换与配准后的内部指纹图像。b(i)存在局部信息缺失和模糊,b(ii)的脊谷结构相对较完整,b(iii)局部缺失较严重,b(iiii)有效区域较小。

图6 内外指纹图像对比

3.2 指纹质量对比实验

本节对内、外与融合指纹的质量进行评估与对比,采用指纹图像质量评估指标NFIQ 分数[20]、有效面积si[21]以及传统的方向确定度OCL[19]。NFIQ2.0综合了一系列指纹评估指标,获得了0～100 之间的指纹图像质量得分。分数越高,指纹图像质量越好。NFIQ2.0 专为500 dpi 的图像开发,因此,本文的指纹图像均被压缩至500 dpi。OCL 的计算采用传统的将指纹图像分块计算加权平均值的形式,值越接近于1,指纹图像质量越好。有效面积si 是前景区域面积与指纹图像面积的比值,指纹有效面积越大,指纹包含的纹理、细节点信息更多,有利于识别匹配操作,si 的范围为0～1 之间,值越大,指纹有效面积越大。

3.2.1 指纹质量分数对比

为了验证本文融合方法,本部分将对比320 组内外指纹以及融合指纹图像的质量。融合指纹图像由本文融合方法(OCL-CSMCA)、CSMCA 方法及Darlow 融合方法[13]获得。为进行公平的对比,上述融合方法所使用的指纹数据皆来自3.1 节的数据库。图7 展示了其中一些内外和融合指纹图像,a(i)～a(iiii)为外部指纹褶皱、磨损、较干以及较湿的4 种情况,b(i)～b(iiii)为对应的内部指纹图像,c(i)～c(iiii)、d(i)～d(iiii)、e(i)～e(iiii)分别为Darlow 融合方法、CSMCA 融合方法、本文方法得到的融合指纹图像。其中,Darlow 融合指纹对褶皱、磨损、较干以及较湿4 种情况的指纹弥补效果相对较差。CSMCA 融合指纹比Darlow 融合指纹的视觉效果要好,其对褶皱效果的弥补与本文方法相差不大,但在外部指纹出现磨损、较湿等情况时,脊谷纹理清晰度稍差于OCL-CSMCA 融合指纹。总的来说,本文方法较好地保留了内外指纹纹理清晰的区域,脊谷清晰情况与融合前较好的指纹图像保持一致。

图7 指纹图像对比图

将NFIQ2.0[20]应用于320 组内部、外部以及3种融合指纹图像,5 种指纹图像的NFIQ2.0 得分统计箱线图如图8 所示。

由图8 能够看到,内部指纹图像的整体质量最差,外部指纹图像整体质量高于内部指纹图像。3种融合方法得到的融合指纹图像质量均高于内外单种指纹图像,本文融合方法得到的融合指纹图像的质量分数高于其他两种融合指纹图像。这一对比结果表明本文融合方法得到的融合指纹图像较好地保留了内外指纹质量较好区域的指纹信息,降低了局部指纹质量较差区域带来的影响,质量相对于内外指纹图像和其他融合指纹图像皆有提升。

图8 指纹质量对比图

3.2.2 指纹方向确定度对比

将传统的方向确定度[19]应用于评估320 组内部、外部以及3 种融合指纹图像,5 种指纹图像的方向确定度统计箱线图如图9 所示。

由图9 能够看出,内部指纹图像的OCL 值最小,方向确定性最差,其次依次是外部指纹、CSMCA融合指纹、Darlow 融合指纹与OCL-CSMCA 融合指纹。这一对比结果表明本文融合方法得到的融合指纹图像局部方向确定性最好,包含更少的噪声影响,脊谷纹理结构更加清晰。

图9 方向确定度对比图

3.2.3 指纹有效面积对比

将有效面积si[2]应用于评估320 组内部、外部以及3 种融合指纹图像,5 种指纹图像的有效面积统计箱线图如图10 所示。

图10 指纹有效面积对比图

由图10 能够看到,内部指纹图像的有效面积大于外部指纹图像。3 种融合方法得到的融合指纹图像的有效面积均大于内外指纹图像,依次是CSMCA最大,本文融合方法次之,Darlow 融合方法最小。这一对比结果表明本文融合方法在提高融合指纹图像质量和方向确定性的同时,保留了内外指纹图像的大部分有效面积。

3.3 指纹结构相似性对比实验

结构相似性指标SSIM[22]基于图像亮度、对比度、结构3 个指标测量2 张图像的相似性,SSIM 的范围为0～1 之间,SSIM 的值越高,说明图像越相似。为了验证融合指纹依然保留与源指纹相似的纹路信息,本节将SSIM 指标应用于评估320 组内外指纹与融合指纹图像的相似性。评估分两部分进行。

首先,对内外指纹图像以及OCL-CSMCA 融合指纹进行评估,3 种结构相似性统计箱线图如图11所示,内部与外部指纹的SSIM 值最低,OCL-CSMCA融合指纹与内部指纹SSIM 值最高,与外部指纹的SSIM 值位于前两者之间。这一对比结果表明,本文OCL-CSMCA 融合指纹图像提高了与内外指纹图像的结构相似性,能与内外指纹图像达到较好的互相兼容效果。

其次,将SSIM 应用于计算CSMCA 融合指纹、Darlow 融合指纹以及本文OCL-CSMCA 融合指纹与内外指纹图像的结构相似性。3 种融合指纹图像与外部以及内部指纹图像的结构相似性箱线图如图12(a)与图12(b)所示。

由图12 能够看到,Darlow 融合指纹与外部指纹的SSIM 值最高,与内部指纹的SSIM 值最低,CSMCA 融合指纹与外部指纹SSIM 值最低,与内部指纹SSIM 值最高,OCL-CSMCA 与内外指纹的SSIM值位于前两种融合指纹之间。

图12 融合与源指纹相似性对比图

本文所采用的外部指纹多受指尖外部褶皱、汗渍、缺失等影响,风格转换后的内部指纹会有局部信息缺失与模糊等情况。OCL-CSMCA 方法将内外指纹纹理结构区域进行结合,不易受内部或外部指纹单独质量的影响,降低了指纹质量较差区域的影响,所以OCL-CSMCA 融合指纹图像与外部以及内部指纹的SSIM 值位于其他两种融合方法中间。

3.4 指纹匹配实验

为了验证本文融合指纹的匹配性能,本小节将对比融合、外部与内部指纹的匹配分数。本文采用的匹配工具是VeriFinger 11.1 SDK[23],该工具可以提取两组待匹配指纹各自的细节点并得出两者的匹配分数,匹配分数越高,说明匹配性能越好。由于本文指纹数据库量较少,无法做批量匹配实验,后续将采集大批量内外指纹数据,进一步验证融合指纹图像匹配的效果。

3.4.1 指纹匹配

本节对内部、外部以及融合指纹的匹配能力进行讨论。首先,本节对同一种指纹的不同次采集进行匹配测试。如图13 所示,(a～c)与(d～f)分别为2 个不同手指的匹配结果,而(i)与(ii)分别为该手指第1 次与第2 次采集获得的指纹图像。以(a～c)为例,(a～c)分别对应同一组指纹的外部、内部以及融合指纹。通过指纹(i)与指纹(ii)的匹配,即同种指纹不同次采集的匹配,其匹配结果与匹配分数表明,本文的融合指纹图像相对于内外指纹图像细节点皆有所增加,融合指纹图像的匹配能力有所提升。

图13 指纹匹配结果图

其次,本节对不同类型指纹的匹配能力进行测试。如图14 所示,(a～c)与(d～f)分别为2 个不同手指的匹配结果。以(a～c)为例,a(i)～c(i)分别对应第1 个手指在第1 次采集时获得的外部、内部以及融合指纹,而a(ii)～c(ii)皆为第1 个手指在第2 次采集时获得的融合指纹。通过指纹(i)与指纹(ii)的匹配,即外部、内部与融合指纹与不同次采集的融合指纹的匹配,其匹配结果与匹配分数表明,本文融合指纹图像与内部、外部以及融合指纹图像能够较好地匹配兼容。

图14 指纹兼容匹配结果图

3.4.2 内外指纹细节点讨论

为了验证指纹褶皱、缺失、断裂以及模糊等对指纹细节点提取造成的影响,以及融合后的指纹图像对细节点正确提取的改善作用,本节选取4 组内外指纹和融合指纹图像,对比融合前后的细节点情况,指纹细节点对比图如图15 所示。a(i)～a(iiii)为外部指纹图像的4 种情况,b(i)～b(iiii)、c(i)～c(iiii)分别为对应的内部指纹与OCL-CSMCA 融合指纹图像。a(i)有效面积较小,受噪声影响,边缘存在错误提取的细节点,b(i)有效面积较大,细节点较为完整,c(i)结合了内外指纹的正确细节点,减少了错误细节点的影响。a(ii)较为完整提取了正确的细节点,但b(ii)受缺失和噪声影响,存在较多错误细节点,c(ii)弥补了内部指纹的缺失,细节点提取的较为准确完整。a(iii)存在褶皱缺失造成的指纹细节点错误提取,b(iii)存在由于模糊造成的细节点错误提取,c(iii)提取的细节点相对较为准确。a(iiii)受湿度影响造成指纹脊谷模糊,细节点提取出现错误,b(iiii)脊谷结构清晰,指纹细节点比较准确,c(iiii)提取的指纹细节点比较准确完整。通过以上4 种情况能够看到融合指纹图像提取的细节点比较准确,极大地改善了外部指纹褶皱、模糊以及内部指纹缺失、断裂造成的细节点提取错误等情况。

图15 指纹细节点对比图

4 结论

本文提出了基于卷积稀疏表示与方向确定度质量评估相结合的内外指纹图像融合方法。针对外部指纹易受磨损、划伤、污染等影响,抗干扰能力较差以及内部指纹易受噪声影响,局部信息缺失模糊等问题,本文将指纹OCL 质量图作为约束条件融入CSMCA 模型,通过将内外指纹图像进行分解、加约束、融合、重建等操作得到融合指纹图像。通过实验证明,本文方法得到的融合指纹图像相对于其他指纹图像,脊谷结构清晰完整,在视觉效果、NFIQ 质量分数以及OCL 质量分数上均有所提升,局部纹理更加清晰,指纹的有效面积也有所增大。本文方法得到的融合指纹图像在匹配能力和细节点正确提取方面表现良好,有利于指纹后续的匹配识别等操作。同时本文的工作为残缺指纹的识别奠定了基础,未来可以将残缺指纹的内外指纹图像进行融合,研究融合后的残缺指纹的识别匹配能力。