非对称图像特征位置误差参数求解校正方法

杨 怀,陈 烽

(西藏民族大学信息工程学院,陕西 咸阳 712082)

1 引言

在计算机视觉研究中,摄影测量技术以摄像机标定为基础,而摄像机标定在一些其它技术中也是非常重要的一部分,例如三维重建、立体成像等。由于相机的光学成像采用传统的小孔成像技术,造成了成像平面上的空间点与成像点之间距离较远,同时伴随着一种极其复杂的非线性关系,也就是通常所说的镜头畸变。镜头畸变不但会在一定程度上降低摄像机的校准精准度,而且还有使图像特征位置产生误差。

为解决该问题,李赛[1]等人一种基于POS(定位定姿系统)数据的红外影像分步几何校正方法。利用视矢量法对红外影像进行初始化校正,将其投射到高斯地辅平面上,完成拼接、虚拟空间点提取等操作;利用最小二乘法对影像进行二次校正,完成红外影像的几何校正。姚钦舟[2]等人介绍了一种用于水下透视投影的畸变校正算法。首先,采用四维光场参数建立多层平面折射模型,对水下图像进行分析,得到水中成像点与校正成像点之间的映射关系;然后,根据二者之间的映射关系,把水下图像转化成立体投射图像;最后,利用该方法对立体投射图像进行畸变校正。

上述两种方法均需要特定的标定物来调整摄像机内外的各项参数,实现过程相对来说比较复杂,对于一些特殊环境显然是不合适的。基于此,本文提出基于深度学习的图像特征位置误差校正方法。在提取得到图像特征点的位置信息后,选取AlexNet作为深度学习网络结构,同时引入dropout策略和修正线性单元激活函数,提高算法的学习速率;建立图像误差模型和校正模型,在牛顿迭代法的指导下,对θ值和校正参数进行最精准的估计和计算,至此完成图像特征位置误差校正。选取损失率、均方根误差和均方误差作为算法的评价指标,将本文方法与其它方法展开对比仿真,结果表明,本文方法取得了最理想的误差校正效率,同时保证校正后的图像与原始图像之间最为接近。

2 特征点位置的提取

将参数引入到图像灰度插值算法中,从而实现了图像的特征点定位。通过对参数的持续调整,有效修正了图像的非均匀性、非对称引起的特征点模糊,具体实现过程如下所示:

1)利用高斯低通滤波器[3]实现对图像的平滑滤波处理,将滤波器的窗口宽度设置与图像宽度相等,方差保证在50以上。

2)对图像的边缘信息进行特征提取。

3)利用数学形态学算法将图像边缘完整地连接起来,并对曲线内部进行填补,分割图像得到若干个区域。

4)通过对每个分割区域的边界序列进行提取,得出各边界曲线曲率的大小。将两个边缘阵列划分成上、下两个边缘。

5)利用KD树(k-dimensional tree)[4]算法,找出上、下两个边缘集合中距离最为接近的点,构成对应点对。

6)对处于对应点对之间的所有点求取灰度值,得到图像整体的灰度分布情况。

7)根据图像灰度分布数据,对上边缘特征点进行求解,过程如下:

步骤一:确定图像中灰度值最大值,选取该值的30%～40%作为分割阈值。将分割阈值与图像中的分割灰度值进行比较,选取灰度值大于阈值的那一部分,将其作为灰度分布的有效数据序列[5]。

步骤二:在数据序列中,所有的灰度值都是由各单位像素的光强记录量化后得到的,为了更好地了解实际的灰度分布状况,将各数据序列的下标放大10倍。通过对图像下标放大处理后,使得图像的最大、最小灰度数值均为0。在数据序列中选取一个控制点,利用样条插值[6]得到扩大后图像的灰度值。

步骤三:将下标扩大后的图像序列长度设定为N,i时刻下的序列值为gi,待处理图像的序列总量为

(1)

当An=0时,说明分割区域中不含有图像边缘特征点;当An>0时,说明分割区域中含有图像边缘特征点。

步骤四:图像的不完整主要体现在边缘不完整。当An的值在[0.5,1]区间内时,图像的边缘是比较完整的,此时,可利用插值算法求取下标的值。将下标扩大后再对其进行逆运算,结合过程6),得到图像灰度分布的特征点。

步骤五:在对应点对求取灰度值和边缘特征点后,即可得到图像中所有的特征点,从而获得其位置信息,同时保留更多的细节特征[7],这对于后续进行特征位置误差校正起到了一定的推动作用。

3 特征位置误差校正

基于特征点位置的提取结果,选择AlexNet作为图像特征位置误差校正的深度学习网络结构,其基本架构图如图1所示。

图1 AlexNet基本架构图

从图1中可以看出,AlexNet总有8个层次。AlexNet利用dropout策略和修正线性单元激活函数来缓和学习过程中的过拟合情况,同时借助GPU(Graphics Processing Unit,图形处理器)提高学习效率。

经过上述分析处理后,利用AlexNet结构实现对图像特征位置误差的校正。建立误差模型[8]θd(θ)=θ+k0θ3+k1θ5+k2θ7,在模型中引入校正参数{r0,r1,r2},得到图像特征位置误差校正模型,如式(2)所示

(2)

式中,θ(θd)表示经过误差校正后图像所对应的入射角[9],θd表示未经过误差校正前,图像所对应的入射角。

用If来表示待校正误差图像,误差参数为{k0,k1,k2},将If的几何分辨率设定为H×W,其中,W、H分别为图像的长和宽。在待校正误差图像中任取一点Pf,其像素坐标值为(xf,ff),将其代入到笛卡尔坐标系中,得到笛卡尔坐标值(xc,fc),计算过程为

(3)

式中,fx、fy分别表示在水平方向和垂直方向上,待校正误差图像单位长度内的像素格[10]数量,(u0,v0)表示待校正误差图像中心点的位置坐标,可由式(4)推理得到

(4)

那么,即可得到点Pf与中心点

(u0,v0)之间的距离rd为

(5)

进一步推理可得

(6)

在已知误差模型θd(θ)=θ+k0θ3+k1θ5+k2θ7中θd和{k0,k1,k2}值的前提下,由于θd(θ)是θ的七次多项式函数[11],那么可通过牛顿迭代法对多项式函数进行求解。

牛顿迭代法是利用有限次迭代[12]对方程f(x)=0的根进行估计的一种方法。在已知函数f(x)的前提下,即可推理得到其导数f′(x)的值。选定一个与f(x)零点比较接近的初始值x0,比x0更精准的估计值x1表达式为

(7)

重复上述计算过程

(8)

循环迭代计算,直至满足预设的估计值准确度[13]δ=xn+1xn为止,此时输出方程f(x)=0的估计值结果。

在计算θ值的过程中,将方程f(x)=0转换为函数的形式,得到

f(θ)=θ+k0θ3+k1θ5+k2θ7-θd

(9)

f(θ)的导数f′(θ)计算公式为

f′(θ)=1+3k0θ2+5k1θ4+7k2θ6

(10)

根据牛顿迭代法思路,θ的估计值可通过式(11)计算得到

(11)

得到θ的估计值后,可对式(2)作出部分改进,得到

(12)

对于校正参数{r0,r1,r2},可通过范德蒙行列式[14]计算得到。将式(12)转换为矩阵PX=Q的形式,即可得到

(13)

式中,l表示矩阵P中需要计算的θ的数量,l=H×W即为校正图像中所有像素格的数量[15]。

矩阵P即为一个范德蒙行列式,矩阵X对应校正参数,可通过X=P-1Q计算得到

(14)

至此,关于校正模型的所有参数均已计算完毕,将待校正误差图像代入到模型中,完成图像特征位置误差校正。

4 仿真研究

为了验证本文方法在实际应用中是否能取得理想的误差校正效果,与引言中提到的分步几何校正方法和畸变校正方法展开了对比仿真。仿真软件选择的是Matlab 2020b,显卡为Geforce RTX2080 Ti。实验图像来自于UC Merced Land-Use图像数据集,共选取了1500张,利用三种算法分别进行50次实验,对不同指标计算结果取平均值,得到最终实验测试数据。

4.1 测试指标计算

为了更加直观地对比三种算法的综合性能,本文选取损失率Lose、均方根误差RMSE以及均方误差MSE作为算法的评价指标。损失率指的是算法在误差校正过程中的训练效果。Lose的值越小,说明训练曲线越收敛,误差校正的效果也就越好。

均方根误差是用来表示经过校正后的图像和原图像的拟合程度,RMSE的值越小,说明算法的拟合程度越高,校正效果也就越理想。RMSE的计算公式如式(15)所示

(15)

均方误差是一种度量方法,它能反映出算法对图像的校正效果和原始图像之间的不同。MSE的值越小,则表示经算法校正后的图像愈接近原始图像。MSE的计算公式分别为

(16)

4.2 实验结果及分析

三种算法损失率Lose对比结果如图2所示。

图2 三种算法Lose值对比结果

通过对比图2数据可知,随着实验次数的不断增加,三种算法的损失率均出现了下降趋势,综合对比之下可以发现,本文方法的损失率曲线始终都是最低且最接近于0的。因此,可以说明本文方法对于图像特征位置误差校正的效果最理想。

经过50次实验后,三种算法的RMSE值对比结果如图3所示。

图3 三种算法RMSE值对比结果

从图3中可以很清楚地看出,本文方法取得的RMSE值始终都是0.8pixel以下,而分步几何校正方法的RMSE值最高达到了1.6pixel,畸变校正方法更是达到了1.8pixel。由此得出结论,利用本文方法校正图像特征位置误差,结果是最优秀的,与原始图像也是最接近的。

三种算法的MSE值对比结果如图4所示。

图4 三种算法MSE值对比结果

从图4中可以看出,随着实验次数的不断增加,三种算法的均方误差都出现了不同程度的下降,可以很明显地看到,本文方法的均方误差曲线始终要低于其它两种方法,由此证明,利用本文方法校正图像特征位置,可得到与原始图像差异最小的图像。

为直观证明研究方法对特征特征位置误差的校正效果,从UC Merced Land-Use图像数据集中随机选取三幅密集特征图像,对其中存在位置误差的特征实现校正,结果如图5所示。

图5 研究方法的特征位置校正结果

从图5中可以看出,研究方法应用下,能够精准定位图像发生畸变的特征位置,对其完成校正。本次实验结果证明了研究方法下图像保持了特征细节信息,具有理想的实用性能。

5 结论

传统图像特征位置误差校正方法存在误差大、精度低等问题,导致特征校正后的图像与原始图像细节出现偏差。基于此,提出基于深度学习的图像特征位置误差校正方法。利用深度学习网络结构建立误差模型和校正模型,通过对校正模型中校正参数和θ值的计算,完成图像特征位置误差校正。在对比仿真中,本文方法具有更低的损失率、均方根误差以及均方误差,验证了本文方法具有理想的误差校正效果。在下一步的工作中,将会继续深入研究如何将校正模型应用到更加复杂的图像中,为计算机视觉领域的发展做好基础准备工作。