基于仿复眼视觉成像的目标信息获取方法

陈爱华,何炳蔚,高诚辉

(福州大学机械工程及自动化学院,福建 福州 350108)



基于仿复眼视觉成像的目标信息获取方法

陈爱华,何炳蔚,高诚辉

(福州大学机械工程及自动化学院,福建 福州 350108)

目标信息获取是视觉测量的关键技术,提出了一种基于仿复眼视觉成像的目标三维信息获取方法.该方法根据复眼视觉成像原理,采用单摄像机和平面微透镜阵列进行成像,建立目标点和成像点之间的对应几何关系,利用归一化互相关窗口匹配算法,获得目标的深度信息,从而计算出其三维坐标信息,通过试验验证了该方法的可行性和正确性.

复眼; 三维信息获取; 互相关匹配; 深度提取

CHEN Ai-hua,HE Bing-wei,GAO Cheng-hui

(School of Mechanical Engineering and Automation,Fuzhou University,Fuzhou,350108,China)

随着光电技术的发展,视觉技术已发展到可以获取目标的三维信息,因其具有非接触、无损、实时性、结构简单等特点,故广泛应用于机器导航、工业测量和公共安防监控等领域[1-3].通过视觉技术获取目标的三维信息,其主要难点在于如何从二维平面图像恢复真实世界的三维结构信息,或者计算特定目标的深度信息.

立体视觉技术通过两个或两个以上的图像获取目标的三维信息,是目前应用较广的获取方法.然而,传统的立体视觉系统需要两个或两个以上的相机,系统结构较为复杂庞大,需要精确标定多个不同相机的内部参数和外部参数,同时需要考虑图像特征立体匹配问题,仅用两个像素点进行匹配分析受到瑕疵像素的影响,从而限制了其在许多领域的应用.

近年来,LAND,HORISAKI等提出了采用仿复眼视觉成像系统来获取目标三维信息的方法[4-6].这种视觉系统主要模仿节肢动物复眼系统来解决视觉感知问题,其应用已成为众多行业学者的研究重点[7-11].它只需要一个相机和一个微透镜阵列,一次成像可以从多个视点捕获同一目标的多张图像,有效地获取目标的三维信息,解决了立体视觉的测量问题,主要应用于工业测量、目标定位跟踪、安全监控和三维成像等领域[12-15].

本文构建了仿复眼视觉成像系统,分析研究了其成像原理以及目标点和成像点之间的对应关系,利用互相关图像匹配算法,计算各个目标点的深度信息,从而获取目标的三维信息.

1 成像原理

1.1 视觉成像系统

仿复眼视觉系统的结构配置如图1所示,主要由1个CCD(Charge-coupled Device)相机、1个主透镜和1个长方形微透镜阵列组成.微透镜阵列是由一系列微小的单元透镜组成,单元透镜间的间距很小,其相对位置不同,一次成像可以从多个视点捕获同一目标的多张单元图像,因此拥有水平方向和垂直方向的视差分析,采用多个对应像素点的匹配,匹配结果好,可以精确地获取目标的三维信息.不同于其他视觉系统[12-14],该视觉系统将微透镜阵列安装在主透镜和目标之间,微透镜阵列的物理尺寸不会受到主透镜大小的限制,可以获得更宽的基线以提高立体成像性能.此外,与文献[15]中相机阵列的解决方案相比,该视觉系统只需要一个相机,因此它具有紧凑的系统配置且成本低.

图1 视觉系统的配置结构

1.2 成像几何关系

图2表示了视觉系统中空间目标点与相应成像点之间的成像几何关系[16].假设每个微透镜所获得的目标图像都成像在同一个虚拟图像平面P上且单元图像互相不重叠,通过调整主透镜的焦距使虚拟图像平面在相机中清晰成像.为了便于分析,以一维微透镜阵列来分析空间目标点与相应成像点之间的成像几何关系.

图2 视觉系统的成像几何关系

在图2中,Xi是目标点x通过第i个单元透镜在图像平面P上所成的像点,Xc,i是在CCD相机成像平面上获得的相应的像点.在微透镜成像过程中,根据相似三角形几何关系,目标点x在图像平面P上的像点坐标Xi为

(1)

同样,在CCD相机成像过程中,可得相应的成像坐标

(2)

根据式(1)和式(2)可得

(3)

式中:Dx为单元透镜在x方向上间距;fc为相机镜头的焦距;fa为单元透镜的焦距;L为微透镜聚焦平面P与主透镜之间的距离;z为目标点与微透镜阵列之间的距离,即为目标的实际深度信息.

同样可得y方向上的成像坐标为

(4)

由式(3)可得,目标点在相机成像平面上第i1个单元图像的像点和第i2个单元图像的像点之间的距离为

(5)

式中:i1,i2表示相机成像平面上的单元图像；由于fa,fc,L和Dx为已知参数,因此通过比较不同的单元图像,即可计算出目标点的深度信息z.

2 三维信息获取方法

2.1 互相关匹配

根据式(3),如果已知相机成像平面上两个单元图像的对应像点坐标Xc,i1和Xc,i2,就可以计算出每个目标点的实际深度z.但由于受到系统安装误差、计算误差和零件制造误差等因素的影响,不同单元图像中的对应像点难于正确匹配.为了精确地计算目标点的深度,本文采用多幅单元图像匹配的归一化互相关立体匹配算法.

假设空间目标点的深度为z,利用式(3),(5)算出每个单元图像中的对应像素点.为了确定这些对应像素点是同一目标点的投影点,本文以每个单元图像中的对应像素点为中心,选取(2k+1)×(2k+1)(2k+1)×(2k+1)像素的窗口,根据式(6)对相邻单元图像中的窗口进行归一化互相关计算,获得相邻单元图像(i,j)和(i′,j′)的相关值为

C(i,j),(i′,j′)=

(6)

式中：m表示所选窗口横坐标像素数；n表示所选窗口的纵坐标的像素数；I(Xi+m,Yj+n)表示单元图像中所选窗口内相应位置的像素值.

计算纵向方向和横向方向上相邻单元图像的匹配窗口的互相关值C,将这些互相关值迭加可得相似性匹配准则M(z)

(7)

假设给定z的取值范围,对式(7)进行重复计算,就可以获得一条相似性匹配准则M的曲线.M(z)取最大值时所对应的z值即为目标点的实际深度.

2.2 三维信息获取

获取目标点的实际深度z后,根据式(3)和式(4),计算出目标点的横向坐标x和纵向坐标y,获得目标点的三维信息.目标点的坐标x和y为

(8)

式中:(X0,Y0)为中心单元图像中对应的像素坐标点;(dx,dy)为CCD相机在x和y方向上的像素点间距,为相机已知参数.

从式(8)可知,深度值z是目标三维信息精确获取的关键参数.为了评价深度值z提取的有效性和精确性,本文采用深度均方差来量化,即

(9)

式中:σ为深度z的均方差的量化;z(x,y)为所提取的深度值;d(x,y)为目标点的实际深度值,N为目标点的数量.

3 试验结果和分析

试验系统设置如图3所示,试验系统由微透镜阵列、主透镜、CCD相机和平面目标组成,安装固定在平面光学平台上.试验中使用的参数,如表1所示.

图3 试验系统设置

单元微透镜尺寸Dx×Dy/mm1.68x1.05微透镜焦距fa/mm5.89微透镜的数目/个19×13单元图像的像素大小/像素60×40像素相机的焦距fc/mm35目标的实际深度d(x,y)/mm115主透镜与聚焦平面P之间的距离L/mm182匹配单元图像的数目/个19×13匹配窗口大小(2k+1)×(2k+1)/像素7×7

通过试验系统获得平面目标的单元图像阵列,但每个单元图像分辨率较低,图像质量较差,存在噪声.因此,在深度提取之前采用小波图像增强算法对单元图像阵列进行图像增强,以获得较好的图像质量,提高深度提取精度.实验获得的单元图像阵列和单元图像如图4所示.

图4 单元图像阵列和放大的单元图像

根据所提出的深度提取方法,在中心单元图像上任选一个像素点(629,530),可获得相应的相似性准则曲线M,如图5所示,M最大值所对应的深度值z为115mm,与实际深度相符.

由于归一化互相关匹配方法采用窗口匹配,因此单个目标点的深度提取结果不能反映本文方法的稳定性和正确性.为了准确地评估提取方法的性能,试验提取了平面目标所有像点,计算出深度信息及其均方差,得到平面目标的深度均方差为6.06mm,平均深度为116.31mm.图6表示了单元图像阵列的深度图,将这些深度值与实际深度值进行比较,相对误差δ≤0.87%占41.5%,0.87%<δ≤2.61%占32.7%,2.61%<δ≤4.35%占11.3%,δ4.35%只占14.5%.从以上试验结果可知,目标的深度信息得到正确提取.从图6可以看出,平面目标中间区域的深度误差较大,主要在于中间区域的纹理比较单一,窗口匹配误差较大.

图5 相似性匹配准则曲线

通过试验提取的深度信息,计算出目标的横向坐标,用于测量平面目标几何尺寸.如图7所示,将测量目标安装在离微透镜阵列一定距离的位置,测量目标实际大小为16 mm×16 mm,获得该目标的单元图像阵列.在中心单元图像上,采用Harris角点检测算法提取目标图像的4个角点坐标(625,495)、(655,495)、(655,525)和(625,525),分别计算其深度信息,其深度均为126 mm,如图8所示.通过试验计算,可获取相对应的实际坐标(335.5136,265.7268)、(351.6182,265.7268)、(351.6182,281.8314)和(335.5136,281.8314),测量目标大小为16.1046 mm×16.1046 mm,绝对误差为0.1046,相对误差为0.65%,获得较好的测量结果.

图6 平面目标的深度图

图7 平面测量目标及其单元图像阵列

图8 4个角点的相似性匹配准则曲线

4 结论

本文研究了一种基于仿复眼视觉成像的目标三维信息获取方法,利用仿复眼成像原理和归一化互相关窗口匹配算法,获取目标的三维坐标信息.该方法不需要相机标定,只需单相机和微透镜阵列,结构简单,操作简单方便,测量精度较高,可用于平面几何测量、机器导航、物体定位、跟踪监测等.由于受到光学组件的制造误差、系统安装误差、单元阵列图像分辨率、微透镜个数以及匹配窗口大小的影响,试验结果还存在误差.

[1] MALAMAS E N,PETRAKIS E G M,ZERVAKIS M,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2 ] RANKIN A L,HUERTAS A,MATTIES L H.Stereo vision based terrain mapping for off-road autonomous navigation[C]∥Grant R.Gerhart.Proc.SPIE 7332,Unmanned Systems Technology XI,Orlando:SPIE,2009:10-14.

[3 ] RICHA R,POIGNET P,LIU Chao.Three-dimensional motion tracking for beating heart surgery using a thin-plate spline deformable model[J].Int.J.Robotic Res.2010,29:218-230.

[4] LAND M F.Compound eyes:old and new optical mechanisms[J].Nature,1980,287:681-686.

[5] RYOICHI H,SATORU I,YUSUKE O,et al.Three-dimensional information acquisition using a compound imaging system[J].OPTICAL REVIEW,2007,14(5):347-350.

[6] Park J H,Min S W,Jung S,et al.New stereovision scheme using a camera and a lens array[C]∥Bahram Javidi.Proc.SPIE 4471,Algorithms and Systems for Optical Information Processing V,San Diego:SPIE 2001:73-80.

[7] 陈明君,刘业胜,李子昂,等.仿生光学复眼设计及其制造技术研究新进展[J].机械工程学报,201l,47(1):16l-168.

CHEN Mingjun,LIU Yesheng,LI Ziang,et al.New research progress in design and manufacture ofartificial optical compound eye[J].Journal of Mechanical Engineering,2011,47(1):16l-168.

[8 ] NAEMURA T,YOSHIDA T,HARASHIMA H.3-D computer graphics based on integral photography[J].Optics Express,2001,8(2):255-262.

[9 ] HONG S H,JAVIDI B.Improved resolution 3D object reconstruction using computational integral imaging with time multiplexing[J].Optics Express,2004,12(19):4579 4588.

[10] PASSALIS G,SGOUROS N,ATHINEOS S,et a1.Enhanced reconstruction of three-dimensional shape and texture from integral photography images[J].Applied Optics,2007,46(22):5311-5320.

[11] JAVIDI B,PONCE D R,HONG S H.Three-dimensional recognition of occluded object by using computational integral imaging[J].0ptics Letters,2006,31(8):1106-1108.

[12] TANIDA J,KUMAGAI T,YAMADA K,et al.Thin observation module by bound optics (TOMBO):Concept and experimental verification[J].Appl.Opt.,2011,40(11):1806-1813.

[13] REN N G,LEVOY M,BREDIF M,et al.Light field photography with a hand-held plenoptic camera[R].Stanford:Comput.Sci.Tech.Rep,2005.

[14] ALDALALI B,LI C,ZHANG L,et al.Micro cameras capable of multiple viewpoint imaging utilizing photoresist microlens arrays[J].Microelectromech.Syst.,2012,21(4):945-952.

[15] LEVOY M.Light fields and computational imaging [J].IEEE Computer,2006,8:46-55.

[16] OKANO F,HOSHINO H,ARAI J,et al.Real-time pickup method for a three-dimensional image based on integral photography[J].Appl.Opt.,1997,36:1598-1603.

Object information acquisition based on artificial compound eye visual imaging

As a critical technology for visual measurement,a 3D object information acquisition method proposed via the artificial compound eye visual imaging.With application of the single camera and plane microlens array,the geometric mapping relationship between the object and imaging points is established.By employing the normalized cross-correlation matching algorithm,the in-depth object information is extracted for 3D coordinate information.To this end,the feasibility and correctness of the proposed method are verified.

compound eye;3D information acquisition;cross-correlation matching;in-depth extraction

国家自然科学基金资助项目(F030601)；福建省教育厅产学研资助项目(JA13033)

陈爱华(1978-),男,副教授,博士生,E-mail:cah@fzu.edu.cn

TP 391.7

A

1672-5581(2016)01-0001-05