融合超像素分割技术的虚拟成像细节重建研究

刘 彪,顾邦军

(苏州科技大学新媒体交互设计与应用研究所,江苏 苏州 215009)

1 引言

虚拟成像是以全息科技为基础的高科技成像技术[1],其原理是在获取到目标物体的全息影像后将其投射于透明介质上[2],产生三维立体观感,从而提升视觉效果。目前虚拟成像重建技术在众多领域中均具有优异的表现,各领域科研人员利用虚拟成像重建技术能够实现信息分析与处理,为生产和生活带来极大的便利。

针对虚拟图像的重建问题,当前相关领域的专家也得到了一些较好的研究成果。孙硕等人[3]提出基于面部虚拟整形的三维人脸重建系统。采集目标的多角度图像,将图像转换为点云模型后去噪处理。通过粗匹配拼接正面点云和侧面点云并采用精配准方法配准点云,生成三维点云模型并对其网格化处理,引入细分算法提升重建后模型精度,实现复杂虚拟成像重建。刘东生等人[4]提出基于深度相机的大场景三维重建方法。融合深度图像和彩色图像作为基础模型,将输入RGB-D图像的几何误差和亮度误差最小化处理用于相机跟踪,计算相机与子网络中心的距离。若该距离大于设置阈值,则以体素单元整数倍距离为标准平移子网络。并基于该网络跟踪相机,重建局部场景模型。通过迭代步长法在子网格之间搜索相应表面点,将点间欧式距离和亮度误差作为约束条件,对全局相机轨迹优化处理,实现复杂虚拟成像重建。薛俊诗等人[5]提出一种基于场景图分割的混合式多视图三维重建方法。采用多层次加权核K均值算法分割场景图并混合重建每个子场景图建立子模型,构造最佳影像选择标准。依据稳健三角测量法和迭代优化策略等提升重建精度,合并全部子模型,实现复杂虚拟成像重建。以上方法忽略了对图像分辨率限制和超像素分割相关问题的解决,导致峰值信噪比和结构相似度仍达不到理想效果。

为此,提出基于VR和小波降噪的复杂虚拟成像重建方法。通过对实景图像采集和预处理,获得去噪后的图像。采用VR技术,将获取的全息三维影像投射到透明介质,实现对复杂虚拟成像的重建。

2 实景图像采集和预处理

2.1 最小识别距离确定

在复杂虚拟成像重建时,每个帧点像素分辨率均会对重建效果产生一定的影响,为了保证最终复杂虚拟成像重建质量,需要有效解决图像分辨率限制问题。重建虚拟成像前需要通过专业摄像机全面采集目标事物的实景图像,图像识别距离会直接影响实景图像分辨率。所提方法以光学原理为依据判定像素识别最小距离,将图像中扫描到的目标点视为一个光源结构,在两个目标点,即两个光源中往往存在一个及以上的艾里斑,当某个艾里斑的中心与另一个艾里斑边缘重合时,则两者间具有最大识别距离φ。

将图像和摄像机之间实际直线距离记作d,光源通过圆形路线直径记作D,图像点光源进入摄像机内的实际波长记作λ,则φ计算方式如下所示:

(1)

在实际使用中,摄像机分辨率通常为恒定值,且该值往往高于其它光学衍射分辨率[6],因此,依据式(1)得到最小识别距离后结合该值选取分辨率合适的摄像机有利于提升图像质量,进而提升最终复杂虚拟成像重建效果。

2.2 多视点图像采集

结合最小识别距离、摄像机配置标准和目标位置调节摄像机方位和标定,构建成像模型。为提升成像效果,通常采用针孔成像模型[7],成像原理如图1所示。

图1 针孔成像模型原理图

为了重建复杂虚拟成像,需要摄像机采集目标在若干不同角度和方位的多视点图像作为实景图像,采集过程中,摄像机和投影平面通过移动实现目标的动态捕捉。

在针孔成像模型中,依据齐次坐标获取三维空间中任意点Q坐标Q=(x,y,z,1),Q点经映射呈现于图像平面,对应坐标记作q=(x′,y′,z′),连接该点与投影中心,用ψ代表投影矩阵,则可将映射关系表示为ψq=PQ。

将采集到的全部数据传输至计算机,通过单应矩阵计算全部图像样本标点改变值[8],引入线性分析处理计算结果,即可得到摄像机和二维图像平面成像相关参数,主要流程如图2所示。

图2 多视点图像采集流程

图2中,初始化是对摄像机自身各项参数计算并生成参数闭式解的过程[9];非线性优化是以均值误差最小为原则,最小化图像全部目标特征点多次投影标定误差的过程[10],过程中首先降低迭代梯度,然后引入雅可比矩阵封闭运算对标点参数非线性优化[11],最后将实景图像信息存储于计算机相应数据库中。

2.3 小波降噪

利用SLIC超像素分割技术优化小波降噪方法,将采集到的实景图像去噪处理。由于设备自身限制和外界环境干扰,采集到的图像中不可避免会存在部分噪声,小波降噪法在滤除图像噪声的同时能够有效保护图像边缘和细节,为了保证复杂虚拟成像重建质量,所提方法引入小波降噪法去除图像噪声[12]。

所提方法引入分割结果紧凑均匀且所需输入参数较少的SLIC超像素分割技术分割图像[13],结合实际需求设置分割尺度为M,分割分解尺度为j时各方向上小波系数,生成标签图,汇总其中标签值为k的分割块中全部像素位置,构建集合u(k),即不规则窗口k,将该窗口中小波系数记作Fu(k),引入软阈值函数S获取小波系数Fu(k)的阈值化系数F′u(k),如下所示

(2)

(3)

(4)

通过以上方式,采用SLIC超像素分割技术改进局部自适应小波降噪法,将其用于采集到的图像降噪之中,经验证,该方法能够有效提升图像质量。

3 成像重建

3.1 坐标获取

采用VR技术重建三维全息影像[15],确定实景图像中各帧对应点坐标,选取一个与三个方向坐标轴距离近似的图像点作为三维空间坐标原点,依据该点搜索实景图像中全部坐标点与虚拟图像的坐标点映射,并在同一坐标系中融合实景图像和虚拟图像。为了降低重建复杂度,将实景图像视为虚拟图像依据一定选择规则变换生成的矩阵,对比该矩阵和实景图像信息,将两者间平移量记作p,描述三维图像的虚拟值记作v,其横坐标记作w,坐标系中水平方向、竖直方向和空间方向坐标数值分别记作x、y和z,则v的计算方式如下所示

(5)

依据式(5)可对实景图像转换为重建三维全息影像矩阵h加以计算,将参数量转换为重建三维全息影像矩阵函数记作hm,参数量记作Φ,矩阵定标记作K,则h计算方式如下所示

h=hm(Φ)=K[v|vp]

(6)

3.2 重建深度距离计算

将实景图像中任意帧点与其在重建后三维全息影像中帧点距离记作l,中心点记作o,实景图像中某已知坐标点记作s,三维全息影像虚拟坐标记作R,则横坐标、纵坐标或空间坐标上三维全息影像重建深度距离sd计算方式如下所示

(7)

在式(7)中,若sd为横坐标上全息影像三维重建深度距离,则R应为实景图像中已知坐标点空间坐标值;若sd为纵坐标上全息影像三维重建深度距离,则R应为实景图像中已知坐标点纵坐标值,若sd为空间坐标上全息影像三维重建深度距离,则R应为实景图像中已知坐标点横坐标和纵坐标之差。由此可得到全息影像三维重建后每个帧点的正确位置,在重建过程中,由式(7)计算得到实际距离后以该距离为标准连接各帧点,从而生成一个虚拟平面图像。为了使重建后三维全息图像具有立体感,需要计算虚拟平面图像中每个帧点的实际深度L,将虚拟平面图像中心点在坐标系中水平方向坐标值记作x0,则L的计算公式如下所示

(8)

依据式(8)对虚拟平面图像中每个帧点的深度值加以计算,从而得到深度一致的立体图像。

通过以上方法实现全息影像三维重建,最终将得到的全息影像投射至透明介质上,完成复杂虚拟成像重建。

4 实验与结果

为了验证基于VR和小波降噪的复杂虚拟成像重建方法整体有效性,需要测试基于VR和小波降噪的复杂虚拟成像重建方法。采用如图3的房屋模型作为实验三维模型,分别采用VR和小波降噪方法、深度相机方法和场景图分割方法对其虚拟成像重建,放大重建后虚拟成像局部细节,效果如图4所示。

图3 虚拟成像样本模型

图4 位置1超像素分割

图5 位置2超像素分割

图6 位置3超像素分割

由图4～图7可以看出,VR和小波降噪方法的复杂虚拟成像重建效果优于深度相机方法和场景图分割方法,图像清晰度更高,细节更为丰富,而文献方法均出现一定程度的模糊,丧失部分细节,重建效果不理想。

图7 位置4超像素分割

为了避免主观视觉误差,选取峰值信噪比和结构相似度对复杂虚拟成像重建效果定量分析,峰值信噪比和结构相似度越高,则复杂虚拟成像重建质量越好,假设Nmax代表图像点像素最大值,MSE代表均方误差,G和H代表尺寸为m×n的两幅图像,(i,j)表示像素值,则峰值信噪比PSNR计算公式如下所示

(9)

假设存在图像a和图像b,用ua和ub分别代表两者均值,σa和σb分别代表两者方差,σab代表两者协方差,C1和C2代表两个相关参数,α代表图像像素位数,则结构相似度SSIM计算公式如下所示:

(10)

由图8可以看出,VR和小波降噪方法平均峰值信噪比为25.5dB,平均结构相似度为0.83;深度相机方法的平均峰值信噪比为16.5dB,平均结构相似度为0.65;场景图分割方法平均峰值信噪比为19dB,平均结构相似度为0.56;根据本次测试所得数据可知,研究方法的峰值信噪比和结构相似度指标平均值高于另外两种方法。

图8 指标测试结果

5 结束语

提出基于VR和小波降噪的复杂虚拟成像重建方法,结合最小识别距离、摄像机配置标准和目标位置确定摄像机方位和标定,采集多视点图像,通过改进的小波降噪法去噪图像,引入VR技术获取全息三维影像重建点坐标和深度距离,将得到的全息影像投射至透明介质上,实现复杂虚拟成像重建。该方法能够有效地提高峰值信噪比和结构相似度、缩短运算时间,为促进复杂虚拟成像技术发展奠定基础。