基于光场相机的深度图像获取技术研究

沈阳理工大学自动化与电气工程学院 牛朦朦

基于光场相机的深度图像获取技术研究

沈阳理工大学自动化与电气工程学院 牛朦朦

光场相机近年来已经引起越来越多人的关注，它采用在主透镜的焦平面处放置一个微透镜阵列，然后再投影到CCD上，使得图片能够记录下四维光场，从而记录光线的方向，使得图片具有重聚焦和在主透镜的子孔径范围转换视角的功能，丰富的信息为获取深度图像提供了便利。本文从光场相机的结构入手，分析和研究基于光场相机的深度图像获取技术。

光场相机；重聚焦；深度图像

引言

随着科技的发展，传统机器视觉已经不能满足人们针对三维目标识别的要求。获取场景中各点相对摄象机的距离是计算机视觉的重要任务之一，深度图像中的每一个像素值表示场景中某一点与摄像机之间的距离。深度图像对比灰度图像，具有物体三维特征，即深度信息，由于不受光源照射方向和物体表面发射特性的影响，且不存在阴影，所以能更准确的表现物体表面的三维深度信息。

近年来，以光场相机为基础的深度图像估计理论研究取得了较大进展。相对于传统相机仅记录场景二维信息，光场相机能够记录位置和方向的四维信息，由于光场相机提供的视点较多、数据集包含的光线角度采样信息量较大，这些特点为高质量的视差估计提供了数据，本文从光场相机的原理特性出发，分析和研究现有的基于光场相机的深度图像获取技术。

1.光场相机成像原理

1.1光场的定义

光场实际上就是空间所有光线光辐射函数的总体，空间中光线携带二维位置信息 （u，v）和二维方向信息（θ，φ）在光场中传递。根据 Levoy 的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以用两个互相平行的平面来进行参数化表示，如图1所示，光线与这两个平面相交于两点，形成一个四维光场函数L（ u，v，x，y）。

图1　光场四维参数化

1.2成像原理

光场相机与传统相机相比，由三部分组成：主透镜、微透镜阵列与光电探测器。其中微透镜阵列放置于主透镜的像平面处，CCD放置在微透镜的焦距处。具体成像过程为：物体中一点经主透镜聚焦在微透镜阵列上，然后经过单个微透镜再分散出强度和方向分量，到达CCD的不同面元，这就是该点的光场信息。此外，为了防止光场的方向信息和成像目标空间分布之间的混叠，主透镜的像方F数和微透镜阵列的F数必须一致。原始图像是由一系列斑点组成，每个斑点都是微透镜的成像。

1.3数字重聚焦

如图1所示，根据经典的辐射理论，在像平面上的一点的辐射来自镜头上所有辐射的权重积分，即：

其中LF（x，y，u，v）是距离目标平面外F距离的光场参数，通过数字积分近似估计，即可获得一幅数字图像。

图2　数字重聚焦原理图

如图2所示，（x，y）面表示重聚焦所在平面，接收到的光辐射量为：

其中α=F’/F为变焦倍率。将（2）式代入（1）式即可获得重聚焦的成像。由傅里叶切片定理可得，（x，y）面上得到的光辐射量就是的一个切片的投影积分，即通过一次曝光得到的光场信息可用来进行不同焦距处图像的重建。

2.基于光场相机的深度图像获取理论现状

一直以来，基于图像的深度图像的获取是计算机视觉中的重点之一，针对人类视觉系统中的不同深度线索，如视差、模糊、阴影、纹理和透视等，研究人员们提出了不同的深度图像获取方法。光场相机由于之前介绍的能够重聚焦，且由于微透镜阵列的作用，产生视差角，所以光场相机具有进行一次曝光成像，经过后期处理能同时利用散焦测距原理和视差线索进行深度图像的获取。

Bishop等人在 Plenoptic 1.0 光场采集的数据集上，提出一种深度图估计和图像超分辨方法，获取了较高精度的深度图像。在二维光场极平面图像上，Wanner 和Goldluecke采用结构张量计算像素匹配方向以实现对场景的深度图估计。接着，该研究组又分析了光场图像视差关系，进而实现了光场图像超分辨率。针对便携式消费级光场相机，2013年Yu等提出了对遮挡的迭代深度估计，其采用全局优化的计算框架，对不同微透镜后的子图像的匹配关系进行求解，进而实现深度图像估计；同年，Kim 等在获取高分辨率光场基础上，实现高精度场景深度图估计，其特点在于无需全局优化［2］。

和视差线索不同，模糊线索是指同一个相机对不同深度场景进行聚焦，处在非聚焦平面的物体的模糊程度与深度具有一定函数关系，利用该关系进行深度图像的获取。光场相机因具有先拍照，后进行数字重聚焦的操作，所以可以利用此线索进行深度图像获取。

Tao 等人利用lytro消费级光场相机同时利用视差和模糊的线索，对光场中的EPI图像进行视差和模糊线索进行运算，最后利用马尔科夫随机场算法融合这两种深度线索，获得了对近景较为复杂的情况下的较高精度的深度图像生成；Wang等人在Tao的工作的基础上，提出了一种存在遮挡的深度图像获取技术，其利用图片的一致性，将角度像素块划分为存在遮挡与非遮挡区域，并分别进行深度图像的求取，获得了良好的深度图像。

3.结语

光场相机由于特殊的相机结构，相较于传统相机，由于图像具有很大的重塑性，能够后期进行重聚焦操作，且具有大量的视差角线索，为获取深度图像提供了另一种方法，基于光场相机进行深度图像的获取的研究不断发展，但由于相机的特殊结构，光场相机多出来的二维信息是牺牲一定的空间分辨率作为代价，现有的光场相机往往在图像的空间分辨率上不能满足需求，二者存在一个折中，如何进行进一步的优化将是后期研究的一个重点，此外微透镜阵列之间的基线特别短，利用视差因素进行深度图像的求取中存在误差，后续还有待进一步研究。

［1］Levoy M， Hanrahan P. Light field rendering［C］// Conference on Computer Graphics and Interactive Techniques.ACM，1996：II-64-II-71.

［2］肖照林.基于相机阵列的光场成像与深度估计方法研究［D］.西安：西北工业大学，2014.