一种基于映射变换的全景图快速展开算法

李 旭,燕 斌,刘耀波,王 博,石 岩,王昊星（中煤科工集团西安研究院有限公司，陕西西安,710077）



一种基于映射变换的全景图快速展开算法

李 旭,燕 斌,刘耀波,王 博,石 岩,王昊星
（中煤科工集团西安研究院有限公司，陕西西安,710077）

摘要：为提升全景图展开速度，降低展开时CPU负载，解决展开时镜头旋转导致的图像错位问题，提出一种基于映射变换的全景图快速展开算法。首先对全景图进行角度预处理，然后将全景图划分成8个对称的扇形区并计算其中一个区域的展开坐标，最后通过八区域映射关系直接得到其他区域的展开坐标。实验表明，相比于传统的图像展开算法，该算法能减少约60%的计算时间，对多幅图像连续展开时CPU占用率降低约5%，更加适用于高清成像设备的连续图像展开需求。

关键词：全景图；图像展开；映射变换；沿轴向旋转；实时性

1　概述

为了在一幅图像中获取更多的像素信息，工程上常用的方法有广角摄像头、鱼眼摄像头和基于反射镜的全景摄像头，其中基于反射镜的全景成像技术由于其低廉的成本和优质的成像效果被广泛认可。

但是，由于反射镜是将四周的光路投影到平面上形成一幅环状图，存在着不利于人眼直接观测、不利于后期拼接处理等问题，在实际应用中就需要将环状图展开成便于人眼观测的带状图。C. A. Glasbey、Heung-Yeung、赵启文 等人提出了一系列的全景图展开算法，但这些算法时间复杂度高，硬件资源消耗大，不适用于高分辨率成像设备的图像实时展开需求。祝小蜜、张晓頔提出一种象限复用的图像展开算法，根据四个象限的对称关系降低展开时的重复计算开销，但此方法没有考虑到镜头沿轴向转动时造成的展开图错位问题，在工程中无法应用。本文提出一种基于映射变换的全景图快速展开算法，角度预处理解决图像旋转时错位问题，通过映射变换实现八区域像素复用，减少CPU的计算量，达到降低算法时间复杂度，减少硬件消耗的目的。

2　传统全景图展开算法

对全景图像进行展开处理时，要根据全景图的坐标反推带状平面展开图的二维直角坐标，并将全景图中该点的像素值赋给相应的带状展开图上的点，最终得到完整的全景图像的带状平面展开图。

2.1 传统的全景图展开算法

C. A. Glasbey、Heung-Yeung等人提出一种全景图展开算法，首先建立平面直角坐标系，并绘制一个空白的带状图，其次计算全景图上所有像素点在带状图上的投影坐标，最后将全景图中的像素按照投影坐标信息拷贝至空白带状图中。全景图和带状展开图的对应关系如图1，图2所示。

图1　全景图

图2　坐标变换后的带状展开图

设全景图外圆半径为R，内圆半径为r ，则带状展开图的长为2π R,如果以为展开步长间隔，则带状展开图上的相邻横坐标点间的变化反应到原始图像上就是角度为的变化，因此全景图像上对应点的直角坐标表示为：

其中θ0为全景图展开起始角度与坐标轴y 轴正方向的夹角，为全景图的圆心坐标。

图像展开步骤如下：

3)在ρ不变的情况下增大θ的取值，带入公式（1）中，将得到的像素点依次填入新坐标系定义域；

4)增大ρ的取值，然后重复步骤3)，直到ρ取遍整个定义域，此时就将一副全景图展开为带状展开图。的对应行中，直到θ取遍整个

在上述展开过程中，步骤3)和步骤4)为核心展开过程，会对整个全景图进行遍历，进行像素拷贝操作，不仅运算速度慢，而且占用大量系统资源。

2.2 象限复用的图像展开算法

祝小蜜、张晓頔提出一种象限复用的图像展开算法。该方法的中心思想是利用对称变换原理对已有的1/4的计算结果进行复用，挖掘这些区域之间的对称关系，从而达到全景图快速展开的目的。展开示意图如图3所示。

图3　象限复用的图像展开算法展开示意

展开步骤如下：

第1)、2)步与2. 1所述展开算法相同；

3)在ρ不变的情况下增大θ的取值，带入式（1）中，将得到的像素点依次填入新坐标系O( x, y )的对应行中，其中θ∈[0,90 )； 4)增大ρ的取值，然后重复步骤3)，直到ρ取遍整个定义域；5)建立映射关系，复用第一象限已经计算出来的点坐标，使之覆盖整个全景图范围。映射关系如式（2）所示。

上述展开过程中，第二三四象限的点坐标不需要计算，只需通过式（2）进行简单的坐标变换就可得到，将展开一幅图像的计算量降低为原来的四分之一。但上述算法存在一个问题，若全景图像的起始展开位置不是0°或发生旋转，则象限复用后展开图会发生错位。

3　基于映射变换的全景图快速展开算法

为进一步提高图像展开速度，并解决全景图从任意位置展开的问题，本文提出一种基于映射变换的全景图快速展开算法。该算法首先对全景图进行初始化，记录全景图的初始展开角度并进行归零化，之后使用八区域映射复用变换计算展开图的点坐标，最后根据初始展开角度将展开图像素循环偏移，最终实现从任意角度展开全景图的功能。该算法的示意图如图4所示。

图4　基于映射变换的全景图展开算法示意图

首先记录全景图的初始展开角度ϕ，并计算展开图的循环偏移量。将全景图置于平面直角坐标系中，环心位于坐标原点，则全景图被x 轴、y 轴、y= x 、y=− x四条线分割成8个扇形区域。通过分析成像特征可知，若θ∈[0,45)区域的点p1( x , y )已知，则图像中其他区域的点均可通过映射变换计算。其变换关系如式（3）所示：

算法的流程图如图5：

图5　基于映射变换的全景图快速展开算法流程图

算法展开过程如下：

5)取ρ=r, θ= 0，根据式（1）计算出该像素点在坐标系O( x, y )的坐标，并将该点作为新直角坐标系O′( x, y )的原点

6)在ρ不变的情况下增大θ的取值，带入公式（1）中，将得到的像素点依次填入新坐标系O′( x, y )的对应行中，其中θ∈[0,45 )；

7)增大ρ的取值，然后重复步骤6，直到ρ取遍整个定义域。

8)建立映射关系，复用θ∈[0,45 )部分计算出来的点坐标，使之覆盖整个全景图范围。映射关系如式（3）所示。

9)根据步骤4计算出来的循环偏移量将展开图进行循环偏移变换。此时就将一副全景图从任意角度展开为带状展开图。

展开的伪代码描述如下：

4　算法分析与实验

4.1 复杂度分析

完整的图像展开算法包括原始图像采集、展开图像素坐标计算和展开图像素平移三个阶段。其中原始图采集和展开图像素平移两个阶段无论传统算法还是改进算法所占用的CPU周期都是相同的，区别就在展开图像素坐标计算这一阶段。假设原始图片像素个数为n，那么像素平移这一步骤的时间复杂度为O( n )，因此，减少需要计算的像素个数会使整个算法性能有较大的提升。

传统展开算法对全景图中每个有效像素点进行坐标计算，并根据新坐标重新排列像素，而本文提出的基于映射变换的全景图快速展开算法充分挖掘像素间的位置变换关系，通过八区域映射变换，将坐标计算工作大大简化，在降低CPU工作量的同时有效减少计算时间，提高图像展开效率。

4.2 算法性能仿真试验

为了测试的准度，本算法在仿真时设置了最高的程序的线程优先级，并在低负载的情况下完成测试；采用统一的硬件环境：Intel(R) Core(TM) i5-3470 CPU @ 3.2GHz，4G 内存。软件环境采用Java JDK7.0，IDE使用NETBeans7.4。

为了测试新算法的加速比与稳定性，在相同的上述环境中，对5组常见分辨率的全方图进行展开测试分析和比较。同样取100组数据取平均值，传统算法与本文提出的基于映射变换的展开算法比较如表 1 所示，象限复用算法与映射变换算法的比较如表2所示。

从上表中看出，本文提出的基于映射变换的全景图展开算法在时间复杂度和CPU负载上有明显的降低，且分辨率越高的全方位图像展开时并行效率越明显。

表1　传统算法与映射变换算法在时间性能和CPU负载的比较

表2　象限复用算法与映射变换算法在时间性能和CPU负载的比较发

为了测试新算法的实时性，在上述硬件配置的基础上挂载了大恒DH-CG410图像采集卡，设置采集分辨率为800*600，采样频率为25帧，采集时间为5分钟，单帧图像展开时间稳定在22ms～27ms之间，CPU负载稳定在22.71%～24.18%之间，且展开图视频未出现卡顿现象。

5　结束语

为了满足高清全景图采集与实时展开的需求，本文提出一种基于映射变换的全景图快速展开算法。通过深入挖掘全景图各个像素点之间的位置关系，将现有算法中逐点像素变换过程改进为“一份计算，七份复用”的像素映射过程，在保证展开图质量的同时大幅减少全景图的展开耗时，降低CPU的计算负载，并通过角度预处理方法解决了摄像头旋转时图像错位问题。理论分析和仿真实验表明，基于映射变换的全景图快速展开算法更加适用于高分辨率全景图的实时展开工作。

参考文献

[1] Argyros A A,Bekris C,Orphanoudakis S C, et al. Robot hom-ing by exploiting panoramic vision[J]. Journal of

AutonomousRobots, 2005,19(1):7-25.

[2] Shum H T, He L W. Rendering with concentric mosaics[C]. In: Proc. of ACM SIGGRAPH, 1999: 299-306.

[3]Ma Jian-guang.Motion robot positioning and path planningbased on omni-directional vision[D]. Beijing Institute on Tech-nology, 2003.

[4] Gandhi T, Trivedi M M. Parametric ego-motion estimation forvehicle surround analysis using an omni-directional camera[J].Machine Vision and Applications,2005,16(2):82-95.

[5] Du Wei, Li Hua. A Novel Panoramic Representation for Dy-namic Scene[J]. Chinese Journal of Computers, 2002,25(9):1-8.

[6] Sun C, Peleg S. Fast panoramic stereo matching using cylindri-cal maximum surfaces[J]. IEEE Transactions on Systems, Part B, 2004,34(2):760-765.

[7] C. A. Glasbey.A Review of Image Warping Methods. Journal of Applied Mechanics . 1998

[8] Heung-Yeung Shum,Richard Szeliski. Systems and Experiment Paper: Construction of Panoramic Image Mosaics with Global and Local Alignment[J]. International Journal of Computer Vision . 2000 (2)

[9] 赵启文. 基于图像的全景图实现技术的研究[J]. 辽宁交通科技. 2005(05)

[10] 祝小蜜 张晓頔. 一种全景图像展开的新方法[J]. 科技资讯. 2014(02)

[11] 张昌胜. 基于序列图像的全景图研究[D]. 重庆:重庆大学,2005

[12] 陈曈,杨东勇,石洗凡. 全方位图像展开的并行优化[J]. 计算机工程与设计. 2010,31(22), 4862-4865

A algorithm of panoramic picture fast expansion based on mapping transformation

Li Xu,Yan Bin,Liu Yaobo,Wang Bo,Shi Yan,Wang Haoxing
(CCTEG Xi’an Institut,SHAAN XI , XI’AN,710077)

Abstract：To improve the speed of unwrapping panoramic picture,reduce current of CPU during the unwrapping,and fixed image pixels offset staggered which caused by lens rotation,this paper presents a algorithm of panoramic picture fast expansion based on mapping transformation.Start with the angle pretreatment of panoramic picture,then divided the whole panoramic picture into eight symmetric sector areas and calculate the coordinates of one of the eight areas after unwrapping,finally the coordinates of other areas will be find through the mapping relationship of eight areas. The experiment results shows that this new algorithm can reduce the 60% calculation time and the CPU usage will be reduced 5% when multiple images continue unwrapping compare with the traditional image unwrapping algorithm,which more satisfied the requirement of continue image unwrapping in high definition imaging device.

Keywords：panoramic picture;image unwrapping;mapping transformation;longitudinal axis rotation;real-time.

中图法分类号：TP39

文献标识码：A