基于球面全景图像拼接的变电站内部可视化研究和应用

时间：2024-05-04

文/邢显锋劳卫伦

随着电力行业快速发展，变电站是电力建设的重要基础。面向不同类型的变电站，对巡检人员的要求不尽相同。传统的变电站培训方式主要是专题讲座和实地培训，学员的学习效率不高。目前，基于球形图像绘制技术和智能移动终端技术的持续发展，全景图像拼接发挥着越来越重要的作用。该技术最重要的两个步骤就是：特征点匹配和图片匹配。特征点匹配主要采用SIFT算法实现，目的是为了找到两幅图像相同的特征点并将其进行匹配。图片匹配则是找到图像之间所有重叠的部分，将其拼接后得到一幅全景图。通过全景图重现技术，用户体验变电站场景变得更逼真，需要携带的硬件设备也更加轻便。因此，本文论述的是如何使用基于全景图形拼接技术重现变电站内部可视化，并用于电力培训，让学员真切感受“实体化”的变电站。

1 技术背景

球形全景图拼接是目前国内外图像处理应用领域较广泛的新兴技术之一。球形全景图主要通过硬件设备实现增强现实技术，应用领域包括军事训练，科技研发，教育培训等领域。近年来，随着智能终端技术革新，快速高效的计算能力和优秀的硬件性能，球形全景图的素材收集变得更加便捷，取得的图像质量也明显改善。

技术特点：球形全景图像是超广角图，可以通过一个视角把附近环境保存。超广镜头要求视角水平为360°，垂直为180°。球形全景图制作主要分两个步骤，一是收集球形全景图素材，二是使用相关软件拼接素材后通过Android等相关技术嵌入到增强现实设备中。

1.1 收集素材简单、快速

一个正常的场景所需的时间平均为20分钟左右。总的来说，相对于另一种主流重现场景技术的三维建模更加快速。其次，拍摄场景如出现多种物品、多变的光线以及复杂纹路，并不影响收集素材的复杂度。

1.2 球形全景图源文件占据资源小

一张球形全景图占有文件资源大约1-2M，因此非常适用于软件应用和网络传输。球形全景图自身设置了加载顺序，先呈现低像素的全景图，然后分组加载剩余的模块部分。因此，提高了用户使用效率，无需等待过长的加载时间。

1.3 球形全景图具有全方位特性

用户拥有360°水平视角、垂直角度上下180°的球形全景视角。即使获取的素材照片是平面的，也可通过软件处理后得到全方位的视角，让用户体验到三维立体化的效果。

1.4 球形全景图具有虚拟现实性

用户可以佩戴虚拟现实眼镜，通过球形全景图为基础的虚拟现实应用，进行虚拟漫游。

2 技术原理

2.1 单应性矩阵

在计算机视觉领域，空间同一平面的任意两幅图像，通过单应矩阵联系（假设在针孔相机模型中），即一个相机拍摄空间同一平面的两张图像，它们之间的映射关系可以用单应矩阵表示。举个例子，两架相机拍同一空间上得到两幅图像A、B，其中图像A到图像B存在一种变换，而且这种变换是一一对应的关系，这个变换矩阵用单应矩阵表示。业界常用的计算机视觉语言中，OpenCV中可以用函数fi ndHomography计算得到单应矩阵H。要实现两张图片的简单拼接，只需找出两张图片中相似的点(至少四个，因为homography矩阵的计算需要至少四个点)，计算一张图片可以变换到另一张图片的变换矩阵(homography单应性矩阵)，用这个矩阵把一张图片变换后放到另一张图片相应的位置(就是相当于把两张图片中定好的四个相似的点給重合在一起)。通过这种方法，就可以实现简单的全景拼接。另外，因为拼合之后图片会重叠在一起，还需要重新计算图片重叠部分的像素值。

2.2 RANSAC算法

RANSAC(Random Sample Consensus)即随机采样一致性，该方法是用来找到正确模型来拟合带有噪声数据的迭代方法。给定一个模型，例如点集之间的单应性矩阵，RANSAC算法可摒弃噪声点的同时，找到正确的数据点。

2.3 求解单应性矩阵

虽然SIFT是具有强稳健性的描述因子，当这方法还会存在一些错误的匹配。而单应性矩阵需要选取4对特征点计算，万一选中了不正确的匹配点，那么计算的单应性矩阵肯定是不正确的。因此，为了提高计算结果的鲁棒性，要把这些不正确的匹配点给剔除掉，获得正确的单应性矩阵。通过RANSAC算法，随机抽取不同的4对特征匹配坐标，计算出单应性矩阵。

2.4 图片融合

在图片融合的过程中，需要重新计算重叠区域的像素值。为了快速实现一个图像的线性渐变，对于一个重叠的区域，靠近左边的部分，让左边图像内容显示的多一些，靠近右边的部分，让右边图像的内容显示的多一些。假设alpha表示像素点横坐标到左右重叠区域边界横坐标的距离，新的像素值就为newpixel=左图像素值×(1-alpha)+右图像素值×alpha。这样就可以实现一个简易快速的融合效果。

2.5 球面投影模型

根据收集到场景的图片，经拍摄设备的旋转获取特定视角，在不同视角如果将图片直接拼装会呈现扭曲的状况，对视角的真实性产生严重的损坏。因此，需要将各自视角拍摄的平面图像整合到一个球面正投图像，然后再进行拼接，把球面光学信息和明暗度以一幅图像的形式再现，获得表示实景图像的像素点在视点空间方位信息的过程。假设相机拍摄方向为（α,β）,实景图像任意一个内部像素点P的图像坐标为（x,y），在球形全景图上的对应的点为p，点p在球形全景图的图像坐标为（x,y），点p(x,y)xyz中的坐标为(x-W/2,y-H/2,-f)，其在XYZ下的坐标为（u，v，w），因此p在视坐系下坐标为（u,v,w）,计算公式为式1所示。