基于轮廓特征点的双目视觉体积估测模型

时间：2024-05-04

胡亚楠，潘焜，王铁铮，喻晓

（国网北京市电力公司物资分公司，北京100053）

0 引言

现代社会仓储管理更加集中和繁重，通过人工筛检的方法管理仓储物品需要较大的人力成本，立体视觉技术的实现提供了仓储自动化[1]的可能性。作为仓储自动化的一个基础环节，物体尺寸识别和体积测量具有提供物体物理信息和帮助管理系统决策的功能，亟需准确高效的解决方案。

侯跃迁等人提出提取部件边缘点反求世界坐标求解异面直线距的方法来测量尺寸[2]，毛佳红等人通过线结构光法和双目视觉原理实现三维重建进而完成积分式的体积测量[3]，邵宝峰结合双目立体视觉技术和点激光测距对物体三维尺寸进行测量[4]，王玉伟等人采用RCF 边缘检测及其他预处理完成对双目图像中物体轮廓和顶点的识别[5]，周麒等建立结构光双目测量系统得到物体表面的三维点坐标[6]，潘乐昊等人通过边缘检测和针孔成像原理得到类球物体的球径继而估测体积[7]，胡锦波等人着重研究双目技术中标定校正和立体匹配的内容[8]，伍济钢等人采用光流法进行特征跟踪、利用双目视觉测量原理获得特征点三维信息来测量振动[9]，罗宇等人通过边缘检测的方法对地图上建筑物进行特征识别实现三维重建[10]。以上部分研究[3，4，6，9]利用激光或结构光的技术加强物体表面的模式识别并结合双目视觉原理来完成物体尺寸的测量，部分研究[2，5]采用和本文处理方式不同的边缘检测的方法识别物体的特征点。

1 标定

标定是双目摄像头应用到生产实践的一个难关。标定用于找出摄像头描述像素点坐标到物理世界点坐标转换关系的参数值，获得准确的参数是实现良好体积估测的保证。

采用张正友提出的棋盘格标定法[11]对双目摄像头进行标定，采集完双目摄像头拍摄的棋盘格图像对后，筛选出能找到所有棋格角点的图片，根据实际测量的棋盘格尺寸得出找到的所有角点的世界坐标，按照公式（1）～（6）利用图片中角点像素坐标（u，v）[12]和世界坐标（X，Y，Z）的对应信息使用最小二乘法计算出双目摄像头的内外参：两只摄像头的内参矩阵left_intrinsic、right_intrinsic，畸变参数矩阵left_coeffs、right_coeffs以及转换关系中的旋转矩阵r、平移矩阵t。公式（6）中fx、fy分别表示在图像两轴方向上焦距长度对应的像素个数，（u0，v0）表示光心在像素坐标系中的坐标，s 表示坐标轴倾斜程度。

继而得到两只摄像头的校正旋转矩阵rl、rr和投影矩阵pl、pr用于图片的校正，以及重投影矩阵q用于将图片像素换算到三维空间中。投影矩阵p的原理如公式（7）所示，R、T分别表示相机坐标系与世界坐标系转换关系的旋转矩阵和平移矩阵。

2 体积估测模型

图1 描述了模型的工作流程。

图1 模型活动图

接下来详细说明模型使用摄像头参数对图片进行校正后的三个模块。

2.1 图像轮廓特征点检测

模型对校正后的图像设置了裁剪率，取值范围为0～0.5，用于剪去图片的边缘区域得到感兴趣区域（Region of Interest，ROI）。感兴趣区域排除了无关因素对估测结果的干扰，是模型的处理对象。

对感兴趣区域进行高斯滤波和Canny 边缘检测[13，14]，找到图片中的轮廓，计算每组轮廓点的凸包面积。设定面积阈值为感兴趣区域像素面积的0.05，对凸包面积大于该阈值的轮廓进行拟合得到更少的特征点，特征点的个数不好控制，对这些特征点进行如下规范化：

步骤（1）：消除近距离特征点：针对拟合后特征点不少于四个的轮廓。计算某个点与其他点之间的距离，取这些距离中第三大的值的十分之一作为阈值，依次遍历计算某一点与其他点的距离，抛弃掉距离小于该阈值的两点中的一点。该操作保证了检测到的轮廓特征点的唯一性，避免了特征点附近噪声的干扰。

步骤（2）：规范化输出四点：将上一步得到的特征点处理成适合体积估测的四个有序特征点模式，将这些特征点加入轮廓特征点集中。若经过上一步处理得到的特征点个数是：

①3 个。需要计算出第四点坐标补全三角形为平行四边形。设三点分别为 A（xA，yA），B（xB，yB），C（xC，yC），由 y=cosx 在（0，π）上单调递减知，在△ABC 中，cos值最小的角角度最大，该角可作为平行四边形中的一个完整的角。假设 A 角最大，则按 A（xA，yA），B（xB，yB），第四点 D（xB+xA-xC，yB+yA-yC），C（xC，yC）的顺序放入轮廓特征点集的一组中。

②4 个。需要将四个点按矩形顶点的时钟顺序进行排序。取其中一点，计算它到其他三点的距离，假设得到结果AD＞AB＞AC，根据矩形中四个顶点的距离关系，可知AB，AC 是矩形的边，AD 是对角线，则按点A，B，D，C 的顺序将坐标放入轮廓特征点集的一组中。

③5 个或更多。从多个点中选出4 个不同的点模拟物体的特征。建立像素坐标系斜率数组k 和点至像素坐标系原点距离数组d，对点坐标（x，y），将值放入k 中，值放入d 中，按在k 中有最大值的点、在d 中有最大值的点、在k 中有最小值的点、在d中有最小值的点的顺序放入轮廓特征点集的一组中。

④其他情况。舍弃所有点。

通过以上步骤完成了图像中物体轮廓特征点的检测，轮廓特征点集中的每一组特征点描述了一个物体的空间特征。

2.2 立体匹配和视差计算

将双目摄像头采集的左右两张图像的感兴趣区域进行直方图均衡化和拉普拉斯算子锐化[14]，用SGBM算法[15]进行立体匹配，计算出左视差图和右视差图，对左视差图、右视差图和锐化后的感兴趣区域进行加权最小二乘滤波[16]得到最后的视差图。通过视差d 可以得到点的深度Z，数学原理如图2 所示，由相似三角形性质得：

图2 双目视觉深度计算原理图

f、B 的值已经在标定中测出来，f、B、d 的准确性共同作用着Z 的准确性，继而影响体积估测结果的好坏。

2.3 特征点三维坐标生成和体积估测

已知视差图 D 上坐标（x，y）处的视差值为 D（x，y）和重投影矩阵q，可计算：

齐次逆变换得到像素点（x，y）对应的三维世界点坐标（X’，Y’，Z’）：

将Z’值处于合理范围内的点坐标存储在点云阵图中。

如图3 所示，在该模型工作之前，测得双目摄像头至物体底面距离h，经过轮廓特征点检测找到了A、B、C、D 点，同时三维重建得出 A、B、C、D 四点世界坐标分别为（xA，yA，zA）、（xB，yB，zB）、（xC，yC，zC）、（xD，yD，zD），鉴于特征点的顺序是规范的，那么物体底面两邻边边长 a、b 以及高 c 可由公式（11）～（13）算出：

图3 双目摄像头工作图

则估测物体体积为：

3 实验及分析

本文设计的模型由于采用双目立体成像技术，对标定的摄像头参数的精确性要求高；Canny 边缘检测算法的两个阈值影响图片中找到的轮廓数量；根据凸包面积筛选轮廓时设置的阈值以及感兴趣区域的大小影响检测到的轮廓特征和数量；SGBM 和视差加权最小二乘滤波算法选择的参数影响视差图的计算。适合生产环境的参数需要在模型的使用中不断试验以保证体积估测的精度，本文不再多言这些参数的配置。

下面使用固件型号为2.3 的MYNTEYE-S1030 双目摄像头在搭有OpenCV 4.1.1、PCL 1.9.1 库环境、CPU为AMD A10-9600P、内存为8G 的主机上对模型进行评估验证，单只摄像头采集的图像大小是752×480。

3.1 模型的精度

双目摄像头距物体支撑平面54.11cm 时对若干物体体积进行测量的实验记录如表1～3 所示。

表1 实验物体基本信息

表2 实验物体的实际尺寸

从实验过程看，绝缘子由于圆柱体的几何特征使得检测到的特征点位置不准确，体积估测结果偏小。测试模型对规则的四棱柱物体的体积估测比实际值偏大。实验中模型估测的物体体积与实际的误差率为20.24%，一方面是因为模型参数不是最优的，另一方面是因为检测到的部分轮廓特征点不准确。

模型对提取的轮廓特征点进行处理，没有对检测到的边缘或轮廓特征进行细化和分类[5，10]，导致模型精度对物体所处环境敏感度高，要求环境中物体的轮廓明显、没有被遮盖。

不过，该模型对物体形状的规则程度要求不高，轮廓特征点的检测过程将物体边缘平整化，并过滤掉了物体表面的弱纹理噪声。对物体体积估测的灵活度高。

3.2 模型的时间效率

使用摄像头采集图像，统计模型估测体积总时长和花费在立体匹配和视差图运算中的时间，得出16 组实验数据如图4 所示。发现这两段时间的差趋近于一个常量，受模型识别的轮廓数量影响有所波动。图4说明，在运行模型没有使用GPU 加速时，立体匹配和视差图运算模块平均占用体积估测的74%时间，立体匹配算法的效率有待提高。未来考虑直接计算左右图像轮廓特征点的视差和三维点坐标来求取物体尺寸，可能会取得速度和准确度的更佳平衡。

3.3 双目摄像头距物体支撑平面距离对模型结果的影响

实验显示，在标定参数和视差图运算参数不变的情况下，双目摄像头距离物体支撑平面过远或过近，体积估测的误差较大。

保持3.1 小节中实验环境不变，以规则形状的同一物体进行实验，发现双目摄像头在距物体支撑平面45-70cm 范围内，能够得到与物体实际体积偏差不大的结果。后固定双目摄像头在棋盘格平面高度38cm 处进行标定，替换3.1 小节中的标定参数，发现摄像头高度在45-70cm 处有良好的估测结果。该实验表明在标定参数准确的前提下，每只摄像头都有估测物体体积的工作范围，且这个工作距离与摄像头标定时的位置无关。当物体离摄像头过远时，由于视差较小的缘故视差的计算误差变大，导致估测结果准确度降低。在使用本文模型进行体积估测时，还需要考虑摄像头到物体支撑平面距离这一参数。