一种自动提取车身前视图参数化模型的方法

王 博，李宝军，胡 平，梁继才

（大连理工大学 汽车工程学院，辽宁，大连 116023）

一种自动提取车身前视图参数化模型的方法

王 博，李宝军，胡 平，梁继才

（大连理工大学 汽车工程学院，辽宁，大连 116023）

车身参数化模型的自动提取有助于进一步的车型分析及评价，提高海量图像数据的重用率，以及提升利用图像重建三维模型的高效性。通过图像中Canny特征点的自反对称对车身前视图对称轴的自动提取，利用给定的车身参数化模板，提出了应用于车身的利用山谷线的分水岭方法得到的一种新型图像分割技术，结合动态规划的优化思想，全自动地对车身前视图参数化模型进行提取。对背景复杂的高质量车身图像，也可以得到理想的提取效果。

车身图像分割；点集配准；参数化模型；车身CAD

车身二维参数化模型的提取在快速图像修改、形状评价以及进一步三维模型重建等方面发挥了重要作用，能提升车身CAD应用。本文介绍了全自动提取车身前视图参数化模型的方法，利用可变形的前视图参数化模板，通过关键点以及特征曲线的最优提取得到车身前视图的重建。

局部特征提取算子[1-3]是许多计算机视觉算法的基础，应用于图像匹配、目标提取和分类、追踪以及运动估计。这些算法使用局部特征来更好地处理尺度变化、旋转以及覆盖问题。提取到的特征是图像的子集，通常是孤立点、连续曲线或连通区域。Canny提取算子[4]对不同视觉目标提取到了有用的结构信息并大大减少了处理的数据量。

引用格式：

点集匹配算法是找到一个空间的转换函数来配准两个点集。这个转换的目的是对大量数据集建立一个全局连续模型，并建立一个对已知数据集的映射函数来识别特征或估计形状。形状描述子能够衡量形状相似性以及恢复点集关联性。PR-GLS算法[5]改进了形状上下文[6-7]并得到了更好的匹配结果。

图像分割[8-9]是将图像分割为多个部分（像素的集合）的方法，用于识别目标或图像中的其它相关信息。图像分割通常用于在图像中定位目标及其边界。将图像简化为一些有意义的区域的代表，更利于分析。gPb-owt-ucm[10]提供了很好的轮廓提取以及图像分割结果。

车身CAE在概念设计中的分析，有助于缩短开发周期[11]。车身参数化模型的建立有助于对车身CAE的分析。前视图不同特征线的形状及拓扑关系也可以用于分析不同民族化特征及品牌特征。图1为前视图参数化模型全自动提取流程。

图1 前视图参数化模型提取流程

2 车身前视图对称轴提取

2.1 特征点提取

作用于车身图像得到的Canny边缘特征点如图2所示。

图2 Canny边缘提取算子得到的边缘特征点

为了得到均匀的边缘特征点，考虑将相邻边缘特征点联结成链（图3）。鉴于车身的造型特征线通常为较长且光滑的曲线，删除链长小于给定阈值（取为20）的点链，以减少噪声边的影响。对点链的数据点根据给定阈值（取为25）进行均匀离散化，得到图像的均匀边缘特征点（图4）。

图3 边缘特征点联结成长链

图4 均匀边缘特征点

2.2 车身前视图对称轴计算

由于拍摄角度的问题，部分车身图像存在偏转，因此需要找到车身的对称轴，并旋转车身图像以调整视角。为了自动化提取车身前视图的对称轴，考虑到车身前视图左右两部分为对称结构，如果能够通过每一个左侧的边缘特征点得到其对应的右侧边缘特征点，则可以计算得到对称轴直线。

图5 图像均匀特征点的自反对称

记车身区域边缘特征点为S ={Pi}i=1:N，图像宽度为image_width，则水平翻转点集为：

采用PR-GLS算法[153]对点集S和ST做匹配，如图5所示。

得到的匹配结果为：

对称轴L为利用最小二乘法计算点集M所拟合的最优直线。

在得到对称轴后，利用对称轴以及车身区域对图像进行旋转，以便于精确模型提取。

另一方面，根据点匹配得到的结果，可以进一步估计车身前视图的尺寸，得到包含车身的矩形区域(rect_min_x, rect_max_x, rect_min_y, rect_max_y)。

3 车身图像分割

3.1 不同图像分割技术比较

gPb-owt-ucm[10]方法在语义层面上得到了很好的轮廓提取以及图像分割结果。但经过分析，该方法受到阈值的局限，没有一个特别合适的阈值适合不同的车身图像。如图6所示，（b）为阈值=0时gPb方法得到的分割结果，（c）为阈值=0.2时gPb方法得到的分割结果。并且很多情况下，所得分割边界的点与真实边界位置有偏差（小于4个像素）

分水岭算法[14]是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。如图6d为分水岭算法得到的图像分割结果。

图6 不同图像分割技术

3.2 利用山谷线的车身图像分割技术

传统的分水岭算法[12]是通过计算最低注水点开始得到的图像分割结果。考虑到汽车作为工业产品，光滑的曲线构成了车身的外造型。因此，考虑利用山谷线代替注水离散点的方式来利用分水岭算法计算车身前视图的图像分割结果，提出了一种利用山谷线得到的车身图像分割方法。

图7 改写Canny算法得到的山谷线

对于山谷线的提取，考虑到Canny算子在计算过程中是计算灰度强度变化值大的像素点，改写Canny算法以计算灰度强度变化值小的像素点，得到低值点。进一步利用Matlab中的bwlabel函数以8邻域方式对低谷点进行标签化，删去小于给定阈值（取为5）标签的低谷点，得到如图7所示的山谷线的结果。相应的以山谷线作为注水离散点的图像分割结果，如图8所示。

图8 采用山谷线作为注水离散点的图像分割结果

进一步借助Canny算子提取到的边缘强度值，重新将每一条边上的点的强度值再定义为这些点的强度平均值。考虑以下两种情况对分割的结果进行简化：（1）以Canny边缘特征点为基础，如果某边上点以给定阈值（取为5）远离Canny边缘特征点的个数大于该边所有点的一半以上，可认为该边为噪声边。（2）与图像边缘相交的边为噪声边。删除上述两种情况的噪声边可得到简化后的分割结果，如图9所示。

图9 删除噪声边所得简化后的图像分割结果

4 参数化模型自动提取

4.1 参数化模板定义

根据李庆宝提供的前视图参数化模型模板[13]，考虑到不同车型参数化模型的通用性，重新建立如图10所示的代表一般车身结构的前视图参数化模板。这里仅计算一个大灯。

图10 车身前视图参数化模板

4.2 任意两结点之间的最优路径

由3.2节可知，图像分割的优点是分割的边缘特征点与Canny提取到的边缘特征点重合率很高，大部分分割的边缘特征点正好是提取到的Canny边缘特征点。根据提取到的车身前视图的对称轴，将落在对称轴上的边点都设定为结点。

因此，对于任意两个结点Pi和Pj，可以由其它结点联结形成路径，且不同路径为将每一条路径上的边缘特征点拟合为二次曲线。

计算对应二次曲线对于Canny边缘特征点的重合率为：

重合率的计算方式为二次曲线上的点到Canny边缘的距离小于给定阈值（取为3）的点数与总数的比例。选择最大重合率的路径为Pi和Pj的最优路径，记为：

4.3 前视图参数化模型自动提取

通过分析车身前视图的结构，可以得到关键点的拓扑位置关系以及特征线的形状。

由4.2节可以得到每两个结点之间的最优路径及相对的重合率。利用动态规划的方法，对给定关键点序列，按照关键点之间的拓扑约束，按步骤对车身前视图的不同部分进行参数化模型的精确提取。将前视图参数化模型的自动提取分为四部分：（1）外轮廓。（2）车窗。（3）前视图格栅。（4）车灯。

表1～4分别代表不同部分提取的曲线及相应的约束条件，同样地按照对称的约束可以得到车身左侧部分模型的提取。对应于图6a的全自动提取到的参数化模型如图11所示。

在得到自动提取到的参数化模型的基础上，可以对相连两个关键点之间的路径点拟合为3次Bézier曲线以便于CAD操作，进而利用交互微调的方式可以得到更精确的参数化模型。

对于车身左侧部分，采用同样的方法，利用对应的关键点的位置约束及特征线的形状约束提取到左侧的特征线。

表1 外轮廓提取曲线及约束条件

表2 前视图格栅提取曲线及约束条件

表3 前视图车窗提取曲线及约束条件

表4 前视图车灯提取曲线及约束条件

图11 精确提取的车身前视图参数化模型

5 结论

全自动提取车身前视图参数化模型的过程中，提出了一种利用特征点自反匹配来提取车身前视图的对称轴方法，以及一种应用于车身图像的分割技术，利用动态规划思想对边缘特征点列寻找最优路径的方法全自动提取车身前视图参数化模型。

受到图像质量的影响，有部分图像的特征线得到的结果有偏差，比如图11的车身底线。鉴于在提取到部件区域的情况下，能够加速提取效果并减少提取时间，下一步将致力于通过学习的方法提取车身部件区域，进一步更精确地重建出各个视图的参数化模型。更多的参数化模型提取结果如图12所示。

图12 参数化模型提取结果示例

另一方面，根据算法的有效性，对于高质量的图像，结合其高质量的图像分割结果以及边缘特征点提取结果，即使背景复杂的车上图像，也可以得到很好的结果，如图13所示。

图13 背景比较复杂的车上图像提取结果示例

图14 更多不同车型提取结果示例

由图12～14的提取结果可知，提取结果基本符合前视图特征线的位置。鉴于算法提取到的线条是由分割边界拟合为Bézier曲线得到的，提取精度等同于特征线与图像边缘特征点的覆盖率所采取的阈值为3。下一步工作计划会针对得到的参数化模型，结合定义的参数化模板，进一步根据车上工程约束精确定位关键特征点的位置。

参考文献（References）：

[1]CHAN T F，VESE L A. Active Contours Without Edges[M]. New York：IEEE Press，2001：266-277.

[2]ABDEL-HAKIM A E，FARAG A A. CSIFT：A SIFT Descriptor with Color Invariant Characteristics [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . New York：IEEE，2006，2：1978-1983.

[3]LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints [M]. Holland：Kluwer Academic Publishers，2004：91-110.

[4]CANNY J. A Computational Approach to Edge Detection[M]. New York：IEEE Computer Society，1986：679.

[5]MA J，ZHAO J，YUILLE A L. Non-Rigid Point Set Registration by Preserving Global and Local Structures [J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2016，25(1)：53.

[6]BELONGIE S，MALIK J，PUZICHA J. Shape Context：A New Descriptor for Shape Matching and Object Recognition [C]// Neural Information Processing Systems Foundation，Granada，Spain，2000.

[7]BELONGIE S，MALIK J，UZICHA J . Shape Matching and Object Recognition Using Shape Contexts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，24(4)：509-522.

[8]YU Y，FANG C，LIAO Z. Piecewise Flat Embedding for Image Segmentation[C]// IEEE International Conference on Computer Vision，Santiago，Chile，2015，1368-1376.

[9]CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs [J]. Computer Science，2014(4)：357-361.

[10]ARBELAEZ P，MAIRE M，FOWLKES C，et al.Contour Detection and Hierarchical Image Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2010，33(5)： 898.

[11]高岩，周定陆，蔡华国. CAE优化技术在汽车概念设计中的应用 [J]. 汽车工程学报. 2012，2(1)：62-65.GAO Yan，ZHOU Dinglu，CAI Huaguo. The Application of CAE Technology in Auto Concept Design [J]. Chinese Journal of Automotive Engineering，2012，2(1)：62-65.(in Chinese)

[12]VINCENT L ，SOILLE P . Watersheds in Digital Spaces：an Efficient Algorithm Based on Immersion Simulations[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(6)： 583-598.

[13]李庆宝. 基于约束形变的车身快速造型方法研究 [D].大连：大连理工大学，2013.LI Qingbao. Research on Rapid Styling of Auto Body based on Constrained Morphing [D]. Dalian：Dalian University of Technology，2013.(in Chinese)

A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images

WANG Bo，LI Baojun，HU Ping，LIANG Jicai
（School of Automotive Engineering，Dalian University of Technology，Dalian 116023，Liaoning，China）

For the massive amount of data in images nowadays, automatic detection of automotive parametric model can help further analyze and evaluate different car types and improve the efficiency of 3D model reconstruction from images. Using the front-view parametric template, a new image segmentation method was proposed by applying the method of the watershed algorithm with valley lines. The symmetric axis was computed through the reflexive symmetry of Canny feature points in front-view images of vehicle bodies. Combined with the dynamic programming optimization method, the parametric model of the vehicle body front-view images was automatically constructed. For high precision automotive images with complex background, the desired detection effect can also be obtained.

vehicle body image segmentation；points set registration；parametric model；vehicle body CAD

U462.2

A

10.3969/j.issn.2095-1469.2017.05.03

2017-06-23 改稿日期：2017-07-06

国家自然科学基金（11472073，61370143）

王博，李宝军，胡平，等. 一种自动提取车身前视图参数化模型的方法 [J]. 汽车工程学报，2017，7(5)：327-333.

WANG Bo，LI Baojun，HU Ping，et al. A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images[J]. Chinese Journal of Automotive Engineering，2017，7(5)：327-333. (in Chinese)

作者介绍

责任作者：王博（1987-），女，河南漯河人。博士研究生，主要研究方向为车身CAD。

Tel：18624269087

E-mail：wangbohsd@163.com

李宝军（1977-），男，山东莱阳人。博士，讲师，主要研究方向为车身CAD和CAx集成。

Tel：15104066009

E-mail：bjli@dlut.edu.cn