基于双波段成像的车牌识别系统设计研究

长春理工大学 张振铎

1 前言

近年来我国智能交通行业快速发展，车牌识别系统作为智能交通的重要组成部门，广泛应于城市的非现场执法中，但是目前车牌识别系统还存在很多问题，例如：杭州市交警支队2015年提出，目前现有系统频射灯补光会造成城市光污染，且容易对让司机短暂视觉障碍造成交通隐患；雾天低照度情况下成像质量不佳等暂存问题。

本文利用近红外成像探测具有目标细节表达清晰、目标识别能力强、可实现隐秘主动成像、可微光夜视探测、对雾霾气候条件和尘烟应用环境适应性强等优点，研究可见光与近红外成像结合的双波段成像技术在车牌识别系统中的应用，探索智能交通技术进步的新方向。

2 系统设计

车牌识别系统在智能交通中有很多的应用，如交通卡口违法、车辆违停、重点区域进出车辆统计等。一般情况下与路面上的各类传感器、智能检测算法等相互配合，构成整体系统，为后续业务提供车牌数据。如图1所示，通过图像识别算法，该车辆在禁停区域违法停车，通过违章停车摄像头所采集数据，识别出车牌号码，与违章时间、违章地点、违章图片等共同构成违法数据上传到交通管理平台。由于该数据为真实数据，根据规定隐去具体信息。

图1 违章停车数据采集

太阳光透过大气遇到气体分子、尘埃、水分子团等都要发生散射。光散射并不耗散光的传播能量，而是改变光的空间分布，使沿指定方向传输的光能逐渐衰减。在大气的散射粒子＜光波波长时，散射系数表达示为：

图2 系统设计框图

图3 算法流程图

式中，A为散射微粒的横截面积，N为每单位体积中的粒子数，λ为光波长。近红外波段较可见光波段波长要长所以在雾霾等恶劣状况下衰减少，且近红外为不可见光，在夜间补光不会对司机视觉造成影响，可以避免安全隐患。

近红外成像设备相对于其他专业红外设备有足够价格优势，适合大面积应用，根据以上思路，所以选择近红外/可见光这两个波段。

本文所研究的的双波段车牌识别系统主要包含图像采集系统、车牌识别算法系统两部分。

2.1 图像采集系统

由图2所示，该系统采用近红外/可见光双波段成像模式，有一个近红外摄像头和一个可见光摄像头，补光系统采用近红外/可见光双波段补光模式，控制器内置pm2.5、pm10、照度计等检测仪器及传感器，根据不同业务场景需要，控制不同的成像、补光模式，采集后的图像数据存入储存器，再传输到服务器上进行车牌的识别。

2.2 车牌识别算法

车牌识别算法对传输的图像数据进行处理，识别出图像数据中车牌信息，为后续智能交通系统中后续业务提供数据。

3 图像预处理

3.1 图像灰度处理，生成灰度直方图

在车牌识别实际场景应用中，因受到各种噪声、照度等工作环境影响和不同成像系统本身因素，得到的原始图像数据图像质量不佳，并且所要识别的特征不明显。一般情况下对于这些图像质量不佳原始图像数据，需要对其进行图像的预处理，消除其干扰噪声，使图像特征更清晰，为后续识别算法稳定准确工作做保证。在预处理工程中，输出的图像数据特征表达较为清晰，噪音较少，有利于车牌识别算法对图像数据的特征分析、车牌定位和分割等后续处理。文中所使用的图像预处理方试主要有彩色图像灰度化、边缘算子检测、直方图均衡化处理等。

3.2 边缘算子检测

用于边缘算子检测的算子有很多，例如：Sobel、canny算子等。其中Sobel算子的工作特点是把重心放在接近于卷积模板中心的像素点，利用了像素点横向、纵向相邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测。Sobel算子优势在于对噪声有一定的抑制作用，在车牌识别业务场景中比较适用，因而本文利用Sobel算子做边缘算子检测处理。由于近红外图像和可见光图像的差异，此处应做参数自适应调整。

Sobel算子核心公式为：

3.3 图像边缘轮廓圆滑处理

因为车牌识别图像数据源信息比较复杂，通过边缘轮廓圆滑处理，移出图像中最小对象来完成车牌的初步定位。

3.4 对车牌进行定位并切割

根据图像预处理结果确定车牌合理区域，对车牌进行定位切割。车牌切割有很多辅助精确定位，主要是通过车牌位置特征、几何特征、颜色特征、纹理特征等。

本系统因为双波段成像的特殊性，采取位置特征定位。

4 识别前处理

通过如图3所示，通过灰度、二值化、均值滤波、腐蚀等处理，对图像滤除噪声等干扰，为后续识别做准备。

5 车牌字符分割与识别

5.1 去边框处理

因为我国现未对车牌边框实行统一的标准，不同厂商的车牌边框存在一定差异，所以在去边框处理中不能用单独的范围值来判断边框大小，否则会出现车牌边框残留或者车牌字符不完整等问题，车牌去边框处理是字符切割前序处理中的很重要一步。

本文将采用水平投影法对水平边框做去除处理。首先对图像预处理中得到的车牌二值化图像做水平投影。根据边框的尺寸等特征与做水平投影处理后波峰、波谷形态设定一个阈值做水平方向边框的去除处理。根据车牌边框在车牌图像数据的宽度比例关系，选定车牌宽度的1/10作为阈值。然后以水平投影的纵坐标轴中心为起点，分别向上、下两个方向的边缘各自找出小于阈值的投影线，根据投影线调整上、下边界的大小，并对原始图像进行分割处理，时限水平去边框处理。

通过对车牌特征的分析可得出，车牌图像在垂直方向投影时，字符内部或字符间会有一个局部最小值。字符切割的正确位置就应在最小值附近；在车牌第二个字符和第三个字符中间，会有较大的间隔，结合这个特征，利用字符统计信息，就能实现字符切割，不再需要去除垂直方向的边框。

5.2 字符分割

（1）通过水平投影处理，计算得出字符的高度，再通过计算水平投影图像数据的前S列中所包含平均像素数，计算得出字符字符高度nHeight。

（2）通过垂直投影处理计算得出字符的间距和字符的宽度，并且得到间距的最大值。扫描垂直投影图像的最上两行，计算连续黑色像素点个数和连续白色像素点个数并且求出平均值，分别记做字符间距nSpace、字符宽度nWidth，并得出nSpacemaX，根据以上得出的阈值，进行确定向左、右扫描的起始点。从两个扫描起始点各自向左、右扫描车牌的垂直投影图像，通过上述阈值的大小和某一列上黑色像素的总和来判断字符的边界。右扫描确定五个字符，左扫描确定两个字符。

5.3 归一化处理

经过切割的字符图像一定几率出现大小不一现象，未不影响后续字符识别处理，需要对其进行字符归一化处理。

归一化公式可以表示为：

gnew表示归一化后的字符图像，gold表示归一化前的字符图像。

Hold.Wold分别表示归一化前的字符的高和宽。

Hnew.Wnew分别表示经过归一化后的字符图像的高和宽。

i, j 分别表示归一化前的字符图像的坐标。

得到切割后归一化字符。

5.4 BP神经网络识别

首先要先分析我国车牌信息的具体特征，一般情况下为汉字+字母.字母或数字形式，所以需要构建2个包含1个隐含层的2层BP神经网络，分别进行识别.

用来识别汉字的BP神经网络，应有一百二十个节点输入，四十个个节点输出：用来识别英文字母的BP神经网络，应有六十五个节点输入，二十五个节点输出；用来识别数字的BP神经网络，应有六十五个节点输入，十个节点输出。

搭建好训练环境和训练数据库后进行识别训练，最终实现成排的识别。

6 结语

目前双波段成像应用在智能交通车牌识别系统中还存在很多问题与不足需要时间去研究改进。比如近红外/可见光摄像机复杂环境互补性问题、夜间近红外成像车牌特殊物质荧光效应改进、可见光与近红外场景图像融合等。但是相对目前解决方案，拥有很多传统成像所不具备的优势，是车牌识别系统改进的一个新的方向。

[1]彭文艺.基于神经网络的车牌自动识别系统研究[D].华中科技大学,2006.

[2]赵成龙.复杂自然环境下车牌识别算法研究[D].山东大学,2017.

[3]陈泓佑.智能视频监控中的目标检测及分类技术研究[D].西南科技大学,2015.

[4]彭健敏.车牌识别中的车牌定位与字符识别技术研究及实现[D].湖南大学,2006.