基于视觉的乳品包装日期喷码缺陷检测技术

孙晓娜刘继超高国华

SUN Xiao-na1 LIU Ji-chao2 GAO Guo-hua1

(1. 北京工业大学机械工程与应用电子技术学院，北京 100124；2. 北京三元食品股份有限公司，北京 100124)

(1. College of Mechanical Engineering and Applied Electronics Technology, Beijing 100124, China; 2. Beijing Sanyuan Foods Co., Beijing 100124, China)

机器视觉[1-2]是人工智能发展的重要方向之一。使用机器代替人眼来完成判断和检测，具有广阔的应用前景，将采集的目标转换成图像，将信号输送给图像处理软件，采用数字图像处理技术[3]获得目标的各种信息，根据识别的结果来控制设备的运行。

随着数字化程度不断提高，使用机器视觉获取目标的信息实现物体表面裂纹检测[4-7]、物体轮廓形状的检测[8]以及表面伤害程度[9]的检测越来越普遍。

近年来，随着居民收入和对健康关注程度的提高，人们越来越关注食品的安全问题，食品的生产日期是决定食品安全的重要因素，直接决定了食品是否达到可食用的条件[10]，众所周知，乳品的保质期短，因此，保证其生产日期信息清晰准确显得尤为重要。

企业采用喷码机喷印生产日期，在此过程中易出现漏码、模糊码、重叠码、错印码等缺陷[11]产品，需要对这些缺陷产品进行剔除，以防影响企业的品牌及伤害到消费者的健康。传统的方法多采用人工剔除，劳动强度大，效率低，而采用机器视觉[12-13]的方法不会受到轮班、生病等因素的影响，且检测的速度是人眼所达不到的，因此，开发一套生产日期缺陷检测系统，对于企业的自动化生产具有重要的意义，也可极大程度降低企业成本。

本设计提出了一种应用于乳品包装生产日期喷码缺陷的视觉检测方案，拟通过采集乳品外包装的图像，利用图像预处理、ROI区域提取、模板匹配等技术获得生产日期的信息，实现缺陷检测效果，为乳产品质量检测的研究提供参考。

1 检测系统的整体概状

生产日期的检测系统由硬件系统和软件处理系统两大部分组成。

1.1 硬件系统

硬件系统主要包括光源、镜头、工业相机、输送带、相机支架、密封罩等，见图1。

1.1.1 工业相机 工业相机的选择主要考虑分辨率以及传感器，分辨率越高，成像清晰，计算过程复杂，且成本高，传感器分为CCD[14]相机和CMOS相机，综合考虑，本系统选择了Manta G-283B/C型相机(德国Allied Vision公司)。

1. 密封罩 2. 输送带 3. 相机支架 4. 奶盒 5. 光源 6. 相机

1.1.2 镜头 图像采集时，视场、焦距和景深决定了镜头[15]的选型，该检测系统主要获取图像生产日期的信息，因此既需要保证字符清晰但又不可发生畸变，结合工程的实际情况，本系统选用了LM5JCM型镜头(日本Kowa公司)。

1.1.3 光源 光源的稳定性及可见光也影响着成像的质量，可降低算法处理的难度，因此，光源的搭建须合理化。由于LED光源与其他光源相比，在照射角度、范围以及平行度设计等方面，具有更大的灵活性，考虑到镜头的选型及生产线的布局，采用了RIN-90-4R-15X型环形光源(东冠科技公司)，使拍摄出的生产日期喷码字符清晰完整。

1.2 视觉缺陷检测系统的设计

基于视觉检测喷码字符缺陷的系统主要分为图像采集模块以及图像后期处理模块，采集模块主要包括相机的调用以及对开发包的二次开发，该模块的质量直接决定了图像后期处理模块的复杂程度。图像后期处理算法在Visual Studio平台上进行编程，检测乳产品包装的生产日期是否合格，是整个系统核心部分。

2 算法设计

算法主要包括对相机的调用以及图像信息的获取，该算法可以很好检测到生产日期喷码的缺陷，流程见图2。

2.1 缺陷检测关键算法

系统运用模板匹配算法对图像生产日期区域进行定位，对生产日期字符进行校正后，利用垂直投影法对生产日期的字符进行分割，根据模板匹配算法及相似性度量筛选出有缺陷的产品。因此，在系统处理中，对感兴趣的区域快速定位以及对待检测的图像进行缺陷检测，是要解决的主要问题。

2.1.1 模板匹配 模板匹配[16]的主流思路为设置一个模板图像，在待检测图像S(m,n)中通过相关的搜索方法以及相似性度量函数，来找到与模板图像T(h,w)最相似的区域，模板匹配的基本公式见式(1)。

(1)

式中：

图2 检测流程图

E(i,j)——相似度；

H——横坐标搜索范围，0

W——纵坐标搜索范围，0

h——像素点横坐标；

w——像素点纵坐标；

T——模板图像；

S——覆盖子图。

E值越接近100%，匹配度越好。

基于灰度的模板匹配稳定性和可靠性比较优越。利用灰度信息判断2幅图像的相似性，目前存在的相似性度量函数中，最基本的就是互相关法。

(2)

式中：

采用金字塔搜索[17]可以加快搜索速率，其分层的思想使得金字塔从最高层到最底层依次搜索模板，从而达到加速的目的。

2.1.2 垂直投影法 由于生产日期会随着时间的变化而更改喷码的内容，因此需要对生产日期进行字符分割，本研究基于垂直投影[18]的方法对字符进行分割。

垂直投影法原理：投影法是根据图像信息在某方向的投影分布特点来进行检测的方法，即像素的累加，其实是一种统计的方法。像素灰度值为f(x,y)时，其投影函数h(y)的值按式(3)计算。

(3)

式中：

M、N——图像尺寸，像素；

c——图像灰度值。

将投影值进行归一化，其计算公式：

(4)

以像素值为计算单位扫描二值图像，像素点为1的累积结果即为垂直投影的结果，累加图像所有列得到整幅图像的垂直投影。

2.2 算法实现

2.2.1 ROI提取

(1) 创建模板：首先需要建立模板，利用模板匹配进行定位。在创建模板时需要注意的原则：① 选取的字符具有不变性；② 关键点特征越多越好。结合实际条件，选择不变字符“20”作为标准模板。对标准模板进行初步的预处理，消除图像采集中的细小噪声干扰，创建鲁棒性强的模板。

手动选取标准图像见图3(a)，在创建模板前需要对图片进行初步的预处理，图像滤波算法能对图像进行平滑，减少噪声对后续图像处理的影响,在采集到的原始图像中，奶盒表面不同位置明亮程度有所不同，会出现随机性干扰纹理，因此需要对图像噪声进行有效抑制。选择计算邻域均值的线性滤波器去除图像中的细小噪声，提高模板图像鲁棒性，滤波效果见图3(b)，图3(c)中方框区域为模板区域，图3(d)为金字塔模板。

(2) 图像预处理与定位：由于图像在获取过程中，需要对图像模板匹配来实现生产日期的定位，通过寻找模板获得匹配到的左上角坐标(X1，Y1)，根据检测ROI减小图像的有效定义域，降低后续处理的数据量。模板匹配的结果见图4，ROI区域的提取见图5。

图3 模板的创建

图4 模板匹配结果

图5 ROI区域提取

2.2.2 图像分割 利用灰度值的差异性实现生产日期字符与背景的分割是最直接、高效及简单的图像分割方法，利用自适应阈值(大津法)进行分割，分割出字符的部分，见图6。

图6 字符分割

2.2.3 字符校正 在生产日期缺陷检测系统中，生产日期字符存在一定的倾斜度，为后续的字符分割带来了一定的困难，因此在后期的处理之前必须对其进行倾斜校正[19]，通过计算生产日期的倾斜角，然后对生产日期字符图像进行旋转，从而达到生产日期喷码倾斜校正的目的。校正结果见图7。

图7 字符校正

2.2.4 字符分割 对生产日期二值图像进行垂直投影，投影结果见图8。

通过垂直投影的特征，分割字符就可以转化为所需区域的左右边界。在字符的垂直投影图上横向从左到右顺序检测每个坐标点的投影数值，检测到第一个投影数值不为0的坐标点，此坐标点即第一个字符的左侧边界，顺序向右检测，在字符的第一个像素点和最后一个像素点画直线，划开区域，直至分割出每一个字符。

图8 垂直投影结果

Figure 8 Split the result vertically

垂直分割结果见图9，分割图像保存见图10。

图9 垂直分割结果

图10 字符分割图像保存

2.2.5 缺陷检测 缺陷检测的基本原理是将分割后的字符灰度图像与字符模板匹配，提取模板字符在待识别字符的灰度图像上的灰度特征最大相关性，利用互相关法求出相似度，通过设置相关系数的阈值T，若min(R)

在进行缺陷检测之前，需要制造模板库，由于分割的字符需要与所有模板库去匹配，因此需扩大模板库的尺寸模板，保证最大的待检测图像尺寸小于最小的模板尺寸。

基于此，提出一种新的模板库制造方法，以每个标准模板为中心，在其8邻域周围补充0像素值，在保证不丢失信息的前提下，又能保证模板匹配的精度。

标准模板创建结果见图11。

图11 标准模板创建

2.3 结果验证与分析

为了验证算法的严谨性与鲁棒性，随机选择了各种缺陷产品做测试，包括缺码、模糊码。

将模板匹配算法及金字塔分层搜索策略应用于生产日期的缺陷检测中。典型的缺陷图像见图12(a)、(b),模板库图像见图13。在Visual Studio+halcon+opencv平台下实现提出的算法，建立模板库，设置金字塔层数为3，计算分割字符与每个标准模板的最大相似度，设置阈值确定是否为缺陷字符，结果见图14。

图12 缺陷类型

图13 缺陷字符与标准模板

图14 结果显示

取100个含有合格和缺陷的产品进行试验测试，对缺陷检测算法进行了测试。表 1 是对不同缺陷类型及其检测准确率的统计结果，可以看出，对于模糊码缺陷，误检数为2，无漏检，正确率为 96.7%，对缺码缺陷，误检数为1，无漏检，正确率为97.5%，缺陷平均检测准确率为97%。达到预期检测目标。

表1 缺陷检测结果

3 结论

生产日期喷码的缺陷检测，对消费者的健康以及企业的形象有至关重要的影响，传统的人工检测方法具有一定的局限性，且成本高，效率低，本研究设计了一套基于机器视觉的生产日期喷码缺陷检测系统，对图像处理的相关算法进行了研究与编程，结果表明，此算法对生产日期缺码、模糊码等缺陷能进行高效的检测，不仅降低了工厂的生产成本，也提高了出厂产品的良品率，为生产日期的缺陷检测提供了一种新的思路。