一种双阶段的高速高精度LED固晶识别定位方法

李呈怡 刘化轩 李 俊(东南大学复杂工程系统测量与控制教育部重点实验室 江苏 南京 210096)

0 引 言

LED技术起源于20世纪初，发展迅速，其相关产业随之在全球范围内快速崛起，形成了涵盖衬底、外延、芯片、封装四个环节的完整产业链。在LED封装环节，需要对LED晶粒和杯框进行识别定位。固晶机是在该环节必不可少的关键设备。目前，在多个发达国家，固晶机的性能已经达到很高的水平，以ASM公司生产的AD809全自动LED固晶机为例，该固晶机的固晶速度可以达到每秒6～8次，图像识别定位精度达亚像素级，但这些进口设备的价格均十分高昂。而国内生产的大多数固晶机虽价格便宜但性能较差，多数固晶机的固晶速度只能达到每秒4～6次左右，定位精度也较低。我国LED市场规模日益扩大，根据相关数据分析，其年消费量达1 000亿只以上，但LED封装过程中所使用的固晶设备要么是价格昂贵的进口设备，要么是性能较差的国产低端设备，因此极有必要研制一种高速高精度高性价比的固晶机。

LED固晶机工作的主要过程[1]如下：上料机构滚轮把支架传送到预先设定好的工作位置，由点胶机构在支架上需要固晶的位置点胶；然后取- 固晶臂从原点位置运动到吸晶工作台吸取晶粒，返回原始位置；最后由取- 固晶臂再从原始位置运动到固晶工作台上方对准固晶位置，固晶完成后再返回原始位置。这些过程都需要依赖于视觉系统的固晶识别定位技术，因此设计一种有效的LED固晶目标识别定位算法显得极其重要。李钏宝[2]研究了基于SAD、NCC模板匹配算法的固晶目标识别定位算法，并运用金字塔算法优化了搜索空间。金字塔匹配算法速度很快，但其搜索精度却难以满足要求。陈世哲等[3]提出了一种使用投影特征的基于优势遗传自适应算法的快速固晶目标匹配算法。遗传算法虽然是一种高效的仿生算法，但其搜索结果具有随机性，容易陷入局部最优。曹占伦等[4]采用了粗- 精结合的固晶目标匹配算法,先使用金字塔匹配算法进行粗匹配,继而对匹配结果在设定邻域内用序列阈值序贯相似性检测算法进行精匹配，但是序贯相似性检测法对误差阈值的设定较难把握。

本文提出一种双阶段的识别定位方法。首先使用基于Haar-like特征的弱分类器组成的Adaboost级联分类器快速识别固晶目标以确定其位置候选集实现初步定位，然后对候选集中的目标采用模板匹配的方式从候选集中筛选出目标并实现精确定位。

1 识别定位算法性能需求分析

进口固晶设备性能优良，以德国ASM公司生产的AD809全自动LED固晶机性能为参考，本固晶机的性能指标设计如下：(1) 视觉定位精度不超过固晶目标大小的1/100；(2) 固晶速度：每秒钟完成固晶6～8粒；(3) 为了保证平稳性，运动控制时间不能小于110 ms；(4) 可处理的晶粒尺寸范围0.1～1 mm。

下面将对识别定位算法的性能需求展开分析，算法的性能需求分为两个部分，一是耗时要求，二是精度要求。LED固晶机每秒种固晶6～8粒，则固晶周期大约为125 ms。为了保证后续的取晶顺利，每幅视野中必须保证存在不少于9个晶粒或固晶点位，则一幅视野的固晶总时间约为9×125=1 125 ms。周期可以分为以下几个部分：(1) 运动控制时间不能小于110 ms。那么一幅视野所需时间为9×110=990 ms；(2) 图像采集时间37 ms，传输到电脑的时间10 ms；(3) 每个固晶周期平均的取- 固晶策略用时10 ms。故每幅图像的处理时间需小于1 125-990-47-10=78 ms。

不同的固晶目标误差需要不大于该固晶目标百分之一，而本文实验选取相机型号为MVC360MF,镜头型号为MZDH0805C，其参数是根据1个像素偏差来估计实际定位精度并计算相机视场范围的。因此只要识别定位算法的图像定位偏差不超过1像素就可以满足精度要求。综上，识别定位算法的时间性能必须达到每幅视野的处理时间小于78 ms，精度性能要求图像定位偏差不能大于1像素值。

2 识别定位算法设计

在实际生产中，固晶机视觉系统多用灰度模板匹配实现对固晶目标的识别定位。灰度模板匹配使用图像灰度特征，具有通用性好、精度高的特点，但其计算复杂度高，识别速度较低，经验证明：单纯的模板匹配算法难以满足每幅视野的处理时间小于78 ms的时耗要求。为缩短算法时耗同时保证精度，本文将采用一种基于特征提取的机器学习方法对固晶目标进行训练，得到一种有效的分类器用以高速识别固晶目标。在获得固晶目标之后，结合灰度模板匹配算法对其实现精确定位。分类器的初步识别定位可以缩小模板匹配算法的搜索空间，既可减少计算时耗，又可保证算法精度。

2.1 结合特征提取的级联分类器算法研究

机器学习是一个将数据转换成信息的过程。这里采用机器学习的方法从样本数据里提取规则训练分类器，并利用生成的分类器来识别固晶目标。相比决策树、神经网络等[5]单一的分类算法，组合这些单一分类算法的集成学习分类算法可以获得更加优越的泛化性能。其中，Boosting算法就是一种识别正确率很高的集成学习分类算法。AdaBoost[6]是Boosting算法家族中效率最高且可以非常容易地应用到实际问题中的算法，现常与其他算法结合用于人脸识别[7]。AdaBoost算法的基本思路是寻找若干个粗糙的规则作为弱分类器，继而组合弱分类器成一强分类器。常用的AdaBoost算法有四种，由于四种算法的基本结构相似，本文选用相对简单的Discrete AdaBoost(DAB)分类器。

在基于AdaBoost的级联分类器算法中，每一个弱分类器都是对图像特征值的一个判断。Haar-like特征、HOG特征、LBP特征是特征提取的三大法宝。Haar-like特征是一种简单的矩形特征[8]，它分为边缘特征、线性特征、中心特征和对角线特征。每种特征内都有白色和黑色两种矩形，Haar-like特征值即为白色矩形像素和减去黑色矩形像素和，它反映了图像灰度变化情况。固晶目标(见图1)有晶粒目标与杯框目标，它们具有形状简单、边缘明显、背景单一及同种型号相似度高的特点，这正符合Haar-like矩形特征适用范围；LBP是一种用来描述图像局部纹理特征的算子[9]，它是通过将相邻的像素的灰度值与中心灰度值进行比较，然后生成一个8位二进制数作为该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息，它具有旋转不变性和灰度不变性等显著的优点；HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述算子[10-11]，它通过计算和统计图像局部区域的梯度方向信息作为该局部图像区域的表征，对图像几何的和光学的形变都能保持很好的不变性。

在训练分类器时，应当逐一加入特征，直到它的命中率和错误接受率达到预设的目标值为止。而由于LED固晶目标的样本特征比较单一，可采样本数量有限。故在样本数量不再增加就无法训练出更高层的分类器时应该设置训练时间作为训练停止的条件。结合特征提取的AdaBoost分类器的训练过程见算法1。

算法1结合特征提取的AdaBoost分类器算法

1： 采集正负样本。并预处理成训练数据集Q={(x1,y1),(x2,y2),…(xN,yN)}，其中xi代表样本，yi∈{1，-1}，yi为1表示样本为固晶目标，yi为-1表示样本非固晶目标。

2： 初始化所有训练样例的权重D1(i)=1/N，其中N是样例数，i=1,2,…，N。

3： form=1,2,…，M:

//M表示分类器层数

a) 使用具有权重为Dm的训练数据集，得到本轮最优的弱分类器hm(i)：hm(i)∈{-1,1}，其中每个弱分类器是一个基本特征和阈值的组合。

b) 计算hm(i)在训练集上的分类误差率em，若最小误差率小于0.5，则继续，否则退出。

c) 设置hm(i)的系数am，am表示基本分类器hm(i)在AdaBoosting强分类器中所占的权重。

d) 更新数据点权重，主要是提高误分类样本权重，减小正确分类样本的权重。

4： 组合各弱分类器得到最终的强分类器。

2.2 基于级联分类器和模板匹配的识别定位算法

常用的灰度值模板匹配的相似性度量方法有平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、归一化积相关算法(NCC)[12]。为了减少外界因素的干扰，本文选用抗噪声和干扰能力最强的NCC算法进行后续的精确定位。对于固晶目标候选集中的候选位置(i,j)，位置子图S与固晶目标模板T的相似度为：

固晶目标图像是一种自相关的图像，模板匹配过程中每个固晶目标周围都会得到很多相似度量值很高的匹配位置。为了精确确定固晶目标的位置，本文选取四邻域内的极大值作为固晶目标精确位置候选集。在获得固晶目标的精确位置之后，使用每个精确位置周围四邻域的特征值作为权值，再通过加权平均的方式得到了亚像素精度的位置。

根据以上的讨论，基于级联分类器和模板匹配的固晶目标识别定位算法如下(见算法2)，其中步骤1-3为第一阶段基于级联分类器的初步识别定位，步骤4-5为第二阶段基于模板匹配的精确定位。

算法2基于级联分类器和模板匹配的双阶段固晶目标识别定位算法

1： 采集固晶目标的正负样本，并预处理成训练数据集。

2： 按照算法1的步骤训练分类器。

3： 以模板图像大小的窗口在每幅视野中逐像素移动，根据分类器中的信息判断当前窗口是否为正样本窗口，若为正样本窗口则计算此时的特征值并保存到特征图谱中对应像素位置，否则在图谱对应像素位置保存0。

4： 遍历该基本特征值图谱以确定四邻域内的极大值作为固晶目标精确位置候选集。通过预设的行列间距和NCC模板匹配算法对候选集位置进行进一步的筛选。

5： 使用每个精确位置周围四邻域的特征值作为权值，通过加权平均的方式得到了亚像素精度的位置。

3 实验与结果

本节将设置两个实验，一是通过实验研究上述三种不同的特征组合DAB形成的3种级联分类器对固晶目标的分类性能，从而选出最优组合。二是将使用最优级联分类器的双阶段算法与实际生产中固晶机惯用的NCC模板匹配算法及金字塔搜索优化后的NCC模板匹配算法进行比较。

3.1 级联分类器性能比较

由于本文研究的对象固晶目标来自于实际问题，并没有标准的数据集，所以实验中所用到的训练样本数据集、测试样本数据集皆是自行制作的。实验中几种型号的固晶目标所用训练样本和测试样本个数见表1。实验平台为Dell Optiplex3020安装64位Win10，CPU为Inter Core i3，主频3.4 GHz，4 GB内存。

表1 训练样本和测试样本信息

第一个实验是以5050、3528、2835型杯框为对象研究上述3种级联分类器的性能。前面提到，在训练分类器时，应当逐一加入特征，直到它的检测率和错误率达到预设的目标值或是在样本数量不再增加就无法训练出更高层的分类器为止。实验发现，基于LBP和HOG的分类器可以通过增加层数来达到和基于Haar-like的分类器相近的性能，基于Haar-like和HOG特征的分类器达到一定层数时不增加样本的情况下很难再训练出更高层的分类器。表2至表4给出了三级以内DAB级联分类器结合不同的实验结果，表5给出了训练用时为10 min的DAB级联分类器实验结果，其中命中率表示正样本的正确识别率，其值为正样本中被识别为正样本的个数与正样本之比；错误接受率指的是负样本的错误识别率，其值为负样本中被误识别为正样本的个数与负样本个数之比；‘-’表示10 min以内没能得到结果。

表2 基于haar-like的DAB分类器性能

表3 基于LBP的DAB分类器性能

表4 基于HOG的DAB分类器性能

表5 DAB分类器性能(训练时间为10 min)

训练分类器过程中的命中率和错误接受率是两个重要参数。命中率影响识别定位的精度，由本文的需求分析可知，只要图像定位精度不超过1个像素就可满足精度要求。当分类器命中率在0.85以上时，固晶目标理想位置和四领域像素位置同时未被识别的概率为：(1-0.85)5≈7.6×10-5。可见，只要分类器的命中率在0.85以上就对识别定位精度影响不大。故本文选择用来识别定位的分类器一般为错误接受率在10-5量级而命中率在0.85以上。由表2至表4可知，从命中率和错误接受率来看基于Haar-like的分类器好于基于其他两种特征的分类器。而且基于HOG特征的分类器的性能与固晶目标型号有很大关系,其稳定性不佳。由表5可知，虽然基于LBP和基于HOG的分类器都可以通过增加层数来达到和基于Haar-like分类器相近性能从而满足0.85的正确率和10-5数量级的错误接受率的要求，但两者测试用时都要比基于Haar-like的分类器长。故本文选择基于Haar-like特征的DAB分类器，分类器层数为3层，使用该方法得到的固晶目标识别定位效果见图2。

(a) 0.1 mm晶粒 (b) 5730型杯框

(c) 3528型杯框 (d) 2835型杯框图2 双阶段算法定位效果图

3.2 算法性能比较

视觉系统的识别定位算法是影响固晶机效率和稳定性的最重要因素。实际生产中固晶机使用的算法多采用NCC模板匹配算法。然而，单纯的NCC模板匹配算法实现的识别定位算法运算量较大，为了降低运算量可以采用金字塔搜索法。本文通过计算得到较低分辨率模板图像M2和搜索空间S2，此时利用NCC模板匹配确定固晶目标位置。然后将每个目标位置映射到源图像作为中心，在width=W_template+7，height=H_template+7范围内做精确匹配。

为了比较三种算法的定位精度和时耗，分别对不同的固晶目标使用三种算法，在同一条件下进行多次测量，分别得到了定位的平均偏差和单幅视野固晶目标定位的平均耗时，实验结果见表6。

表6 三种算法的定位偏差(pixel)和单幅图像上的识别定位平均耗时 ms

如表6所示，在相同条件下，DAB识别定位算法和NCC识别定位算法的定位精度都不超过0.8 pixel，由前面的算法需求分析可知只要识别定位算法的定位偏差不超过1 pixel就满足高精度固晶机视觉系统的需求。而金字塔搜索识别定位算法对多个型号的定位偏差大于1 pixel，故不能满足高精度固晶视觉系统的需求。另基于DAB的识别定位算法的单幅图像识别耗时都小于78 ms，而基于NCC的识别定位算法的单幅图像识别耗时都大于78 ms，金字塔搜索法虽然在一定程度上优化了NCC算法的搜索空间，缩短了耗时，但其耗时能否小于78 ms与固晶目标型号有关。综上可得，本文提出的双阶段识别定位算法性能优于NCC模板匹配算法和金字塔搜索法，可以满足高速高精度固晶机性能需求。

4 结 语

为了实现高速高精度的固晶目标识别定位，本文提出了先利用级联分类器对固晶目标进行初步识别定位再用模板匹配的方法实现固晶目标精确定位的思路。实验分析比较了三种特征与DAB算法结合得到的三种级联分类器的性能，由于在满足命中率和错误接受率的前提下基于LBP和HOG特征的分类器的耗时都比基于Haar-like特征的分类器要长，且基于HOG特征的分类器的性能较不稳定，最终选择了Haar-like+DAB级联分类器。以该分类器为核心，本文设计了一种固晶目标识别定位算法，实验证明：该算法能够满足高速高精度固晶机的需求；定位精度不输于、定位速度大大超过灰度模板匹配算法，并且无论定位精度还是速度都优于金字塔搜索识别定位算法。

[1] 全大鹏.LED自动固晶机的固晶机构动力学分析及优化[D].北京:北京交通大学,2012.

[2] 李钊宝.LED晶片检测中的电极定位图像处理及算法研究[D].杭州:中国计量学院,2013.

[3] 陈世哲，刘国栋，浦欣,等.基于优势遗传的自适应遗传算法[J].哈尔滨工业大学学报,2007,39(7):1021- 1024.

[4] 曹占伦，吴小洪，姜永军,等.改进匹配算法在LED粘片设备图像识别中的应用[J].半导体技术,2008,33(3):200- 203.

[5] 陈建凯，王鑫，何强，等.区间值属性的单调决策树算法[J].模式识别与人工智能，2016，29(1):47- 53.

[6] Telgarsky M.A Primal-Dual Convergence Analysis of Boosting[J].Journal of Machine Learning Research,2012,13(2):561- 606.

[7] 方承志，袁海峰．基于CMYK-H-CbCr肤色检测和改进型AdaBoost算法的人脸检测[J]．计算机应用与软件，2017，34(8)：167- 172．

[8] 张晓红，刘岩，姚鸿勋.基于Haar-like特征的空间金字塔的猫脸识别[J].智能计算机与应用，2015，5(4):104- 107.

[9] 董文彧，冯瑞，郭跃飞．基于均匀LBP和稀疏编码的人脸识别算法[J]．计算机应用与软件，2015，32(1)：175- 178.

[10] Dayanda K N C,Suresh K V.HOG-PCA descriptor with optical flow based human detection and tracking[C]//Proceedings of 2014 IEEE International Conference on Communication and Signal Processing.Melmaruvathur,India,2014:900- 904.

[11] 蒋美云，郭雷，徐梦珠．基于HOG算子的手型特征提取算法[J]．计算机应用与软件，2015，32(12)：326- 329.

[12] Zhou J,Du J,Zhu S.Continues target tracking based on NCC and Kalman algorithm[C]//Proceedings of 2014 IEEE International Conference on Cloud Computing and Intelligence System.Hongkong,China,2014:634- 638.