基于机器视觉的小方坯端面手写字符自动识别系统

石桂芬,何永辉,吴振平

(宝山钢铁股份有限公司1.中央研究院,上海 201999; 2.钢管条钢事业部,上海 201900)

线材是钢铁工业的重要产品之一。电炉小方坯直接轧制线材生产工艺,由于未经过初轧开坯环节,成本很占优势,成为工艺降本的手段,近年来在国内外已得到较好发展,但同时由于偏析等技术瓶颈,也限制该工艺路线的推广使用。

目前的技术手段,当发生质量异常时,由于信息无法按支追溯到坯,对异常原因分析及改进均带来很大局限,因此,按支跟踪非常重要。实现按支跟踪,通常做法是在入炉前对钢坯端部描号进行识别。

目前,宝钢电炉向小方坯采用人工描号方式,由人工在现场对方坯端面字符进行识别,实现按支跟踪。劳动强度大,效率低。

1 机器视觉技术与字符识别

宝钢高速线材生产线引进了许多当今国际先进水平的生产设备和生产技术,主要生产钢种为钢帘线、合金冷镦钢、弹簧钢、硬线钢等优质盘条。采用机器视觉技术实现方坯端面字符识别,从而达到按支跟踪的目的,势在必行。

不同于传统的字符识别,工业领域的手工描号识别过程中通常存在图像背景复杂、分辨率低下、字体多样以及分布随意等难点。上海理工大学刘振等利用ISOM AP算法实现对手写字符的识别[1],中南民族大学邹煜等探讨深度神经网络的单层训练中特征抽取方法[2],上海理工大学丁蒙等使用改进的卷积神经网络模型在MNIST数据集中识别准确率提升到 99.65%[3]。随着模式识别和人工智能时代的到来,字符识别技术,特别针对人工描号的识别技术,已经逐步趋于成熟。另外,随着大数据时代的到来,深度学习在手工描号识别领域得到了成功的应用。

本文字符识别对象为电炉小方坯端面人工描号。电炉小方坯描号规则是“炉号+流号”,方坯端面图像如图1所示,第一排为6位炉号,第二排为流号。团队自主开发出方坯端面智能识别系统,实现对方坯端面手写字符的正确识别。

图1 小方坯端面字符图像Fig.1 Image of billet end

2 小方坯端面手写字符自动识别系统硬件实现

本系统采用机器视觉技术实现方坯端面字符识别,将相机和光源等构成的光学成像系统安装在生产线,利用外触发方式实现对小方坯端面的实时成像。

2.1 系统基本架构

结合现场生产条件,实现了系统硬件结构设计,图2为字符识别系统硬件结构框图。

图2 系统硬件结构框图Fig.2 System hardware architecture

相机和光源均以一定角度安装在轨道的中部,在轨道中部安装一对光电对管作为触发器。光电对管检测到有方坯离开,则触发相机,对方坯端部流号进行拍照。相机对方坯端面成像,图像通过以太网被采集到服务器后,再由图像处理计算机实现对采集到的端面图象进行处理,识别软件对字符进行识别。

系统可及时发现炉号不正确的钢坯,避免混钢,即可实现对方坯的按支跟踪。

2.2 光学成像系统设计

光学成像系统包含光源和高速工业相机、镜头、多自由度高精度相机调节机构等设备组成。

光源设计结构如图3所示。光源为两个常亮LED光源,架在方坯拍照位置的两侧,在正上方对方坯端部进行打光,利用大角度来减弱反光。

图3 光源照射设计Fig.3 Illumination design of light source

高速工业相机采用500万像素面阵相机,成像的分辨率设计为0.2 mm/pixel,相机物距为3 000 mm,以一定成像角度安装在坯料运动轨道的正上方,并确保成像范围对方坯尾部端面全覆盖。

3 小方坯端面手写字符自动识别系统软件实现

软件系统包括以下几个部分:图像处理及识别软件模块、通讯软件模块和人机接口界面模块,见图4。

图4 系统软件模块构成Fig.4 System software modules organization

3.1 图像处理及识别模块

图像处理及识别模块是软件系统的核心组成部分,它配置在服务器端,完成图像采集、字符识别和信号控制等一系列核心功能,其工作流程见图5。

图5 图像处理及识别软件模块工作流程Fig.5 Workflow for image processing and recognition software module

(1) 图像采集模块。图像采集模块是软件与工业相机的链接模块,该模块从工业相机内层中读取图像,用于显示和供后续步骤处理。

(2) 字符识别模块。首先对原始图像运用梯度算法进行降噪和增强预处理,突出被检测对象,弱化干扰对象;再通过传统的canny算子对字符提取边缘,再对前景进行闭运算以得到更加连续的边缘;最后将边缘图像和原图像对应叠加,叠加得到的图像作为YOLOv3深度学习模型的输入图像。YOLOv3是一个目标检测模型,其能在保证较高准确率的情况下进行目标物的快速检测,与此同时能较为准确地分辨出背景与目标物。然后,模型输出一个张量。在经过NMS方法筛选后(使用NMS的作用是删除具有较大重复率的候选框),最后将置信度高的候选框和其分类结果一同回归到原始图像上。

(3) 信号控制模块。由于工业相机对物距的要求,需要被拍摄物离相机的位置固定。所以在固定位置装1台激光对射开关,当钢坯尾部离开光电对射管所在的位置时,对射开关的信号从“0”变为“1”,这时服务器会检测到相应的信号,触发相机进行拍照。

3.2 通讯软件模块

通讯软件运行在系统处理单元上,提供本系统和二级的交互,以及服务器和客户端的交互。服务器软件包含以下两个部分:

(1) 接收二级电文模块。主要完成两个功能,完成系统与二级通讯,接收一个钢坯池,里面含有当前的计划炉号。

(2) 发送识别结果。将服务器检测结果发送到终端计算机。

3.3 人机接口界面模块

人机接口界面模块运行在现场操作终端计算机上,是本系统与用户交互的界面,也是识别结果的呈现界面,见图6。

图6 在线识别系统的主界面Fig.6 System interface for online watch and control

(1) 图像显示。显示拍摄到的钢坯端面图像。

(2) 识别结果显示。显示深度学习识别的端面字符结果,用户可以方便地查看当前识别的钢坯号是否正确。

(3) 报警控制。若识别出的字符与计划炉号不同,则系统自动报警,由现场操作人员确认并及时解决该问题。

4 小方坯端面手写字符自动识别系统检测结果

小方坯端部人工描号字符能够被系统准确地识别出,识别结果标注在源图像上。系统的识别结果如图7所示。

图7 端面字符识别结果Fig.7 End face character recognition results

5 结语

目前,小方坯端面手写字符自动识别系统已经上线运行1年多,运行状况良好,能够有效识别出电炉向小方坯端面手写字符,实现在线综合识别率达到98%以上,大幅遏制了现场混钢现象,提升了企业的自动化程度和生产效率。