基于图像与加速度传感器的电梯开关门检测

时间：2024-09-03

四川长虹电器股份有限公司张霍

0 引言

随着社会经济的不断发展，电梯的使用量不断增加，电梯的开关门故障对人们的出行影响越来越大[1]，实时检测电梯门的开关状态在电梯安全保护系统中至关重要；与此同时，电梯广告投影方式逐渐出现，电梯开关门检测成为其投影控制系统的关键技术。通过图像传感器采集电梯门区域视频序列，并进行图像处理，能够实时检测电梯门的开关量，为安全保护系统与电梯广告投影控制系统提供依据。电梯门边界在开关过程中其到中线的距离变化，能够有效表征电梯的开关状态，因此可以通过检测边界特征的位置变化判断电梯门的开关量。该检测过程可分为3个部分：图像预处理、边界检测和开关判断。

1 预处理

经图像传感器采集的原始图像尺寸较大，噪声偏多，直接对其进行处理将影响图像处理的效率和检测结果的准确性，故需对原始图像进行以下预处理。

1.1 检测区域提取

在图像采集时，相机位于电梯后侧上方中间位置，与轿厢门相对，并成一定角度俯视。采集到的图像包含很多无用的背景信息，且下方存在乘客的干扰。因此，需要将该部分信息去除，以提高图像处理速度和排除干扰。本文将电梯轿厢门上方40cm高度区域作为待检测区，两门闭合处为检测窗口中心，检测区域宽度为随着电梯门边界变化而调整。

1.2 透视变换

摄像头的位置高于轿厢门，视口与轿厢门相对，成一定夹角俯视。摄像头俯视造成轿厢门两条边界并不平行，且在电梯门开关过程中，边界的倾斜角度处于变化状态，不利于后续处理。透视变换可以对摄像头俯视产生的图像畸变进行矫正，使得轿厢门的两边界由非平行状态还原为平行状态。

1.3 图像滤波

在电梯中当光线不充足时，摄像头采集到的图像存在较多噪声[2]，噪声对图像边缘检测有较大影响，同时噪声的干扰会降低边缘检测的速度。经典图像滤波算法有：高斯滤波、均值滤波、中值滤波、双边滤波等。其中高斯滤波与均值滤波属于线性滤波器，中值滤波与双边滤波属于非线性滤波器。线性滤波器会对图像造成一定的模糊，造成细节特征丢失，而非线性滤波器能够更好的保留细节特征。

对一幅620*360分辨率的灰度图像分别采用以上4种滤波算法进行滤波处理，结果如表1所示，从表1数据可以看出，线性滤波器相对于非线性滤波器在运行速度上有着明显优势。在电梯门开关过程中，受运动和相机帧率的影响，其边界特征较模糊，非线性滤波器在模糊边界处会产生部分细小边界；而线性滤波器受边界模糊的影响较小，通过Canny边缘检测可以得到边界清晰的线条，如图3所示。从表1和图1可以看出，均值滤波算法针对电梯门边缘检测在速度和结果上均能够达到良好的效果。

表1 不同滤波算法运行时间

图1 局部图像滤波前后边缘检测效果

2 边界检测

边界检测用于提取电梯门的左右边界线，边界检测的结果直接决定开关量检测的准确率。各类边缘检测算法检测速度与效果不同，在进行边缘检测时需要兼顾速度与效果，以满足检测的实时性与准确性。同时，需要通过直线检测、边界过滤等方式对边缘特征进行筛选，排除干扰信息。

2.1 边缘提取

常用的边缘检测算法有：Roberts算子、Sobel算子、Prewitt算子、Canny算子和Laplacian算子[3，4]。其中Canny算子检测到的边缘最为清晰准确，且为单线条，易于处理[5]；其他算法检测到的边缘较宽，不够清晰，如图2所示。

2.2 边缘特征增强

Canny具有优秀的边缘检测效果，但计算量随着检测精度的提高显著增大。当阈值设定较小时，能够检测到更多的边缘线条，但计算量较大；当阈值设定较大时，能够检测到部分边缘线条，计算量降低，阈值的选取对实时性与准确性影响较大。

图2 不同算法边缘检测

在电梯门开关过程中，门边界运动速度较快时，会导致边界模糊，对模糊边界采用Canny算法进行边缘检测效果不佳或检测不到。轿厢内外环境光不同，待检测区图像直方图为双峰结构，通过二值化处理可以得到清晰的边界，进而通过Canny算法得到边界，如图3所示。

二值化能够补充边缘特征，弥补模糊边缘检测的不稳定性。非二值化能够得到清晰的边缘特征，而二值化能够获得模糊的边缘特征，二者结合能够提高边缘检测的准确性。

最大类间方差法[6]（Otsu算法）是一种自适应阈值分割法，能够获取较优的二值化阈值，将图像二值化[7]。通过将非二值化Canny检测获得的边缘图像与经过Otsu算法二值化后Canny检测获得的边缘图像相叠加，得到融合后的边缘图像，该图像所包含的边缘信息要多于单一方法所得信息，可提高边缘检测准确性。

图3 模糊边界边缘检测

2.3 边界过滤

经边缘检测获取的图像中包含有较多的线条信息，从中筛选出准确的电梯门边界特征需要多种方法的结合，如直线检测、距离突变检测等。

2.3.1 直线检测

直线检测用于将图像边缘特征中的直线边缘提取出来。电梯门边缘经过透视变换形成近似垂直的两条平行线，可结合直线检测与直线倾斜度将其准确提取出来。霍夫（Hough）变换[8]是图像直线检测中的经典算法，能够准确地检测到图像中的直线信息。计算所有直线的倾斜角度，保留倾斜角度在90°±3°之间的直线。电梯门关闭时，存在广告信息干扰的情况下，通过倾斜角度可以过滤掉大多数直线，如图6所示。

图4 垂直直线检测

2.3.2 距离突变检测

距离检测用于通过距离信息对直线进行筛选过滤。电梯门两边界于中线对称，到中线的距离相近，距离的变化能够反映电梯门的开关量。每帧图像可检测到多条垂直直线，其中由乘客、地板、墙壁等产生的干扰线多存在于两门中间区域，门边界多为最大距离对应的直线，因此，可将最大距离对应的直线作为电梯门的边界。检测窗口需略宽于电梯门两边界距离，根据边界的位置变化不断调整检测窗口的大小，以提高计算速度。

当电梯门边界直线未检测到或电梯门上存在干扰线时，相邻帧图像最大距离变化可超过一定阈值，即发生距离突变。当检测到距离突变时，根据电梯门开启与关闭各个阶段的距离变化速率对最大距离进行修正，各阶段距离变化速率经统计计算得到。图5所示为电梯门边界到中线的距离变化曲线，距离由图像中的像素表示，从图中可以看出各阶段的距离变化速度的差异。

图5 距离变化曲线

3 开关判断

电梯门开关判断需要对连续帧的距离变化进行分析，距离的变化能够反映开关量的变化，同时结合加速度传感器能够进一步保障电梯门开关检测的准确性。

3.1 连续帧距离分析

连续帧距离变化反映电梯门开关状态，当距离连续递减，则电梯正在关闭，小于设定关闭阈值Tc时，电梯已关闭；当距离连续递增，则电梯正在打开，大于设定打开阈值To时，电梯已打开。

本文以连续4帧的距离变化为依据，判断电梯门的开关状态。为了避免距离波动造成误判，本文以前后两帧的距离均值作为当前帧的距离，对连续帧距离值进行滤波处理，保证距离平缓变化。

3.2 加速度传感器辅助判断

电梯在运行过程中垂直方向的加速度变化具有一定规律，加速度传感器能够记录电梯运行过程中的加速度变化，根据该加速度变化可以得知电梯正处于升降状态或是停止状态。

电梯在启动和停止的短暂时间中会出现失重或超重，加速度传感器能够测得该过程的加速度变化值。当加速度＞0时，处于超重状态；当加速度＜0，处于失重状态；电梯启动与停止总成对存在的，在电梯启动到停止的一个完整过程中，必然有一个失重，一个超重。此外，当出现连续两个超重或失重状态时，电梯完成换向，电梯先下降再上升时，连续两次超重；电梯先上升再下降时，连续两次失重。根据此规律可以准确判断电梯的运行状态。在电梯运行过程中，受乘客和电梯振动的影响，加速度数据会存在一定的噪声，噪声通过邻域均值滤波可以有效抑制。

加速度变化与电梯开关门存在不同步的现象，电梯启动总是在电梯门闭合之后进行，即门闭合后加速度才变化，此时图像可优先完成电梯门关闭的判断；电梯停止时，加速度先发生变化，停稳后门打开，图像判断开门在加速度判断开门之后发生，如果是在加速度判断开门之前判断的，那么该次判断即为误判，以加速度判断结果为准。同时，加速度能够实时监测电梯的升降运行状况，为电梯安全运行提供数据依据。

4 试验结果及分析

试验采用普通CMOS摄像头用于视频图像获取，摄像头安装于电梯后侧中间上方位置，以一定角度俯视，摄像头设置分辨率640*480，帧率15帧/s，待检测窗口分辨率为250*200，在CPU为Hi3798M V100、主频1.5GHz的Android平台上进行数据处理。

试验对3部不同电梯的开关视频图像进行验证，分别检测100次开关过程得到检测成功率，并统计得到每帧图像的平均运行时间，试验结果如表2所示。电梯2中存在1次未检测到开门的判断，该种情况由电梯内投影图像的干扰引起，通过结合加速度传感器能够有效解决该问题。

表2 电梯开关判断测试

图6 电梯加速度数据滤波

试验同时采集了3部电梯的在运行过程中的加速度变化数据，对加速度数据进行滤波处理并判断电梯的开关状态，如图6所示。根据滤波后的波形图能够得知，该组数据包含3对启停，分别为下降、上升、上升。同时，图6所示数据段在采集时加入了较为剧烈的人为振动干扰，试验结果表明，经过滤波处理能够有效对振动噪声完成过滤，并保证电梯启停加速度的准确性。

综上所述，图像检测方式能够保证检测的实时性，而加速度检测方式能够保证检测的稳定性和准确性，本文方法将两种方式相结合在电梯开关检测中能够兼顾实时性和准确性。