基于机器视觉技术的电梯空间超载检测方法

郎 坤，赵 静，边智健

(大连海事大学航运经济与管理学院，大连 116000)

在城市的高楼大厦中，升降式电梯的使用非常普遍，但是电梯的频繁启动和停止造成了电能不必要的浪费和电梯运行效率的下降[1]。传统电梯超载检测主要是通过判断压力传感器获得的载重信号来进行检测。但是，当厢体空间已经被人或物体占满且重量未达到上限时，电梯并不会发出警报，由此会增加电梯的无效停靠次数并为乘客增加不必要的候梯时间[2]。因此，研究一种改进的超载检测方法，以减少电机启停次数，对于提高电梯运行效率以及减少能耗具有积极的意义。

众所周知，摄像头是目前电梯轿厢内的必备设备，无需额外引入其他传感器即可轻松获取轿厢内的监控视频图像[3]。利用机器视觉技术，通过获取电梯轿厢内的人数[4]，从而判断电梯空间是否超载，是较为常见的方法。金晓磊等[3]采用改进的随机Hough变换检测圆算法对电梯轿厢内人数进行检测。靳海燕等[5]采用运动图像判断每个乘客运动方向，从而确定电梯乘客的进出人数，计算出当前轿厢内的乘客数。曹伟东等[6]对处理后的图像进行人头特征的拟合，从而对人员进行计数。但以上方法仅根据人数来判断电梯是否超载，无法识别由物体引起的空间超载的情况。

针对电梯空间超载情况的判断，学者们展开了进一步的研究，提出采用红外线、机器视觉技术对电梯轿厢内人或物体的体积进行测量，从而判断电梯空间是否超载[7-8]。张雷等[7]采用在电梯空间内建立红外点阵的方法，对电梯空间占有率进行测量。谭飞刚等[8]采用将至少两台摄像机在同一时间拍摄得到的图像进行图像融合的方法，通过对图像进行处理计算出电梯轿厢的空间占有率。这类直接根据电梯内人或物体的体积与电梯空间体积的占比来判断空间是否超载的方法，存在一定的局限性。例如，针对一些实际体积较小但占地面积较大的物体，使用这种方法来判断电梯是否能继续容纳人或物体时，会产生较大偏差。因此，判断电梯空间是否真正满载(即能否再容纳一个人或物体)的依据是轿厢内人或物体的垂直投影面积与轿厢的地面面积之比是否达到满载阈值。

基于已有的研究成果，同时考虑重量和空间占有率两个因素，提出了一种空间超载检测方法，既保证电梯的安全性[9]，又可以提高电梯的运行效率。首先将一个摄像头固定在电梯轿厢顶部中央位置以获取原始图像，将预处理后的图像进行前背景分离，得到二值图像，然后利用改良的形态学方法处理图像，最后计算得出空间占有率，以期能准确判断电梯空间是否超载，有效提高电梯运行效率，且成本低、安装方便。

1 新型电梯超载检测方法设计

在传统超载检测方法的基础上，设计了一种电梯超载检测方法——基于机器视觉技术的电梯空间超载检测方法。其基本原理如下：当乘客进入电梯后，首先利用重力超载检测方法，借助电梯的压力传感器检测重量是否超载。若重量超载，电梯轿厢内的报警系统启动；若重量未超载，则电梯轿厢门关闭，同时判断重量是否达到上限。若重量已达上限，则下一目标楼层不停靠；若重量未达上限，则利用空间超载检测方法测量空间占有率是否超过电梯空间满载值，若超过空间满载值，则下一目标楼层不停靠；否则，电梯照常停靠。具体流程如图1所示。

本文方法将通过对每次电梯轿厢门关闭后某一时刻的图像进行图像处理，然后计算出人或物体的垂直投影面积与整个电梯轿厢的地面面积之比作为电梯轿厢内空间占有率。

2 图像处理

新型空间超载检测方法是基于机器视觉技术的，因此，图像处理至关重要。

电梯空间图像处理可分为以下5步：第1步，图像采集。采用CCD相机采集电梯轿厢图像数据,相机安装位置如图2所示；第2步，图像预处理。通过对图像进行预处理减弱噪声干扰对图像的影响，提高图片质量；第3步，背景建模。采用最大类间方差法(又称OTSU算法)[10]将图像前景与背景分离，用于提取目标的面积特征；第4步，形态学处理[11]。由于所提取的目标图像存在图像污染，因此通过进行形态学处理消除背景中由于环境因素影响导致的噪声，并且填充前景中由于物体表面材质造成的空洞，在不改变图像形态的前提下，去除干扰面积统计的因素；第5步，超载检测。计算图像中前景面积占比，得到空间占有率，可为电梯空间超载的判断提供依据。

图1 新型电梯超载检测流程图Fig.1 Flow chart of new elevator overload detection

图2 相机安装位置示意图Fig.2 Schematic diagram of camera installation location

2.1 中值滤波

使用相机采集原始图像时，由于受到工作环境和感光元件过热的影响，会导致图像具有大量噪声。噪声的存在会使图像质量降低、特征模糊，影响图像分析结果。因此需要对原始图像进行预处理，消除图像噪声。常用的去噪方法有线性滤波法(如均值滤波、高斯滤波等)和非线性滤波法(如中值滤波、双边滤波等)。

电梯轿厢中内部的相机端和外部的控制端接地时，由于地电阻和电缆外皮电阻的存在，两者之间会产生电位差，使得电梯内采集的图像产生椒盐噪声[12-13]。线性滤波在处理像素邻域内包含噪声的图像问题时，总会或多或少的受到噪声的干扰，从而影响该点像素值的计算，但在中值滤波中，噪声点的值则通常被该点的邻域中各点值的中值代替，因此能有效降低噪声点的影响，特别是对椒盐噪声具有良好的过滤作用[14-15]。而且同线性滤波相比，中值滤波在降噪的同时，能够保护信号的边缘，引起模糊效应降低[16]。中值滤波是在“最小绝对误差”准则下的最优滤波。因此，采用中值滤波方法对图像进行预处理。

中值滤波的原理是将图像中每个点及其八邻域内的像素点作为一个滑动窗口(图3)，对3×3窗口内各个像素点进行排序，然后将中值赋值给窗口中心点，可达到去除孤立噪声点的效果。中值滤波算法的描述如图4所示。

图3 中值滤波滑动窗口示意图Fig.3 Schematic diagram of median filter sliding window

图4 中值滤波算法实现流程图Fig.4 Flow chart of median filter algorithm

2.2 背景建模

为了准确提取轿厢内目标的面积特征，采用OTSU算法对图片进行前背景分离。前背景分离的常用方法是阈值分割法，其中对阈值的选取尤为关键。一般阈值分割法是通过求目标函数的最大值来确定阈值[17]。然而，电梯轿厢内环境复杂，采用上述方法确定阈值缺乏自适应性，会产生噪声干扰和过分割现象，而OTSU算法是一种自适应阈值确定的方法，自适应阈值的选取不会影响目标的完整性，且对环境噪声的敏感度低。

OTSU算法是以最小二乘法为基础推导而来[18]，该方法通过设置图像灰度阈值，逐个判断图像中像素点的特征属性能否满足阈值要求，据此将各像素点划分至前景区域或背景区域，进而生成二值图像。在分割过程中，若将图像像素点错分成前景区域或背景区域都会导致图像中两部分的差别减小。只有当选择最大类间方差作为阈值时，分割后所产生的错分概率最小，此阈值即为最佳阈值。OTSU算法描述如图5所示。

图5 OTSU算法实现流程图Fig.5 OTSU algorithm implementation flow chart

2.3 改良形态学处理

经过阈值分割后提取的二值图像，存在部分噪声，会对后续的检测造成不良影响。这些噪声的来源有两种：一是背景区域中由阴影生成的小连通区域，二是前景区域中由物体表面材质的颜色等因素导致图像阈值分割后产生的空洞。中值滤波等方法主要用于处理灰度图或彩色图像的噪声，对于二值图像的噪声，主要采用形态学方法进行处理。

传统的形态学方法是基于集合代数理论，采用膨胀、腐蚀、开启、闭合4种基本运算的组合来处理图像，提取出图像的形状特征。

然而，采用传统的形态学方法对二值图像进行噪声处理的结果并不理想。如图6所示，该方法对于小噪声的处理效果较好，而对于大噪声(如大块的连通区域和空洞)处理效果不佳，会导致统计结果出现偏差。此外，针对受噪声影响程度不同的图片，需要对其进行不同次数的腐蚀、膨胀操作，并且操作顺序也存在差别，这将增加系统操作的复杂度。

图6 传统形态学处理效果图Fig.6 Effect picture of traditional morphological processing

因此，采用改良的形态学方法来处理二值图像中的噪声。针对两类图像噪声，其处理过程分为两个部分：去除小连通区域和填充局部空洞。

2.3.1 去除小连通区域

利用连通区域标记[19]的基本思想去除二值图像中的小连通区域。对于连通区域的判断，有两种方法：四邻域连通和八邻域连通。

在本文场景中，采用四邻域连通可更加准确地判断连通区域，有利于准确地计算出空间占有率。如图7所示，四邻域连通判断是对中心点上、下、左、右4个紧邻的位置进行判断，如果这4个位置上的点的像素值同中心点的像素值一致，则认为该点与中心点相连通，否则，认为该中心点是孤立点。

在二值图像的噪声处理中，首先，采用四邻域连通法搜寻出所有连通区域，然后，判断连通区域的大小，对于小的连通区域，可直接删除。

在该方法的具体实现过程中，为图像的每个像素点分配一个检验状态标签，其中，数字0、1、2、3分8别代表未检查状态、正在检查状态、检查不合格(需要反转颜色)状态、检查合格或不需检查状态。首先，将输入的二值图像每个像素点的检验状态初始化为0。然后遍历图像所有的像素点，将邻域压入容器进行检查，并不断更新邻域点的检查标签，避免重复检查。最后判断连通区域大小，并反转面积较小的连通区域。

图7 四邻域示意图Fig.7 Schematic diagram of the four-neighborhood

采用这种方法可有效去除背景中由小连通区域产生的噪声，而不会影响到图像中的其他区域。

2.3.2 填充局部空洞

由于前景区域内局部空洞的大小是难以预知的，因此，其不能作为小连通区域被去除。考虑到填充局部空洞的最终目的是填充图像中的闭合区域，所以从整体的角度出发，先获取二值图像中最外层轮廓再进行区域填充，从而消除局部空洞。

试验采用Suzuki85算法来检索图像的最外层轮廓[20]。输入的二值图像为0-1图像，假定图像背景像素点的值为0，从上至下、从左至右对图像进行扫描，用点(i,j)表示位于第i行第j列的像素点，当且仅当满足如下条件(1)或条件(2)时，位于值为0的像素点右侧的点(i,j)即可判定为最外层的边界点。

(1)点(i,j)左侧的所有像素点的值都为0。

(2)在扫描过程中最新遇到的轮廓点(i,h)位于外边界上，点(i,h+1)属于背景。

待轮廓的边界起始点被确定后，跟踪以起始点为中心的八邻域区域，如图8所示，从中心点右侧开始标记，按照顺时针方向标号0～7。从标号0开始检测各像素点的值是否为非0，将最先出现的非0像素点判定为边界点，并以该点为中心点，采用同样的方法继续检测各像素点，直至新的中心点和起始点相重合，即可终止本条轮廓线的跟踪。最后以最外层轮廓线为边界，进行区域填充。该方法可以简便高效地实现对局部空洞的消除。

图8 八邻域标记示意图Fig.8 Schematic diagram of the eight-neighborhood

2.4 图像处理实验

基于VC++14.0开发平台和计算机视觉库OpenCV对所提图像处理算法进行仿真试验，并通过模拟电梯环境进行算法效果检验。

首先，利用中值滤波算法对图像做去噪处理。图9(a)为含有椒盐噪声的原始图像，经过中值滤波算法处理后，得到图9(b)。通过对比，可见，中值滤波法具有理想的降噪能力。

1995年，民政部确定了第一批国家级爱国主义教育基地。遴选、确定国家级爱国主义教育基地的依据主要有三条：（1）能反映中华民族悠久的历史文化；（2）能反映近代中国遭受帝国主义侵略和我国人民反抗侵略英勇斗争的历史；（3）能反映中国人民在中国共产党领导下进行革命的历程和社会主义现代化建设取得的伟大成就。爱国主义教育基地“真实记录了中华民族悠久的历史文化，展现了近代中国人民英勇奋斗的壮丽篇章，反映了中国共产党人的丰功伟业和社会主义现代化建设的丰硕成果”[3]。爱国主义教育基地承载的这些教育主题内容与“纲要”课程的主题内容高度一致。

图9 算法处理后的效果Fig.9 Effect after algorithm processing

然后，采用OTSU算法进行图像前背景分离，对提取的前景目标图像进行形态学处理，填充空洞，去除离散点，结果如图10所示。通过对比图10(d)与图10(e)，可明显看出，采用改良的形态学方法处理后的图像可被有效填充空洞和去除离散点，并且不影响图像整体效果。

最后，通过计算前景图像面积与整体图像的面积之比得到空间占有率，根据电梯的空间满载阈值，判断电梯是否超载。

试验测得的空间占有率结果如表1所示，即此时电梯空间的占有率为35.939 9%。若采用传统的形态学方法处理图像，图像则无法被有效地填充空洞并去除离散点，从而会导致计算所得空间占有率有偏差，进而会影响在电梯实际运行中对空间超载状态的判断。

图10 实测结果Fig.10 Measured results

表1 空间占有率计算结果Table 1 Calculation results of space occupancy

3 仿真试验

3.1 实例背景

选取湖北宜昌某宾馆的乘客电梯A作为试验对象，通过仿真试验对电梯的运行效率进行分析。

乘客电梯A的型号为TKJW1000-VVVF，电梯参数设置如表2所示。宾馆共6层(n=6)，每层高4 m，则电梯在相邻楼层匀速运行所需时间为2 s；电梯加速度为1 m/s2，则若电梯停靠加速(或减速)时间为2 s，加速(或减速)过程中运行2 m。

表2 湖北宜昌某宾馆乘客电梯A的参数设置Table 2 Parameter setting of passenger elevator A in a hotel in Yichang,Hubei Province

3.2 模拟试验

针对电梯A的运行情况进行仿真试验，假设条件如下：

(1)在第2、3、4、5层各有等候乘坐电梯且携带行李的4名宾馆乘客，其目标楼层均为第1层。

(2)在第6层有两位推着清洁车的宾馆保洁人员，其进入电梯后，重量未达到上限，但电梯不再有空余空间搭载乘客。

(3)假设每位乘客的体重相等，均为75 kg，行李重量相等均为10 kg且占有一定空间。则按照电梯载重限制，理论上一次最多只能搭载15名携带行李的乘客。

(4)由于电梯空间有限，一次最多只能搭载8名携带行李的乘客。

(5)假设每位乘客进入(离开)电梯所需的时间为2 s，宾馆保洁人员推车进入(离开)电梯所需的时间为6 s。

(6)电梯轿厢初始位置停靠在第6层。

根据以上假设，借助C++图形用户界面开发框架Qt，编程实现电梯仿真模型，模拟实际电梯运行情况。为简化模型，在仿真试验中，仅计算电梯A搭载乘客向下运行的时间，不计其上行时间。仿真结果如下。

(1)若电梯A运行时采用传统超载检测方法，A的运行情况及运行效率分别如表3、表4所示。

(2)若电梯A运行时采用基于机器视觉的超载检测方法，A的运行情况及运行效率分别如表5、表6所示。

表3 采用传统超载检测方法的电梯A运行情况Table 3 The operation of elevator A with traditional overload detection method

表4 采用传统超载检测方法的电梯A运行效率Table 4 The operation efficiency of elevator A with traditional overload detection method

表5 采用基于机器视觉的超载检测方法电梯运行情况Table 5 Operation of the elevator with the overload detection method based on machine vision

表6 采用基于机器视觉的超载检测方法电梯运行效率Table 6 Operation efficiency of the elevator with the overload detection method based on machine vision

仿真结果表明，在电梯运行趟数相同的情况下，采用传统超载检测方法的电梯停靠总次数为14次，一共需要216 s。采用基于机器视觉的超载检测方法的电梯停靠总次数减少到8次，共需要168 s，时间效率可提升22.2%。

由此可见，在完成相同工作量的前提下，考虑到空间超载对电梯运行效率的影响，采用基于机器视觉的超载检测方法，可减少不必要的电梯停靠次数，不仅可以提高电梯运行效率，还可节省乘客乘梯时间，提高其乘梯满意度。

4 结论

为提高电梯运行效率、节省能源，考虑到空间超载对电梯运行效率的影响，在传统超载检测方法的基础上，提出了基于机器视觉技术的新型电梯空间检测方法。试验采用图像处理技术，包括中值滤波、背景建模、改良的形态学处理等，计算出电梯轿厢内乘客和物体垂直投影面的面积占电梯轿厢地面面积的占比，判断其是否超过阈值，从而判断其空间是否超载。通过采用改良的形态学处理方法，可减少传统形态学处理所引起的误差，消除机器视觉中光照以及环境背景对图像处理结果的影响，使测出的空间占有率更加准确。仿真试验结果表明，采用基于机器视觉的超载检测方法，可减少不必要的电梯停靠次数，提升时间效率。

试验方法不仅适用于客梯，还适用于货梯、病房电梯等特殊电梯，其可提高电梯运行效率、节约能源，并可提升乘客的满意度，具有广阔的应用前景。