视觉数控安全监控技术研究

惠国保，李东波，童一飞，王引

(1.南京理工大学机械工程学院，江苏南京210094;2.东南大学机械工程学院，江苏南京211189)

随着数控机床加工制造业的发展，以人为本的发展原则的深入贯彻，对数控加工安全性的要求不断提高。一般数控机床加工安全方法有加机床防护罩或红外线感应装置。机床防护罩因其简单有效而应用比较普遍，但缺点有不利于观察加工情况、笨重、材料费和维修保养费较高。红外线感应装置近几年应用较多，但易受热源光源、环境温度和射频辐射等影响。随着计算机视觉的发展，将视觉监控技术应用于数控机床安全监控是一个新的突破，不仅进一步提升了数控机床的自动化水平，而且视觉安全监控不受环境的影响、成本低廉、效果明显。

以传统立柱式铣床为例，将CCD 相机安装在主轴的前上方，实时捕获工作台、工件、刀具及周围环境等信息，如图1所示。

捕获到图像信息后，先将图像分区，只对图像中各个区域里的像素作为重点观察对象。这些像素的像素值(灰度值或RGB 值)每帧是不一样的，统计学上是服从正态分布。由于车间灯光和机床震动等因素，使得一个像素在不同的条件下有不同的正态分布。在一般情况下将这些分布叠加在一起就构成了该像素的背景模型，背景模型的参数就刻画了这个像素特性［1］。

图1 视觉监控相机捕获到的图像及分区示意图

通过算法，对每一幅所捕获的图像帧进行学习，得到每个像素背景模型的参数估计。利用这个像素的背景模型，就可以预测下一个帧的像素值，再与下一帧实际的像素值比较，根据判定准则，就可以判断该像素值是属于前景还是背景。无论是前景还是背景，新帧的像素值仍然可以作为该像素背景模型学习的材料，以更新背景模型。

这样就能从复杂的背景中提取出前景。对分区好的图像，在相应的区域里检测到一定量的前景像素，则视觉系统就会给数控系统发送出相应的信号，实现计算机视觉对机床安全加工的监控。下面首先简单介绍视频图像分区，接着介绍背景模型建立，然后再对背景模型分析，最后通过实验验证。

1 图像分区

对图像划分区域，是为了实现视觉监控多级响应功能，方便对区域内的像素构建背景模型。假设图像的坐标原点在左上角，在视频图像中划分出自由区域、触及危险报警区域和触及运行停止区域，如图1所示。

(1)自由区域

该区域是操作员可自由活动区域，这种情形下，视觉系统不会发送报警或停止运行等信号。数控加工过程中，大多数加工状态是处在这种情形下。如图2所示。

图2 运动前景自由区域

(2)触及报警区域

当人体某个部位触及到该区域，视觉系统会发送危险报警信号给数控系统，数控系统收到信号后，立即执行喇叭报警。这种情况下，机床加工仍在运行，但报警声不断，提示操作员注意安全。如图3所示。

图3 运出前景在危险报警区域

(3)触及运动停止区域

在不闻报警的情况下，当人体某部位触及到该区域时，视觉系统就会给数控系统发送停机信号，数控系统收到该信号，立即停机，并保存好当前加工状况数据，处于待机状态。有了这个监控区域，才能彻底地避免人员的伤亡。如图4所示。

图4 运动前景在运动停止区域

总之，通过对监控视频图像分区后，能使数控系统具有多级控制功能，只需重点观察各分区内像素的变化，大大提高计算效率。实际上，只建立触及报警区域和触及运行停止区域两个背景模型。为了实现对区域的灵活监控，每块区域的大小都是可以调整。

2 背景模型

2.1 背景模型建立

主要在监控区域(报警区域和运行停止区域)对每个像素背景学习，构造背景模型。在该区域的每个像素值都是随时间变化的，是一个序列。在不考虑灯光和机床震动影响的情况下，像素值虽然是变化的，但是方差较小。若是黑白相机，像素值就是灰度值;若是彩色相机，则像素值是RGB 组成的向量。这里采用彩色图像，而且假定RGB 三色相互独立。对某一像素p 在任一时刻t 可以知道它的历史像素值序列Sp，t，Sp，t= {Zp，1，Zp，2，…，Zp，t}，其中Zi是像素值，1≤i≤t。认为这些数值服从高斯分布，其均值和方差分别为:

若考虑灯光、机床震动等因素，就会有多个高斯分布，将这些高斯分布根据权重叠加在一起就构成了该像素最终的背景模型，也即混合高斯模型［2］。混合高斯模型的高斯分布个数由以下两种情况确定:

(1)灯光变化。假设灯光照度稳定的话，不开机床灯和开机床灯的两种情况，就产生了两个高斯分布。

(2)机床震动。每台机床震动频率不同，这种情况是客观存在的。对一种机床，有其固定震动频率nm。相机拍摄图片也有频率(比如普通摄像机1 s 有30 帧)nc。当然当nm=nc是理想情况，摄像头每次拍摄的照片都是机床相同位置，即每帧像素反映的背景是同一点。但实际上，这种理想情况几乎不可能出现，要么nm＞nc，要么nm＜nc。下面分两种情况进行讨论:

①当nm＞nc时，机床震动频率大于拍摄频率，一帧拍摄期间机床已经震动了几个周期了，所以可以认为每帧拍摄的图片相同。这种情况下，最后背景模型总共有3 个高斯分布叠加。

②当nm＜nc时，机床震动频率小于拍摄频率，机床震动一个周期期间拍摄了几个帧。假如机床振幅为A，摄像机在一个震动周期里的震速为在一个帧拍摄期间，振幅上移动的距离为那么在机床一个震动周期里拍摄了帧，取s 整数为[ s] 。这种情况下，最后背景模型总共有[ s] +2 个高斯分布叠加。

综上分析，背景模型高斯分布个数为:

在实际中，像素的刷新值可能会改变高斯分布的个数，但最少不会低于K 个。

摄像机的每个帧都会刷新某像素点的值，这个新值要么是服从混合高斯模型的某个高斯分布，要么是不服从混合高斯模型的任一高斯分布。这时，就要以该像素值确定一个新的高斯分布，并叠加到混合高斯模型里。

所以就需要将像素值与这K 个高斯分布进行匹配。所谓新像素值与某个高斯分布匹配是指该像素值在这个高斯分布标准偏差β 以内。β 是指某个新数对某个高斯分布扰动很小的阈值［3］。像素的新值是否能在背景模式里找到匹配的高斯分布，就要对新像素值Zp，t+1与这K 个高斯分布进行匹配，直到与这K 个高斯分布匹配完为止。

如果Zp，t+1在背景模型里找不到一个分布与其匹配，由该像素值确定一个新的分布。这个新的高斯分布的均值为该新像素值，开始时方差较大，权重较低，与其他新像素值能匹配上的概率很低。若这时混合高斯分布个数为K，且K =K +1，如果Zp，t+1能与背景模型中的一个高斯分布匹配起来，则背景模型高斯分布的权重就要重新定义。根据EM 算法［4］，在时刻t，假设第K 个分布的优先权重为ωi，t(1 ＜i ＜K)，定义如下:

其中:σt是在时刻t 的协方差，而且∑iωi，t= 1 。

定义增量学习效率为ε，指某个分布与一个新像素值匹配的话，该分布的权重的变化值与原权重值的比值，即。

经过一次学习，匹配上的分布的权重增加，未匹配上的其余分布权重相应都有减少，同时改变了该像素背景模型。未匹配上的分布的均值和方差都不变，匹配上的第i 个分布的均值和方差更新如下:

其中:T 是确定背景模型的阈值。如果T 值越小，背景模型为单峰，指由权重最大的M 个分布组合为背景模型。如果T 值越大，反复的背景变化会引起多峰分布，这表示背景接受更大范围色度的分割。

2.2 背景模型分析

这个背景模型的主要特点是当某个前景变成背景时，它不会对已有背景模型造成改变。最初像素色度值被保留在混合背景模型里，直到这个像素值匹配的高斯分布的权重低于第K 个分布的权重时，或观察到像素色度有新的变化时，背景模型才会变化［5］。所以，只要有足够长时间的背景学习，一个前景就会变为背景;或者，一个背景产生了运动，它就变成了前景，但仍然是以过去背景的均值和方差来描述分布的。新的前景权重越低，将会迅速地再次融入到背景中。与文献［2］所提的方法不同的是高斯混合模型的分布个数是不固定的，根据新像素值与高斯分布匹配的结果确定新的混合模型高斯分布个数，而且，每个分布的权重也不是固定的，是根据排序自动调整的。

当某个分布趋于明显，那么方差就会减小，权重值就会增大，在背景分布的排序中会趋向前列。背景模型高斯分布序列是一个有序的、开放式的列表，其中最有可能成为背景的高斯分布仍保留前列，低概率不稳定的背景分布排在后列，或许最终被新的分布取代而不能成为背景的分布。

在这个背景模型中，将影响背景模型的光度变化和机械振动两个因素考虑进去了，所以该背景模型能适应光度变化和机械振动因素的影响。

3 实验

3.1 实验方法

为验证视觉监控效果，模拟了简单的实验环境，如图5所示。左边图像是分区后摄像机拍摄的图像，右边是左边的视频图像经过前景－背景处理后的效果图，只对前景的像素进行标记，下面有模拟数控系统控制的两个灯:危险报警灯和运行停止灯。

(1)当手未触及浅白色区域，即在自由区域内时，视觉系统不发送任何信号给数控系统，即不做任何反应，下面两个灯为白色，如图5所示。

图5 自由区域活动

(2)当手触及到危险报警区域时，视觉系统发送危险信号给数控系统，数控系统立即进行报警，下面报警灯变红，如图6所示。

图6 危险报警区域活动

(3)当手触及到运行停止区域时，视觉系统会发送停止信号给数控系统，数控系统立即控制机床暂停加工，同时下面报警灯和停止等都亮，所图7所示。

图7 运行停止区域活动

在这种实验环境下，又对光照变化和机床震动影响做了几个实验，来论证视觉数控监控技术在光照变化和机床震动影响下的监控效果，具体结果分析请见下节。

3.2 实验分析

下面对光照变化和机床震动影响下的监控效果进行分析。

当灯光变化大于CCD 感光临界时，灯光亮度的变化几乎对报警率没有影响，即灯光亮度在CCD 感光临界点以上的变化，并不影响已成的背景模型对前景和背景的判定，而且这种判定的准确率还是相当高的，能完全地将运动的前景辨别出来;当灯光亮度在CCD 感光临界点以下，这种前景辨别就会有误差，直到完全黑暗下不能辨别出前景来。通过实验数据得到亮度对报警率的影响，如图8所示。

另一方面，当机床震动幅度大于分区尺寸时，分辨出的前景就会产生误差，以至于震动猛烈的机床前景分辨准确率是零;当机床震动幅度小于图像分区尺寸时，可以很好地分辨出前景来，而且准确率也很高。通过实验数据得到机床震动幅度对报警率的影响，如图9所示。

图8 亮度变化对报警率的影响

图9 机床振幅度变化对报警率影响

通过以上分析，灯光亮度和机床震动幅度能造成前景分辨较大误差的范围是十分狭小的，大多数机床加工的灯光亮度和震动幅度分别是在前景可分辨的范围内，所以可以认为该视觉监控数控系统不受光度变化和震动幅度影响。

4 结论

提出的通过视觉监控技术来实现数控安全机加工的方法，经过实验论证，是可行的。建立好的背景模型是实现该技术的关键，而且能很好地适应光度变化和机械震动的影响，所以该技术具有能适应一定环境影响的安全监控功能。为了更好地将该技术应用于实际，可以从像素值与高斯分布匹配角度继续研究，建立更好的背景模型。

【1】SZELISKI R.Computer Vision-algorithms and Applications［M］.Springer，2010.

【2】KAEWTRAKULPONG P，BOWDEN R.An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection［C］//Proceedings of the Second European Workshp on Advanced Video-Based Surveillance Systems，2001:135－14.

【3】OLIENSIS J.A Critique of Structure-from-motion Algorithms［J］.Computer Vision and Image Understanding，2000，80:172－214.

【4】BILMES J.A Gentle Tutorial of the EM Algorithm and Its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models［R］.Technical Report 97021，International Computer Science Institute，Berkeley，CA，USA，1997.

【5】BRADSKI G，KAEHLER Adrian.Learning OpenCV［M］.O＇REILLY Media Inc，2008.