风管清扫机器人智能清洁度评估系统的研究

茅靳丰 朱国栋 张虎 宋威

解放军理工大学国防工程学院

风管清扫机器人智能清洁度评估系统的研究

茅靳丰 朱国栋 张虎 宋威

解放军理工大学国防工程学院

本文首先简单介绍了风管机器人视觉检测系统的组成，包括照明系统、摄像头、图像采集卡、图像采集软件以及图像分析软件。随后重点介绍对基于Matlab的风管清洁度评估进行介绍，利用Matlab的图像处理功能对采集到的风管内部图像进行预处理，并依据特定的算法对其清洁度进行评估。

Matlab风管 视觉检测系统 清洁度 图像处理

0 引言

风管智能清扫机器人的视觉检测系统主要功能是完成视频实时监控和图像采集分析，并得出清扫效果的定量评价指标。其系统主要由照明系统、摄像头、图像采集卡、图像采集软件以及图像分析软件组成。照明系统是机器人在黑暗环境下作业的唯一光源，其是否可靠、光通量是否满足作业要求都至关重要；摄像头是机器人的“眼睛”，将工作人员的视线延伸到风管内，实时监控和记录着机器人在风管内作业的情况；图像采集卡是图像传感器的配套设备，将图像传感器传出的视频信号转换为数字图像信号，并显示在PC图像终端上；而图像采集软件和图像分析软件是最终得出清扫效果定量评价指标的重要工具。

风管智能清扫机器人的视觉检测系统以风管壁面图像为研究对象，首先通过摄像头对风管壁面的清扫情况进行采集抽样，采集的图像进行预处理后，通过两种算法分析得出图像的量化评价指标，然后根据得出的结果决定是否继续清扫，该系统的总体工作流程如图1所示。

图1 视觉检测系统的总体工作流程

1 视觉检测系统的图像预处理

由于摄像头从风管中采集的图像质量参差不齐，将直接影响到图像分析结果的准确性，所以在对图像进行量化评价前，需要对原始图像进行相应预处理。预处理能够很好地消除无用信息和增强有用信息，从而达到提高量化评价准确性。下面对预处理中运用到图像灰度化、除噪、锐化三部分进行详细介绍[1]。

1.1 图像灰度化

旋转摄像头采集的风管壁面图像是彩色图片，其信息量大，降低了图像分析软件的处理速度。图像的灰度化处理是指将彩色图像转化成为灰度图像的过程。R、G、B三个分量共同决定了彩色图像的每个像素点，而灰度图像是三个分量相等的一类特殊彩色图像。灰度化处理方法常有最大值法、平均值法和加权平均法[2]。

本视觉检测系统采用加权平均法来对摄像头采集的彩色图像进行灰度化处理，加权平均法是根据颜色的重要性及其它指标，将三个分量以不同的权值来进行加权平均。在MATLAB中按式（1），对R、G、B三个分量进行加权平均能得到较合理的灰度图像。

1.2 图像除噪

摄像头在黑暗的风管中，仅依靠LED光源来辅助摄像头进行图像采集，图片难免会存在一些噪声，从而影响图像的后期处理效果，所以在图像分析前需要对原始图像进行除噪。图像的噪声通常情况下是不可预测的随机信号，常见的噪声有随机噪声、高斯噪声、椒盐噪声。根据噪声频谱分布的规律和统计特征以及图像的特点，出现了多种多样的除噪方法。如：均值滤波法、中值滤波法、低通滤波法、维纳滤波法、最小失真法等[3]。本文选用中值滤波法对图像进行除噪。

该方法能够很好地克服线性滤波器引起的图像细节模糊，并且在滤除图像扫描的噪声和脉冲的干扰方面特别有效[4]。中值滤波的基本原理就是用数字序列或数字图像中任一点的特定领域内所有点的中值来替代该点的值。

对于一维序列f1，f2，…，fn的中值滤波，首先取长度m的窗口（m取奇数），再从序列内抽取m个数，fi-v，…，fi-1，fi，fi+1，…，fi+v，其中i是窗口中心点，最后将取出的m数按大小进行排列，取排列后中心位置的数作为中值，公式如下：

对于二维序列｛Xi｝j，即滤波窗口也取二维。其方法与一维的类似，公式如下：

式

中：A为滤波窗口。

实际的取窗口过程中，窗口尺寸取值从3×3到5× 5逐渐扩大，最终得到滤波满意的效果为止。二维的中值滤波不仅能够较好地保留原始图像内有效的细线状物体，而且能够很好地保持图像跃变的部分。

1.3 图像锐化

风管壁面的图像经过除噪后，图像边缘和图像轮廓会有模糊的情况出现。如果不加以处理就会使得在检测时分不清楚图像的边缘。而图像锐化技术的使用能很好地克服这些问题，使得图像边界更加清晰，灰尘的特征也更加明显。常用的图像锐化方法有：空域法、频域法、模板卷积法等，其中常用的锐化算子有Roberts算子、Prewitt算子、Sobel算子和Laplacian算子等。根据不同锐化方法的处理效果来选用适应于清扫机器人视觉检测系统的方法[5～8]。

本系统的锐化处理选用拉普拉斯（Laplacian）算子，拉普拉斯算子是一个与边缘方向无关的边缘点检测算子。假设一个连续二元函数f(x,y)，此算法的运算公式如下：

在数字图像处理中，拉普拉斯算子能简化成为：

式（5）可以表示为卷积的形式：

表达式中的i,j=0,1,2,…N-1；k=1；l=1；H（r,s）取样如下：

拉普拉斯算子应用到图像的锐化处理时，模板的取样会直接影响到处理效果，处理效果比较好的常用模板有：

1.4 预处理效果分析

旋转摄像头采集的风管壁面图像通过灰度化、除噪和锐化一系列处理后，得到的图像更符合后续分析的需要，整个预处理过程的效果如图2所示。其中图2（a）和图2（b）是原始图像以及原始图像中R分量直方图；图2（c）和图2（d）是采用加权平均法对原始图像进行灰度化处理后图像和对应直方图，从图2（b）和图2（d）的直方图对比可以看出，灰度化处理后基本上保留了原始图像的色度和亮度分布特征；图2（e）和图2（f）是采用中值滤波法对图2（c）进行除噪处理后图像和对应直方图，从图2（f）和图2（d）对比可以看出直方图左右两端的噪声像素点相对减少；图2（g）和图2（h）是采用拉普拉斯算法对图2（e）进行锐化处理后图像和相应的直方图，从预处理后最终图像图2（g）与原始图像图2（a）对比，明显发现灰尘的轮廓更加明显，更好地体现了风管壁面图像的特征。

2 视觉检测系统的图像清洁度量化评价

图像预处理之后，下一步就进行图像分析，最终得出清洁度的量化评价指标，以此来判断风管清扫机器人的清扫效果。本文通过实验对比摸索出一种比较符合本课题图像分析的算法，即纹理匹配中的共生矩阵法，纹理是图像的重要特征之一，大多数的图像分析也是基于此特征，该方法是将机器人清扫风管的实时图像与干净风管的模板图像进行相似度匹配，得出的相似度值越大表明图像相似程度越高，即风管清扫越干净[9]。

由于图像粗糙度的标准差判断算法是基于风管壁粗糙程度来判别风管是否清扫干净，其局限性在于灰尘过多且平整时容易引起误判断。基于上述情况，本文在纹理匹配的基础上提出了共生矩阵相似度匹配算法[10]。

2.1 算法研究

设有一幅图像I，行和列的像素数分别为M、N，灰度等级为（通常为256，在不影响人眼判断的情况下，为了减少计算量，可以降低灰度等级），利用平行45°搜索算法，记录图像中出现的不同像素对，由此组成共生矩阵。具体算法如下：

①生成共生矩阵A，大小为Q×Q，元素值全部初始化为0。

图2 图像预处理效果

②设循环变量m、n(m=1，…，M-1，n=1，…，N-1)。从图像第一个像素点出发（m=1，n=1），将共生矩阵A中元素值A(I(m，n)，I(m+1，n+1))加1，即第I(m，n)行、第I(m+1，n+1)列的元素值加1。其中I(m，n)和I(m+1，n+1)为图像I中第m行、第n列的元素值和第m+1行、第n+1列的元素值。循环，直至图像I中所有像素搜索完毕。

③通过上述方法，提取清扫中的风管壁面实时图像和干净风管的模板图像，假设都为N×M，可以分别获得实时图像、模板图像的共生矩阵Am和Ab。将共生矩阵归一化，即分别除以各自所有元素值的总和。显然，这个总和的值为（M-1）×（N-1）。

④计算共生矩阵的相似度。相似度S定义为：

在这里，相似度S表征了实时图像与模板图像的相似程度。S的值越高，表示实时图像与模板图像的特征越接近，即风管清扫得越干净。整个算法的大致流程如图3：

图3 共生矩阵相似度匹配流程图

2.2 算法检验

本文取1张干净的壁面以及3张清洁程度不同的壁面图像进行实验分析，图4是壁面通过预处理后的图像以及相应直方图。其中图4（a）为干净壁面图像，即模板图像；而图4（c）、图4（e）、图4（g）分别是粘有不同程度灰尘的壁面1、2、3，即实时图像。

通过MATLAB编程计算，壁面1、2、3分别与模板图像进行灰度共生矩阵的相似度匹配，得出的相似度结果如表1所示。

表1 实时图像与模板图像匹配结果

本文同样取样多组清洁程度不同的风管壁面图像进行计算，综合其结果，将风管清洁情况大致分为四类：干净、较干净、较脏、很脏，得出经验值如表2所示。

图4 不同壁面及相应直方图

表2 风管清洁情况的分类

在分析实验数据中得出该方法的一些优缺点，具体如表3所示。

表3 灰度共生矩阵相似度匹配算法优缺点

3 结语

本文介绍了风管智能清扫机器人的视觉检测系统，首先对视觉检测系统的组成部分进行了简介，其中包括照明系统、摄像头和图像采集卡；然后对采集到的风管壁面图像进行预处理，其中包括灰度化、除噪和锐化处理；最后运用共生矩阵匹配算法对图像进行清扫效果的量化评价，得出了客观的量化评价指标。

[1]陈会鸽.基于机器视觉的中央空调风管清洁机器人测控系统研究[D].郑州:河南工业大学,2010

[2]张鹏,钟俊,郭安明,等.设备监控图像预处理算法改进及其FPGA实现[J].计算机应用,2011,31(6):1706-1708

[3]章霄,董艳雪,赵文娟,等.数字图像处理技术[M].北京:冶金工业出版社,2005

[4]路阳,关海鸥,赵斌,等.水稻病害图像预处理及其特征提取方法研究[J].农机化研究,2011,(8):27-30

[5]胡学龙,许开宇.数字图像处理[M].北京:电子工业出版社, 2006

[6]刘榴娣,刘明奇.实用数字图像处理[M].北京:北京理工大学出版社,2005

[7]Gonzalez R,Woods R.数字图像处理[M].北京:电子工业出版社,2003

[8]吴海波,刘钊.基于拉普拉斯算子的彩色图像锐化处理[J].电脑开发与应用,2008,21(9):27-28

[9]秦襄培,郑贤中.MATLAB图像处理宝典[M].北京:电子工业出版社,2011

[10]许卫东,吕绪良.一种基于纹理分析的伪装器材效果评价模型[J].兵工学报,2002,23(3):329-331

Re s e a rc h of Inte llige nt Cle a nline s s As s e s s m e nt Sys te m of Air Duc t Cle a ning Robot

MAO Jin-feng,ZHU Guo-dong,ZHANG Hu,SONG Wei
National Defense Engineering Institute,PLA University of Science and Technology

Firstly,this paper describes the air duct cleaning robot vision inspection system,including lighting systems, cameras,frame grabbers,image acquisition software and image analysis software.Subsequently,based on Matlab software,the duct cleanness assessment are introduced,using Matlab image processing functions to process duct internal image,and according to a specific algorithm to evaluate its cleanliness.

Matlab,air duct,vision inspection system,cleanness grade,image processing

1003-0344（2015）01-037-5

2013-10-9

茅靳丰（1962～），男，教授；江苏省南京市光华路海福巷一号国防工程学院军环系暖通教研室（210007）；E-mail:631758157@qq.com