一种基于图像识别的斗齿监控系统在挖掘机上的应用★

2018-04-02岳海峰

机械管理开发 2018年3期

岳海峰

（太原重工股份有限公司技术中心，山西　太原　030024）

1　现有技术的不足

为了能够及时发现大型矿用挖掘机铲斗前部断裂或脱落的斗齿，现有的方法是在设备上加装一套摄像显示器系统，操作人员通过摄像头在终端的显示屏观察斗齿完整与否。在实际使用中存在几个不足：其一由于挖掘环境的恶劣，挖掘过程伴随着大量的粉尘和较大石块，加之物料黏性较大或者环境潮湿，物料堆积在斗齿部位增加操作员辨别的难度；其二长时间频繁检查挖掘作业，特别是夜间作业增加了操作员的疲劳程度，在发生断齿时很难第一时间确定可疑物料的范围，导致整个工艺线停产排除故障。如果未能及时发现折断的斗齿，则会使该段斗齿随着渣土、矿石等一起被拉走并进入破碎系统，由于斗齿的特殊材质必定会造成重大经济损失。

2　基于图像识别的斗齿监控系统

为克服现有监控系统的缺点，挖掘机设备采用了一种基于图像识别技术的斗齿状态监控系统。该系统采用红外热成像技术，把扫描到斗齿的热信号转化为立体图像，对挖掘机铲斗位置进行实时监控；在特定位置对斗齿进行采样拍照，并在后台运行智能分析算法，当发生断齿情况时，及时发出报警信息。软件还具备历史视频存储、回放、下载、删除、报警信息存储、报警图片抓拍等功能。

整套监控系统基于Visual Studio 2008、OpenCV、C++[1]软件平台开发。图1是监控系统的组成部分，包括取流模块（SDK摄像机），算法分析模块，报警模块以及故障存储模块四大部分。其中取流过程进行实时的图像采样，算法分析将采样的图像数据进行比对分析，报警过程属于报警触发，故障存储是在报警触发后所采取的数据记录。

图1　基于图像识别的斗齿监控系统

3　监控系统在挖掘机上的应用

由于铲斗斗跟石矿颜色相近，在图像识别过程中会带来很大困扰。在挖斗卸完石矿后，会有几秒钟的空斗情况，此时对空斗进行图像抓拍，是图像识别的关键，因此采取的解决方案是定位+识别+隔帧取流的技术。通过隔帧取流方法更有效快捷的提取到符合识别算法的图像，然后在对该图片进行特征提取识别，再通过一定的图像处理技术缩小检测目标的范围，进一步提高算法的精度以及性能，降低算法的误差性。最终达到的效果是抓拍效果图—轮廓特征图—二分值图。

SDK摄像机安装在天轮位置，便于拍摄铲斗齿尖。系统主机安装在驾驶员操作室内，显示屏安装在操作员左前方位置。

监控系统在投入使用前首先进行特定位置斗齿图像库的建立和，针对电铲装车卸料后的状态抓拍图像，进行大量的图像数据采集形成图像数据比对库。采集的图像数据越全面，系统识别的精度越高。抓拍到的每一幅图像都是目标效果图样本，将目标效果图特征提取后生成目标轮廓图，目标轮廓图进行图像处理从中抽取出目标对象的二分值图。所有样本图像处理的信息数据汇集构成了图像识别的完整数据库。整个数据库是一个独立的动态库，并可兼容多种设备，如下页图2—图4所示。

图2　铲斗效果图　

图3　铲斗轮廓图

图4　铲斗二分值图

针对要识别的特定类型的挖掘机斗齿，aboost[2]分类器算法进行分类器训练，生成的分类器文件保存在XML文件中，在后面的分析中，使用该XML文件进行分类。数据库模板建立完成后，斗齿监控系统可以投入运行。系统运行过程中，SDK摄像机进行实时视频采集，并进行实时视频显示，同时将每帧数据进行解码，当实时数据传送给算法分析库之后，算法首先对当前图像数据进行预处理，并与之前训练的数据库进行比对分析，当检测到符合识别算法的图像数据之后，进行图片抓拍。抓拍频率30祯/s，每秒取3～5祯，时间10 s，每组取40祯左右图片。并对每帧图片进行后续分割、特征提取等算法操作。

轮廓特征提取，首先进行分割，将铲斗与背景分割开来，其次进行目标轮廓线提取，从而得到目标的轮廓线图。获取到目标轮廓线图之后，使用最小二乘法进行曲线拟合。拟合之后得到每个斗齿的曲线情况，根据曲线的长度、高度情况与系统设置阈值判断该斗齿是否为断齿或磨损。连续或间隔5～6祯数据偏差既可认为有异常情况，每组数据10 s内出结果。

通过接口将异常结果信息发送给前端界面或其他系统。报警模块接到报警信息之后，会进行报警信息显示以及语音提醒等，具体报警方式可以有多种方式。通过报警模块会触发抓拍存储模块进行数据抓拍和视频录像功能。采用视频预录功能，该功能能够实现将报警之前一段以及报警之后一段视频数据进行保存，从而利于后续查看、分析原因等。