基于背景差分的巡检机器人视觉识别方法

2020-12-24陈晶华张香怡顾继俊

机械与电子 2020年12期

杨涛，李祎，陈晶华，文炜，张香怡，顾继俊

(1.中海石油(中国)有限公司，北京 100010；2.中石化川气东送天然气管道有限公司，湖北武汉 430020；3.中国石油大学(北京)机械与储运工程学院，北京 102200)

0 引言

随着科技的进步，推动互联网、大数据、人工智能和实体经济深度融合是各行各业急需面对的挑战[1]。海洋石油平台的维护及巡检工作逐步向少人化甚至无人化发展，海洋平台设备的正常运转关系到整个平台的安全生产和可靠运行，因此需要工作人员每天定期对平台运行设备进行巡检,采集设备的运行数据,并对数据分析。由于工作量较大,工作人员的技术水平良莠不齐,对工作的认真程度也各不相同,海洋石油平台的日常巡检维护不能得到充分的保障,一旦没有及时发现设备的异常状况并解决掉,就可能造成巨大的损失[2]。为了解决此类问题,海洋平台巡检机器人的研究与应用应运而生。

针对海洋平台空间不规则，设施结构复杂，遍布法兰盘、各式机器和楼梯等问题，提出了一种沿着固定轨道运行的巡检机器人方案。为了实现巡检效果，机器人要对周围环境进行遗弃物体(异常物体)的识别。如何进行异常物体的识别成为巡检机器人发展的一个难点，在巡检机器人的视觉方案中，大部分采用固定多个摄像头，在监控室进行人工监控的方案[3],但该方案耗费人力物力较多，未能把劳动力解放出来；文献[4]使用机器学习的方法判断异常物体，但是只能检测预先训练好的物体，未知类别的异物不能被检测到[5]。为了解决这些问题，研究了机器人系统的控制方案，以及一种新的视觉处理算法，使机器人能够不必再依赖于机器学习，在异物种类不确定的情况下，依旧能够自主地进行判断并识别出异常物体。

1 控制系统

为了识别异物，巡检机器人需要进行频繁的、高负担的视频处理及运算，并将数据及时返回给总控制台。该机器人由高性能Intel Core i7微处理器和存储元件组成的中央计算机充当机器人的决策中心，主要用来进行繁重的数据存储、数据管理、数据处理和三维图像深度信息的处理[6]。

为了对驱动单元做更好的控制，本文将中央计算机通过串口连接STM32F407(下位机)，控制驱动系统以驱动制动系统，如图1所示。同时采用CAN通信方式进行通信，具有实时性强、稳定、可靠、传输速度快等优点[7]。

图1 机器人控制系统架构

在机器人运行过程中,数据采集系统需要从周围的环境中提取有用信息上报给中央计算机，使其做出决策。包括采集图像信息、音频信息和视频信息等。该系统由双目摄像头、固定摄像机、热图测温红外摄像仪、内置麦克风的立体摄像头和陀螺仪(采集位置信息和振动信息)组成。采集系统如图2所示。

图2 数据采集系统

2 基于视频对齐的背景差分技术

在实际海洋平台场景中，平台通过固定的摄像头进行异物识别具有极大的局限性。为了解决这个问题，使用跟随巡检机器人的移动摄像头来实现异物识别。该方法可以扩大监控范围，减少安装多个摄像头的成本，同时减小计算量，但移动背景大大增加了目标检测的复杂度，更加具有挑战性[8]。同时，在巡检环境中，异物种类不确定，若只检测固定种类的物体，则整个平台的巡检维护得不到保障，安全保护机制不够充分。

综合上述原因，研究一种基于背景差分技术的异常物体检测方法，并将其应用在巡检机器人的移动摄像头上就显得极为重要。

核心技术步骤如图3所示。在执行巡检任务之前，机器人需要沿固定的轨道录制一段没有异常物体的参考视频序列，取参考帧[9]；在执行巡检任务时，录制的视频作为当前视频，取当前帧。通过对比2帧图像，判别出现场是否存在异常物体。由于拍摄2段视频过程中，摄像头速度和角度可能存在偏差，需要对视频进行对齐处理，故如何找到2段视频的对应帧，并且处理好对应帧角度上的变化成为了研究重点。为了在参考视频中找到与当前帧最相似的位置捕获的参考帧，并进行像素级别的匹配与调整，制定了图3所示的技术步骤。

图3 视频对齐技术步骤

2.1 时间对齐

针对对应帧图像难以对齐的问题，提出了一种基于差分行波的视频对准算法，在动态时间规整(DTW)算法的基础上将视频背景框架进行实时对齐。将2段视频看作2段时间序列，由于巡检机器人在同一地点的运动速度无法保证时刻相同，所以巡检同一段区域提取的2段时间序列长度不同，就会出现表现为图4的现象。

时间点

为了找到实时对应帧的图像，DTW算法将图像特征量化提取出来。图4中，实线和虚线分别代表同一区域录制的参考视频和目标视频量化波形，为了便于观察，将2段序列在y(时间)轴上拉开距离。可以看到整体波形很相似，但在时间轴上却是不对齐的。如在第20个时间点时，实线波形的A点为序列2最高点，其应对应于虚线波形的B′点，若将A点图像与B′对应帧图像差分，计算结果的误差将会非常大。显然，实线的A点对应虚线的B点才是对应帧图像。

在巡检机器人巡检过程中，使用传统的欧几里得距离无法有效地求得2个时间序列之间的相似性。因此，本文通过在线DTW算法找到这2个波形对齐的点，如图5所示。

图5 2段视频序列对应点

假设有2个时间序列X和Y，其长度分别是M和N，即X=[x1,x2,xi,…,xM]和Y=[y1,y2,yj,…,yN]，为了对齐这2个序列，构造1个M×N的矩阵，矩阵元素(i,j)表示xi和yj2个点的距离d(xi,yj)。DTW算法旨在找到最短路径W=[w1,w2,…,wL],Wk=[ik,jk]∈[1,2,…,M] ×[1,2,…,N]，max(M,N)

a.边界条件：w1=(1, 1)和wk=(M,N)。

b.连续性：i1

c.单调性：Wk+1-Wk∈{(1,0)(0,1)(1,1)}[10]。

结合连续性和单调性约束，每个格点的路径就只有3个方向(图6)，可在此基础上选择1条最短的路径。

图6 路径可选方向

通过寻找到矩阵所有的最短序列，计算出最佳路径，从而匹配到2段时间序列的对应帧。

(1)

为了求解方程，用以下递归公式创建累积成本矩阵d,将具有最小值的值添加到路径中，直到达到元素d(M,N)。

(2)

如图7所示，得到了M×N矩阵的最佳路径，则称该函数为时间规整函数。顺利将2段序列进行时间上的匹配。

图7 M×N矩阵序列最佳路径

通过将DTW算法应用在视频领域，匹配到2段视频的对应帧，获得时间量度上的匹配。但对应帧差分后仍存在较大的图像差，无法准确识别异常物体。

2.2 空间对齐

分析得到，由于时间对齐后摄像头角度的偏差以及多帧匹配1帧会存在角度差等问题，对应帧差分仍然会存在较大的间隙和偏差。为了补偿这种偏差，要对图像进行像素级的匹配。本文首先利用改进的加速鲁棒特征(SURF)算法提取对应帧上的兴趣点[11]，进而采用随机样本一致性算法(RANSAC)取一定数目的特征点。如果将参考帧和当前帧图像看作2个坐标系，那么同一特征点在2个坐标系中有可能坐标值不同，坐标不同则意味着图像发生了旋转或平移。筛选出一定数目的对应点坐标，利用DeepFlow[12]算法分块求得变换的仿射变换矩阵。将变形场应用到图像处理中，通过矩阵变换进行深度匹配得到完全对准的矫正图像，从而进行对应帧差分的算法，此时背景对异物识别的影响被解决掉，就可以很轻松地识别出巡检区域的异物。

3 实验

为了评估该方法的有效性，在以遍布管道和机器为背景的工厂展开了实验，摄像头被安装在1.5 m高的固定轨道上，相机可捕捉到的图像大小为1 440×1 080，帧速率为15帧/s。本实验采用手动控制摄像头移动的方法，固定了移动路线，先预先录制无异常物体的参考视频上传至后台，再拍摄目标视频，且起点和终点相同。在通过DTW算法成功提取对应帧画面A、B(图8)之后，利用改进的SURF算法进行像素点匹配[11]。图8中的小圆圈为提取的画面局部特征点，对局部特征点进行描述与对比，设定一定的匹配条件将对应的特征点进行匹配。

图8 利用改进的SURF算法匹配对应帧图像的对应点

根据得到的匹配点坐标，利用DeepFlow[12]算法计算得到了由图A到图B的变形场,得到矩阵为

然后将变形场应用到图像处理中，通过矩阵变换、变形处理将图A修正为图B角度，得到了完全对准的图9。

图9 将图A修正为图B角度

图10显示了原始对应帧之间的绝对图像差，图11显示了经过像素级对齐算法之后的图像差。在这些图像中，较浅的像素表示较大的图像差异，明显可以看出，经过算法处理的图像差异较为集中。但是边缘由于图像变换存在不大的间隙，故使用代码根据图像边界间隙自动调整对比范围，使结果不受间隙影响。

图10 原始对应帧图像差图11 像素级算法对齐后图像差

接下来进行阈值处理、腐蚀滤波、膨胀连通等常规算法，就可以识别出图像中的异物，如图12所示。对比未经过时间、空间对齐而直接进行背景差分法的图13，可以看出，图13识别准确率非常低，整张图像都被认为是异常物体。而图12的图像经过对齐后能够非常准确地识别出异常物体的存在，即被遗弃的工具箱被成功地识别出来。