变电站无人机巡检的动态目标跟踪方法

2022-08-22谢幸生张永挺吴啓明温佳静

计算机仿真 2022年7期

关键词：关键点摄像头动态

谢幸生，张永挺，吴啓明，温佳静

(1. 广东电网有限责任公司中山供电局，广东中山 528400；2. 武汉大学电气与自动化学院，湖北武汉 430072)

1 引言

变电站设备密集，是电网的重要中心节点。随着一次设备，二次设备的智能化改造，变电站的集约化、智能化的趋势越来越明显，基于集控站的管理，无人值守变电站也越来越普及。

无人机由于不会受到空间的限制，是变电站中推进无人化巡检的重要手段，通常与机器人结合实现站内的动态巡检。现有多基于可见光以及红外图像分析[1]，对设备外观和运行情况进行巡视，发现问题后，根据缺陷的性质进行相应的处理。

变电站由于空间狭小，对无人机飞行要求的精度较高，影响无人机飞行安全的主要因素是动态目标，既有可能是在站内的合法施工人员，执行巡检任务的机器人、无人机，也有可能是非法闯入的人员，非法闯入的动物等。现有采用SLAM方法[2]开展定位与地图构建，并进一步区分静态目标与动态目标[3]。显然，静态目标避障相对容易，动态目标跟踪和避障就较为困难，对变电站安全的影响更大。未知环境下的UUV避碰策略[4]，无人汽车的控制策略[5]都需要对跟踪精度进行准确的预估。

对动态目标，应用小数据对动态目标进行跟踪[6]是研究的热点，其真实位置、速度以及加速度都是需要监测的参数[7]。由于变电站中可能出现的动态对象类型和数量的多样性，显然要采用无标识动态目标跟踪方法[8]更为合适。

工业物联网的深度开展和电力无线专网的推进，可以融合摄像头、机器人以及无人机数据，从而不受无人机飞行条件的限制，提供更为准确的动态目标的形状与速度。而基于多关键点的对象匹配算法，不受观察角度限制，在对象运动导致外形变化时依然可以保持很高的识别准确率。在小计算量条件下可以保证很高的跟踪精度，实用性强。

2 动态目标描述模型

2.1 模型建立

有研究者针对船舶疏散建立了人员的Agent模型以及对应的状态描述[9，10]。显然，变电站中的动态目标的类型更多，运动模式也更复杂。对于变电站内的运动目标，可以划分为以下几个类别：

1)无人机：无人机在空中飞行，需要规避任何在设定线路上出现的障碍物。

2)机器人等按照预设线路自动运行装置：其行为、路径均按照规划进行。

3)运维人员：现场运维人员一般具有良好的标识，例如戴安全帽，其行为也通常在给定的安全区域内。

4)其他：包括闯入人员或者动物，其行为通常不受安全条件或约束的影响。

由此，对于动态目标，分别以动态和静态特征对其进行描述：

2.2 对象覆盖

无人机在飞行的过程中，摄像头覆盖的范围有限，变电站设备密集，也会存在较多的死角。对于动态目标的跟踪难以全面，这样在飞行过程中对可能侵入航线的对象缺乏预判。

目前变电站，尤其是采用机器人、无人机巡检的变电站多实现了三维建模，也存在大量的摄像头。现有自动巡检的技术手段，机器人、无人机在巡检过程中从发现目标，检测目标到控制存在一定的时间差，存在一定风险。因此，在无人机开展巡检时，可以综合运用物联网技术，以无人机的巡检进程为主导，综合运用无人机、机器人以及摄像头的数据，对动态目标进行全过程、全方位的跟踪，既可以针对变电站的非法入侵行为提供警示信息，也可以为无人机的安全飞行提供参考。

当镜头与动态目标的运动方向在一条直线上时，即使应用高端的相机或摄像头也难以准确判断动态目标的飞行速度；当镜头位姿与动态目标的运动方向垂直时，对速度和方向的判断可以更为准确。

以图1为例，假定要对动态目标Obj1进行观测，U1为无人机，D1为机器人携带的摄像头，Vu1及VD1是对应的速度，D2～D3为固定摄像头，则D3由于在运动目标V的运动方向上，难以判断V的速度。

图1 动态对象覆盖指数

动态目标覆盖指数用来衡量对于动态目标跟踪的完整性。其定义为

(1)

其中K为在巡检过程中根据覆盖范围划分的可见区段数量。另外的部分，如图中F-H-G，可能由于摄像头分布，或者靠近设备侧等原因，无法覆盖到，因此不予考虑。t是采样的时间点，x(i，t)是根据摄像头的覆盖划分分段的长度，例如：BC段是D1摄像头覆盖，AB段由D1和D2摄像头覆盖等。C(i，t)是覆盖分段的摄像头数量，比如加上无人机摄像头的覆盖后：BC段的值是2，AB段的值是3。显然，的值越高，对应的对象覆盖也就越全面，可以获取的数据也就越多，对移动目标的判断也就越精确。

3 动态对象跟踪及避障

按照行为模式是否可预测，动态对象可以划分为可规划对象和不可规划对象。需要针对对象的性质确定如何执行避障操作，其算法流程图如图2所示。

图2 动态对象跟踪及规避算法流程图

3.1 算法流程图

3.2 动态可控对象

动态可控对象按照固定的路线，或者在指定的区域运动。典型的可规划对象包括无人机、机器人、巡检人员或者其它自动巡检装备。无人机巡检过程中涉及到的大部分都是动态可控对象。

对于可规划对象，重点需要关注：

1)实际状态是否与理论状态一致。可能包括状态检测不准确，也可能由于其它故障引发；

2)在预设范围内可规划对象的行动路线调整可能对其它对象造成的影响。可能包括机器人发现设备有外观缺陷后根据预设的程序调整巡检的线路。

动态可控对象的外轮廓通常可以很方便的界定，以Pos=[x，y，w，h]描述，其中(x，y)是运动目标外接矩形左上角的坐标，而w和h分别是该矩形的宽和高。

虽然机器人、无人机等动态可控对象在空间上少有完全重合的情况和风险，还是要避免在二维空间上存在交叉。比如：如果无人机由于故障坠落，正好掉在机器人上，可能会造成多方面的伤害。

假定图3中无人机U1对动态目标Obj1进行观测，首先需要判定两者是否有可能发生路线交叉和碰撞的风险。

图3 动态可控对象避障

假定图像采样分析的决策时间间隔为Δt，对U1而言，该设备的最小安全距离为

Gr[f1(x1，y1)]=|f1(x1，y1)-f1(x1+1，y1)|

(2)

其中admax为最大的减速加速度。从图2可以看出，由于无人机飞行速度快，制动也没有机器人方便，所以安全距离比机器人要大。

假定以上两设备的中心位置坐标分别为Pu1及PD1，设备的外轮廓半径分别为Ru1及RD1。则无人机巡检过程中应确保任意两点在Δt时间内的

Dds(U1，D1)=‖PU1-PD1‖

≥Dds(U1)+Dds(D1)+RU1+RD1

(3)

若该条件不满足，则续航时间长的可规划对象优先避让续航时间短的设备。

3.3 动态不可控对象

动态不可控对象的来源比较复杂，有可能是非法闯入的人或者动物，有可能是落叶，也有可能是风筝。它们对变电站的安全运行造成威胁，对无人机飞行安全造成威胁。及时发现、确认、取证，不仅对巡检有作用，对变电站的安全管理也有价值。

对动态不可控对象进行跟踪和规避显然更加困难。

若Obj2最大加速的加速度为aamax，那么安全距离的最大值是

(4)

在图4中，红色的圈代表对应的安全距离最大值。显然，在这种情况下，只有机器人、无人机或其它可控终端避障才能有效的规避风险。

图4 动态不可控对象避障

对于无标志的动态目标[10]，可以用高斯背景差分法获得运动目标在图像中的位置Pos=[x，y，w，h]。在变电站的环境下，动物入侵以及类似风筝这样的不定型对象由于形态多样，方向、速度加速度的随意性较强，跟踪比较困难，判断及跟踪速度也是最为重要的。例如：一只野猫闯入变电站，可能会窝着睡觉，步行，跑步，变化比较大，关键点也可能不同。现有的摄像头，如果基于复杂的图像分析技术，可以实现跟踪分析等功能，但成本较高。本文提出一种简单易行的立体图像融合及分析方法计算不可规划对象的速度参数。

1)边缘锐化

对于动态目标跟踪，需要将照片与空旷的原始图片进行对比。设原始图片为Go，待分析的照片为G1，对应图像的某一行用函数f(x，y)表示。G1对应的图片梯度矢量为

Gr[f1(x1，y1)]=|f1(x1，y1)-f1(x1+1，y1)|

(5)

图像的边缘无法计算梯度时，该值设定为最后一个可以计算的梯度。≥0.05时，说明该行的特定数据在图像边缘上。

为进一步判定该图像是否为需要跟踪的异物，做以下分析计算。

Gs(G1)=|f1(x1，y1)-fo(xo，yo)|

(6)

其中是Go上对应位置的图像某一行的数据，当≥0.10，可以确证该数据为边缘数据。

2)关键点提取与配准

对于G1的[x，y，w，h]中的数据，划分为n×m个矩形。每个矩形中选择作为特征点。

每隔Δt，拍摄一张图片，设为G2，按照同样的方式计算出关键点，对应区域的关键点的像素灰度值按照RGB的顺序构成v1和v2。以对应区域两个向量夹角的余弦为判据，当cosθ(i，j)≥0.9，其中1≦i≦n，1≦j≦m，则两个关键点认为是匹配的。

(7)

令cosθ(i，j)≥0.9的点数量为K，则有匹配系数为

(8)

3)基于关键点的立体对象配准

由图1可知，单一摄像头，甚至双目相机的摄像全面性很难满足全面了解动态对象的需求。由此，通过变电站多方位摄像头的数据，获取非计划动态对象的全方位图像。

为进行数据融合，需要确保，两个不同摄像头在同一时刻拍摄的图片G2和G3上至少有H个关键点相同(H≥3)，即满足式(7)。

且这3点间的距离比例相同，即在G2和G3上，在考虑到不同的倾斜角度后，H个点构成的多边形应为相似多边形。由此，通过几何变换后，将G3的图像与G2拼接，假定最初采样时间为t，最终形成一个完整的三维图像E(t)=[x，y，w，h，P{p(i，j),vi，j}]，即包括该图像的外轮廓、对应关键点的坐标及图像性质。如果有多个点匹配，则保存好相关的数据，计算更为精确。

由此，在Δt后，又可以得到对应的三维图像E(t+Δt)。

4)速度及加速度计算

知道了时间以及距离，速度及加速度就比较好计算。为确保不受单一关键点的影响，将E(t)和E(t+Δt)上所有关键点数据的均值作为计算值。

(9)

其中是间隔Δt后所有匹配关键点的最大平均加速度。对于动态可控对象，其最大加速的加速度可以预知，但对于不可规划对象，只能通过历史数据获取数据，该值是变化的，需要根据参数的定义更新Pos数据。

4 测试及结果

4.1 测试环境

以中山供电局某220kV变电站为测试环境，现场巡检距离400米，巡检设备5台，现场运行机器人3台，无人机1台。

为测试算法效果，选择人员2人，工字梯1个，模仿闯入动物的不同大小，颜色电动玩具10个，小型风筝2个。

如图5所示，测试现场中，人员模拟闯入的人员，携带人字梯，摄像头对动态物体的边缘分析的结果如图所示，在较小的计算量下可以得到相对准确的边界条件。每个对象测试连续跟踪50张照片。

图5 测试现场

4.2 测试结果

以动态目标周边30cm为边界，若根据本算法确定的坐标在该范围内，则认为成功，反之则认为失败。

由表1可知，机器人的识别准确度最高，这也是因为其是典型的动态可控对象。

表1 测试结果(%)

对于动态不可控对象，在完整性指数∈[1，2)时(低于1认为不满足无人化巡检的基本要求)综合识别准确率在53.72%左右，无人机飞行的风险较高；在完整性指数∈[2，3)时综合识别准确率在74.36%左右，无人机飞行的风险可控；在完整性指数∈[2，3)时综合识别准确率在78.29%左右，安全性最高，但投入的摄像头也更多，性价比偏低。

测试过程中，成功规避22次，成功率73.3%；未规避8次，误规避5次，由于主要是地面对象，因此没有对无人机飞行造成影响。