地面管道无人机巡查起伏地形跟随方法

雍歧卫,喻言家,陈 雁,李 赟,佐 悦

(1.中国人民解放军后勤工程学院 军事供油系, 重庆 401331； 2 中国人民解放军沈阳联勤保障中心沈阳油库, 沈阳 110000)

地面管道无人机巡查起伏地形跟随方法

雍歧卫1,喻言家1,陈 雁1,李 赟2,佐 悦2

(1.中国人民解放军后勤工程学院 军事供油系, 重庆 401331； 2 中国人民解放军沈阳联勤保障中心沈阳油库, 沈阳 110000)

在利用无人机对地面管道巡查时，一般较理想的作业飞行高度是100 m左右，无人机在飞行时会沿初设高度进行定高飞行，如果在飞行途中遇到起伏地形，需要人为提前探查地形，调整飞行高度，这种方法会加大工作量，而且遇到GPS信号较弱区域容易产生较大误差。另外，也可以采用自动测距的方式来实现智能飞行，通过在无人机上搭载激光测距仪、声纳测距仪等设备进行主动测距，其优点是精度高，但这种形式会增加无人机载荷及其成本。针对以上问题，提出一种基于单目定焦摄像机图像的视觉测距方法，根据小孔成像原理对管道图像特征进行提取分析，得到无人机距离管道的实际距离。该方法简单高效，有利于实现巡线工作自动化。

地面管道，无人机巡查；视觉测距；地形跟随；单目定焦

terrain following; single focus

在应急作战、抢险救灾等紧急情况下，常采用装配式管道直接铺设在地面进行长距离输送油料等介质[1]。利用无人机巡线可以快速高效地发现地面管道遭受破坏、发生泄漏等事故。当无人机在巡线途中遇到起伏地形时，随着无人机离管道越来越近，管道在摄像机上的成像也会随之增大，当无人机离管道越来越远时，相应的成像面就会变小[2]。相机成像的大小与离静止物体的距离具有一定的比例关系，对于本文所研究的定焦摄像机，这种数学关系是相对固定的。

1 摄像机成像模型

为了更好地获取无人机巡线图像的真实三维信息，本文定义了4个坐标系来描述从图像的二维平面到三维世界的位置关系[3]：

1) 世界坐标系(Xw,Yw,Zw)

这是一个满足右手法则的三维坐标系，用来描述真实空间和巡线无人机间的位置关系。

2) 摄像机坐标系(Xc,Yc,Zc)

以无人机所搭载的摄像机镜头的光心作为坐标原点，Zc轴与光轴重合，垂直于图像成像平面，且取摄影方向为正方向，Xc、Yc轴与成像平面坐标系的x、y轴平行。

3) 图像像素坐标系(u,v)

数字图像在计算机中是以成千上万的像素点呈矩阵排列的方式存在的，定义像素点的初始元素为坐标原点，建立图像像素直角坐标系u-v。

4) 成像平面坐标系(x,y)

成像平面是无人机所搭载的摄像机内部成像面对应的像平面坐标系。

1.1 成像平面坐标系与图像像素坐标系之间的位置关系

数字图像在计算机中是以成千上万的像素点呈矩阵排列的方式存在的，假设数字图像的像素点矩阵为M×N数组，对于图像像素直角坐标系u-v，每一个像素坐标代表该像素点在图像中的位置分布，并不是在成像平面的物理坐标，所以需要建立成像平面坐标系与图像像素坐标系之间的位置关系，可以根据图片中的像素点位置确定摄像机成像平面的物理坐标，如图1所示。

如图1所示，图像像素坐标用(u,v)表示，O0为坐标原点(O0为拍摄图片左上角第1个元素位置)，成像平面坐标用(x,y)表示(单位为mm)，O1为坐标原点(O1为镜头光轴与成像平面的交点)。O1一般位于摄像机拍摄图片的中心点，可能由于制造技术的原因，在生产校核时像素在x轴和y轴方向存在一定的偏离。设各像素点在x轴和y轴方向上的物理尺寸为dx、dy，则摄像机拍摄图片的任意像素点坐标与成像平面坐标存在如下转换关系：

(1)

用齐次坐标与矩阵形式将式(1)表示为

(2)

其逆关系为：

(3)

1.2 摄像机坐标系与世界坐标系之间的位置关系

无人机所搭载的单目定焦摄像机可以出现在环境空间的任一地方，所以需要建立一个世界坐标系来描述无人机搭载的摄像机所在位置，用(Xw,Yw,Zw)表示。摄像机坐标系(Xc,Yc,Zc)则是以无人机所搭载的摄像机镜头的光心作为坐标原点，Zc轴与光轴重合，垂直于图像成像平面，且取摄影方向为正方向，Xc、Yc轴与成像平面坐标系的x、y轴平行。 它们两者的位置关系一般用旋转矩阵R与平移向量t来表示：

(4)

式中：R为3×3正交单位矩阵；t为3×3平移向量，0=(0,0,0)T。

图2为摄像机坐标系、图像坐标系与世界坐标系关系。

图2 摄像机坐标、图像像素坐标与世界坐标关系

1.3 单目定焦摄像机成像模型

设单目定焦摄像机的焦距为f，根据针孔成像原理，空间任意一点P与光心的连线与成像平面的交点即为成像投影点，这种关系叫做中心摄影，关系式如下：

(5)

结合式(2)(4)(5)，可以推导出世界坐标(Xw,Yw,Zw)与图像像素坐标(u,v)的关系，即由像素点可得实际三维坐标：

(6)

1.4 基于定焦摄像机的测距方法

基于管道图像识别的定焦摄像机测距方法，是通过巡线无人机飞行到不同的飞行高度，对所拍摄传回的管道图像进行特征提取，检测出管道在成像面形成画面的空间长度，利用单目定焦摄像机成像模型对空间几何进行自动换算，计算出无人机的飞行高度[4]。由于飞行时摄像机拍摄角度不同，可能导致测算出来的距离有一定的偏差。本文所讨论的测距方法简化了实际情况，假设世界坐标系与摄像机坐标系重合，拍摄时摄像机光轴与地面垂直，这样针对不同高度的两个位置拍摄的图像进行对比计算即可得到飞行高度信息。

因为单目定焦摄像机对场景的适应力有一定的局限，本文讨论的只是基于机器视觉的巡线无人机飞行测高问题。在实际测距过程中，无人机的飞行安全高度一般在100 m左右，在此飞行范围内摄像机采集的图像可以清晰显示，缩放比例变化较小，而且巡线无人机一般采取俯拍角度，拍摄时摄像机光轴与地面垂直，而对于光轴不垂直的情况不予讨论。

测距主要步骤[5-6]：

1) 计算巡线无人机飞行安全高度为100 m时的管道成像大小变化范围。一般测距摄像机参数需进行实验标定，假设摄像机标定参数准确。

2) 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何模型参数就是摄像机参数。摄像机参数可以通过传统相机标定法、主动视觉相机标定法、相机自标定法等计算得出。一般相机出厂时，参数已经标定好，所以本文在讨论时忽略镜头畸变等因素影响，设无人机飞行高度为H，管道直径为R，成像管径为r，摄像机焦距为i，根据小孔成像模型及相似三角形原理，可得管道成像管径r的计算公式为

r=R×i/H

(7)

根据摄像机成像关系几何模型(见图3)，假定管道为最小口径DN100管道、无人机飞行高度按100m、50m、镜头焦距35mm计算。管道成像效果估算如下：DN100管道在摄像机靶面上的成像尺寸为：r=R×35/100 000=100×35/100 000=0.035 mm。占图像垂直方向上的比例为：(0.035 mm/3.96 mm)×100/%=0.9%。计算可知：通过调节摄像机焦距或无人机飞行高度可以改变管径成像大小。

图3 成像关系几何模型

2 基于管道识别飞行高度检测及判定

对于巡线无人机采集的巡线图像，存入计算机后都以二维平面彩色图像呈现出来，通过对图像中的目标管道进行特征提取分析，包括其颜色、形状、大小信息，可以得到真实环境的三维信息。对图像的识别判断是无人机自动地形跟随的基础。飞行高度检测流程如图4所示。

图4 飞行高度检测流程

2.1 管道识别分割

得到采集的巡线图像后，需要对管道特征进行提取识别。将巡线图像转换到HSV颜色空间，从原图中选取管道样本区域，设定为感兴趣区域ROI(region of interest)，计算区域样本颜色平均值，然后根据原图每个像素点和样本颜色平均值的距离进行聚类分割[6-7]。利用Canny算子对分割图像进行边缘检测，获得分割图像的区域轮廓，再进行直线霍夫变换检测图像中的直线，并进行直线拟合，提取出图像中最长直线段作为管道目标[8-10]，标定出图像中的管道，见图5。

图5 管道识别分割

2.2 提取管径成像宽度

对分割的二值图像管道区域进行区域检测，利用Matlab图像处理regionprops函数“MinorAxisLength”检测像素意义下与分割区域具有相同标准二阶中心矩的椭圆的短轴长度，并将该长度作为成像管径宽度r。

2.3 飞行高度判定

将成像管径宽度r代入式(7)换算得到飞行高度H，判断是否处于50～100 m安全飞行高度之间，及时调整飞行高度，确保无人机安全飞行，并在巡线管理平台显示窗口显示实时飞行高度。算法流程如图6所示。

图6 管道图像识别测距飞行流程

3 结束语

目前，无人机市场属于开发阶段，大部分研发项目停留在飞行控制、数据传输等硬件层面，对于无人机遥感数据后处理领域研究较少。本文结合油气管道巡线特点，提出了一种基于单目定焦摄像机的无人机油气管道巡线地形跟随方法，相比无人机上搭载激光测距仪、声纳测距仪等进行主动测距的方式，该方法更为经济且降低了飞机载荷，提高了飞行智能化程度，为无人机安全飞行提供了一种有效思路。但本文对建立的算法模型进行了简化，忽略了相机参数、飞行角度等因素的影响，距离实际应用还有一定差距。

[1] 浦家宁.军用输油管线[M].北京:解放军出版社，2001.[2] 贺振,李琼砚,阚江明.基于立体视觉的摄像机标定方法的研究[J].科技创新导报,2012(15):16-17.

[3] 杨彦景.摄像机标定与畸变图像矫正算法的设计与实现[D].沈阳:东北大学,2008.

[4] 冯志辉,刘恩海.用于激光测距的高精度时间数字转换电路[J].光学精密工程，2010,18(12):2665-2671.

[5] 陈广东,曹杰.小型无人机电视引导撞网回收中的电视图像测距方法[J].南京航空航天大学学报,2004,36(6):769-773.

[6] 杨旭,赵径通,高升久.基于Harris算法的直线提取方法[J].电子技术与软件工程,2016(4):81-82.

[7] 张振杰,郝向阳,刘松林,等.基于 Hough 一维变换的直线检测算法[J].光学学报,2016(4):158-165.

[8] 曹建秋,王华清,蓝章礼.基于改进YCrCb颜色空间的肤色分割[J].重庆交通大学学报(自然科学版),2010,29(3):488-492.

[9] 高伟,王志衡,赵训坡,等.基于HSI颜色空间的棉花杂质高速实时检测方法[J].自动化学报,2008,34(7):729-735.

[10]唐羊洋,叶华平,吴书金,等.基于波段与形状特征的遥感影像建筑物分类提取[J].后勤工程学院学报,2016,32(1):93-96.

(责任编辑 陈 艳)

Research on Unmanned Aerial Vehicle Pipeline Tracking Method in Undulating Terrain

YONG Qiwei1， YU Yanjia1， CHEN Yan1， LI Yun2， ZHUO Yue2

(1.The Military Supply Department, Logistical Engineering University of PLA, Chongqing 401331, China； 2.PLA Shenyang Logistics Center of Shenyang Oil Depot, Shengyang 110000, China)

In the use of unmanned ground pipeline inspection, general ideal operation flight height is about 100m, and the UAV will set the height along the initial fixed altitude in flight. If you encounter rugged terrain in flight, you need the advance exploration of topography and altitude adjustment. This method will increase the workload, but also meet the GPS signal weak areas prone to error; in addition, it can also be used in automatic measuring mode to realize the intelligent flight. And active ranging through the equipment in the UAV is equipped with a laser rangefinder, sonar range finder, which has the advantages of high precision, but this will increase the load and cost of UAV. This paper presents a monocular vision measuring method focusing camera based on image extracted according to the analysis of the principle of pinhole imaging characteristics of pipeline image and gets the actual distance of the UAV distance pipeline. The method is simple and efficient, and is conducive to realize the line automation.Key words: ground pipeline; unmanned aerial vehicle (UAV) inspection; visual range measurement;

2017-03-14 基金项目：国家自然科学基金资助项目(51475469)

雍歧卫(1967—),男,四川南充人,硕士,教授,主要从事石油与天然气工程研究，E-mail:270245904@qq.com；通讯作者 喻言家(1993—),男,湖南岳阳人,硕士研究生,主要从事石油与天然气工程研究，E-mail:270245904@qq.com。

雍歧卫,喻言家,陈雁,等.地面管道无人机巡查起伏地形跟随方法[J].重庆理工大学学报(自然科学)，2017(8):158-162.

format：YONG Qiwei，YU Yanjia，CHEN Yan,et al.Research on Unmanned Aerial Vehicle Pipeline Tracking Method in Undulating Terrain[J].Journal of Chongqing University of Technology(Natural Science)，2017(8):158-162.

10.3969/j.issn.1674-8425(z).2017.08.026

TE832

A

1674-8425(2017)08-0158-05