基于热成像的FPV无人机搜救系统设计

莫雄 连涛 蔡定邦 陈倍昌 张剑彬

摘要：全国每年都会出现户外人口失踪事件，但野外救援通常采用人力搜寻的方式进行救援，具有高延时性、低效性、人力资源浪费的缺点。针对这种情况，设计一台搜救FPV无人机，把红外热成像仪搭载在无人机上，红外热成像仪与图传模块发射端连接，将航拍得到的图像无线传输到搭载图传模块接收端的电脑端，电脑端接收图像后进行人体识别算法，并且在原图像上勾勒人体形状后形成新图像，再通过图传模块发射端无线传到FPV眼镜。基于热成像的FPV无人机搜救系统，可以自动识别人体，并且传输的第一视角图像提供更大的视野，能够帮助有关人员搜寻失踪人员。

关键词：热红外成像;可穿戴设备;四旋翼无人机;FPV眼镜

中图分类号：TD324 文献标志码：A

文章编号：1009-3044（2019）35-0192-02

1 概述

随着民用无人机技术应用领域不断地拓展和深入，未来将迎来“无人机+”的时代。[1]搭载摄像头的四旋翼无人机是我国应用广泛的一项航空摄录设备，基于其自身的响应速度快、可远程操控、运行成本低、提供实时数据等优势，可以用于复杂地形的检测工作[2]。

FPV无人机拥有第一视角视野广阔的优点，可以比传统第三视角的显示屏更有效地发现受困人员。红外热成像仪具有非接触、直观、操作方便、安全、单次检测面积大等诸多优点，并且针对可见光易受光照变化、夜间可视性以及其他环境因素影响的情况，采用红外热成像仪可以有效避免上述问题[4]。

2 设计方案

整个设备的整体构架如图1所示，主要分为无人机、红外热成像仪、图像处理三大部分。无人机使用PX4飞控作为飞行控制器主芯片。图传模块发射端使用VT5804-V3模块，图传模块接收端使用RC832模块。系统将红外热成像仪与飞行控制器、VT5804-V3模块连接。可以将图像输出传输到连接RC832模块的电脑上，电脑端读取传输到的图像并且用对应人体识别算法，对图像进行人体识别，将通过方框勾勒人体后保存为新图像。再通过另一个VT5804-V3模块将处理后的图像传输到FPV眼镜上。

3 硬件设计

3.1红外热成像仪

红外热成像仪是利用红外探测器、光学成像物镜和光机扫描系统接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏云上，在光学系统和红外探测器之间，有一个光机扫描型热摄像机或者热释电电视摄像机对被测物体的红外热像进行扫描，并聚焦在单元或分光探测器上，由探测器将红外辐射能转换成电信号，经放大处理、转换或标准视频信号通过电视屏或监测器显示红外热像图像[5]。

根据系统对于野外救援对温度感知的需求，选择被动式红外热成像仪。具体型号选择FLIR DUO无人机用微型红外与可见光双视融合相机。其包含1080P可见光相机和160*120分辨率红外热成像相机，可以自由切换可见光、红外相机模式。并且采用了特有的MSX融合技术，将可见光拍摄到的关键细节信息实时添加至红外图像中形成融合图像，可大幅度提高画面质量和轮廓清晰度。并且可搭配GoPro云台进行使用，保持拍摄平稳性。

3.2无线图传模块

图传模块分为发射端和接收端。一般来说，图传模块分为模拟图传和数字图传。对于无人机来说，低延时的传播速度可以保证观测到的图像是第一时间观测到的，传播距离远有利于飞行的安全性。根据实际情况，采用低延时和传播距离远的模拟图传。

综合多种因素，我们选择熊猫图传的VT5804-V3，这是工作在5.8GISM频段内的5.8G模拟图传发射模块。使用RC832产品作为接收端，该产品是一个裸机接收端，可以在后续制作中接入显示屏或者是FPV眼镜。同样工作在5.8G，具有38个频点，保证了接收的稳定性。图传模块接收端后连接视频采集卡插入电脑，再使用potplaer视频处理软件，将其视频格式输出为MP4文件供Python软件进行处理。

3.3飞行控制器硬件芯片列表

PX4飞控采用STM32F427芯片作为主处理器，其主频最高可达168MHZ，高精度的主频可以保证运算的性能。且集成了FPU（专用于浮点运算的处理器），因为在飞控的算法运算中需要用到大量的浮点数，内部集成FPU可以带来更好的运算性能。PX4飞控内部集成的（MCU）微处理器包括了双三轴加速度计、三轴磁力计、双三轴陀螺仪、气压计。其中双加速度计的方案可以减少单加速度计在各种环境因素下产生的混淆噪声干扰，可以极大地改善飞行稳定性。并且还具有一块STM32F103芯片作为故障协处理器芯片，提供对意外事故的应付能力。

3.4 FPV眼镜

FPV眼镜是用于航模飞行时实时将飞机上无线传回的视频信号接收后在眼镜里显示出来，相当于用VR眼镜的显示方式替代传统的显示器，并且相比于VR眼镜不同的是，在FPV眼镜上集成了视频采集处理器和无线图传接受设备，使得FPV眼镜可以无线接收图传模块发射端发射的图像信号。通过使用FPV眼镜可以更好地模拟人眼，换取更大的视野范围，以及比显示屏更真实的视野情况。

4 系统软件设计设计

4.1无人机飞行算法设计

无人机飞行核心算法有捷联式惯性导航系统、卡尔曼滤波器、PID控制器。捷联式惯性导航系统就是利用载体上的加速度計、陀螺仪这两种惯性传感器，去分别测出飞行器的角运动参数和线运动参数，由处理器通过惯性导航算法推算出飞机的姿态、速度、航向、位置等导航参数;卡尔曼滤波算法采用信号与噪声的状态空间模型，利用前一时刻地估计值和现时刻地观测值来更新对状态变量的估计，求出现在时刻的估计值。

由于PX4飞控有一个开源社区在维护，代码系统比较完整。通过使用PX4飞控原生的Pixhawk固件可以比较容易地实现对无人机的飞行姿态结算以及飞行操控。组装好无人机后，我们需要根据自身情况调节PID参数，即可实现无人机的平稳飞行。再通过改变应用层代码来对PX4飞控二次开发。

4.2热成像人体识别算法设计

首先需要对图像进行预处理，即进行对噪声的滤波和对比度的增强[7]，采用中值滤波算法使得画面更加平滑，直方图均衡算法对图像黑白对比度进行加深，即画面颜色更亮。通过这两个算法对图像进行优化以方便后续算法的进行。

在对图像进行优化后，我们需要对感兴趣区域进行勾选，即对人体进行勾选。由于人体特征已被其他物体遮挡，所以我们选择较复杂的特征进行提取。使用目标高宽比和目标形状分散度作为特征点，即勾选目标的矩形框框中最小矩形的高度和宽度之比，和勾选目标框框中周长平方和面积之比。之后通过训练BP神经网络得到分类器，利用分类器对图像进行识别。本部分通过在Python中写入算法，再利用numpy库进行神经网络库函数调用，再通过调整训练度的值，进行训练，直到训练效果成功。

4.3 FPV眼镜软件设计

显示技术是VR眼镜的核心，显示技术包括：交错显示、画面交换、视差融合。

使用FPV眼镜与交错模式搭配，则只需将图场垂直同步讯号当作快门切换同步讯号即可，即显示单图场（即左眼画面）时，立体眼镜会遮住使用者的一只眼睛，而当显示偶图场时，则切换遮住另一只眼睛，如此周而复始，便可达到立体显像的目的。

画面交换画面交互的工作原理是将左右眼图像交互显示在屏幕上的方式，使用FPV眼镜与这类立体显示模式搭配，只需要将垂直同步讯号作为快门切换同步讯号即可达成立体显像的目的。而使用其他立体显像设备则将左右眼图像（以垂直同步讯号分隔的画面）分送至左右眼显示设备上即可。

视差融合的工作原理是让左眼与右眼图像的差异持续在屏幕上表现出来，通過控制处理器送出立体讯号到屏幕，并同时送出同步讯号到3D立体眼镜，使其同步切换左、右眼图像，使得两只眼睛分别看到不同的景象，产生立体效果。

5 结束语

本项目通过采用红外热成像仪与四旋翼无人机相结合，通过2.4G遥控技术远程遥控无人机，遥控过程中通过红外热成像仪拍摄图像，图像通过图传设备传回对应的无人机用电脑，通过使用中值滤波和直方图均衡算法对图像进行预处理，之后勾选高宽比和形状分散度作为特征值后使用BP神经网络训练并识别人体，并且将勾勒人体加载在图像中，再通过图传模块传回FPV眼镜中。实现了在无人机上搭载热成像相机，并且进行了对红外图像下的人体识别。

参考文献：

[1]金锋淑，朱京海，李岩.“无人机+”时代城乡规划探索[A].中国城市科学研究会、海南省规划委员会、海口市人民政府.2017城市发展与规划论文集[C].中国城市科学研究会、海南省规划委员会、海口市人民政府：北京邦蒂会务有限公司，2017：6.

[2]罗彦鹏.无人机在消防灭火救援工作中的运用[J].中国科技信息，2019（13）：56+58.

[3]卓星宇.无人机山区搜寻方法研究[D].中国民用航空飞行学院，2017.

[4]电科小氙.五项新能力推动无人机革命[N].中国航空报，2019-09-10（007）.

[5]李梅芳，王静，张会芝.浅谈红外摄像机原理及其应用[J].中国高新区，2018（09）：22-23.

[6]李建福.红外图像中人体目标检测、跟踪及其行为识别研究[D].重庆大学，2010.

[7]郭家欢.基于单帧红外图像的行人检测[D].吉林大学，2008.

【通联编辑：梁书】

收稿日期：2019-10-11

基金项目：国家大学生创新创业训练计划资助项目（201910595025），国家大学生创新创业训练计划资助项目（201610595014）

作者简介：莫雄，男，桂林电子科技大学本科生在读学生。