基于无人机热成像的作物冠层温度测量系统

2021-09-09邓力元周浩宇毛凌青黄佳琪

现代计算机 2021年19期

邓力元，周浩宇，毛凌青，黄佳琪

(湖南农业大学信息与智能科学技术学院，长沙 410128)

0 引言

我国是人口大国，也是农田大国，同时也是农田灾害多发国之一。农田旱灾一旦发生，会使农作物减产，严重影响农业发展。及时获取农作物水分胁迫状况对提高农业用水效率，减少农业旱灾损失有十分重要的意义。本项目研究农田的水分情况，对农田水分进行监测，及时获取农作物水分胁迫状况。减少农作物因缺水生长不良，死亡的损失，达到精准灌溉农田的目的[1]。目前，遥感技术的创新大大推动了对现代化农业生产的应用，使通过获取冠层温度来预见作物水分亏缺信息变成一个热口的研究[2]。近年来，热红外成像技术日益成熟，热红外遥感传感器的发展十分迅速，Merlin等人建立了以可见光热红外方法为基础的微波土壤水分降尺度方法，降尺度方法的核心是建立土壤蒸发比和土壤水分的关系，进而实现不同尺度的土壤水分转换[3-4]。

1 热成像图像处理

本部分通过可见图片和热成像图片的结合对植物图像进行处理，先是处理可见光图片以实现植被部分提取，再到相应的热成像图片中根据可见光图片中植物的位置提取出热成像图片对应植被。通过像素值与温度的转化可以得到作物冠层温度。

1.1 植物识别

由于热成像的成像原理是基于物体的红外热辐射，其图像不反映物体形态特征，单独使用热成像图片提取作物较为困难，所以本系统采用可见光摄像头与热成像摄像头结合的方式来识别作物冠层。

1.1.1 可见光图片识别

作物在田地中在可见光形式中主要以绿色呈现，相比于周围土壤环境而言，对比度较强，可通过可见光图像识别出植物在图像中的分布。可见光识别在RGB色域以及HSV色域上实现，预先设定绿色植物在可见光图像中的RGB三通道和HSV三通道的阈值范围，色值在阈值范围内的像素点则判定为植物部分。

(1)

(2)

通过实验，可得出RGB色域与HSV色域的阈值范围如式(1)(2)，植物叶片识别结果如图2、3所示。

图1 可见光图片

1.1.2 热成像中提取作物

为使可见光图像与热成像图像上植物部分位置的相互对应，实验前选用的可见光摄像头与热成像摄像头的焦距一致，在相同角度与相同距离拍摄的图像中，植物部分对应的像素点数相对于整体图像的占比一致。对应关系如式(3)所示：

(3)

式(3)中，dl与dt表示一像素点在可见光图像和热成像图像上对应的位置，Wl与Wt表示可见光图像和热成像图像的高度或宽度。

由于可见光摄像头与热成像摄像头在拍摄角度与拍摄距离一致性上存在一定误差，则可见光图像识别的植物部分对应在热成像图像上时，存在少部分像素点对应在周围环境上。在实验中，去除所有植物像素点中在热成像图像上对应的灰度值最高的1/5和最低的1/5的像素点，只选取可见光图像识别的植物部分像素点数的3/5对应在热成像图像上，提取结果如图3、4所示。

图3 热成像图片

图4 最终图片

1.2 热成像像素值与实际温度值的转化与校正

1.2.1 校正原理

在理想的情况下，红外热成像摄像头各探测单元的光电特性应该一致，受到均匀的热辐射信号时，每个探测单元的输出信号也应该相同。但由于各器件在生产时受材料和做工技术等影响，以及实际场景中各噪声的干扰，使得各探测单元的响应率并不一致，最终导致生成的图像含有非均匀性噪声[5]本系统需要对热成像像素值与实际温度值进行对应转换，对热成像图像的均匀性有较高的要求，故需要在转换前对图像进行非均匀线性校正。

经试验，OpenMV上的红外热成像Plus FLIR Lepton模组响应所关注的温度变化范围内是线性变化的，同时时间稳定性尚可，受随机噪声影响较小，本系统的非均匀线性校正采用两点校正法实现[6]，根据两点校正法原理，每个探测单元的响应可表示为：

yij(x)=wijx+bij

(4)

式(4)中，x为热辐射信号强度，此处作为物体实际温度值，yij(x)表示i行j列探测器单元的输出响应即像素值(0-255)，wij表示该探测单元的权重，bij表示该探测单元的偏移量。热成像设备在时间上是稳定的，则每一个探测单元的wij、bij值将不随时间而变化，是固定的值。

1.2.2 校正实现

对于每一探测单元wij、bij值的标定，采用梯度下降法实现。选取多杯不同温度的水，用温度计分别测出水的温度值，并用热成像逐一拍摄。热成像图像的像素值与该像素值对应的实际温度值可表示为：

Y=W*X+b

(5)

式(5)中，Y、X、W、b均为m*n的矩阵，Y表示图像每一像素的像素值，X表示该像素对应的实际温度值，W表示权重系数，b表示偏移量。其中，Y的值可通过热成像拍摄获取，X的值可通过温度计测量得出。

(6)

式(6)中，α表示学习率，Y′表示预期像素值，Y′是通过在室内测量水的温度与其热成像的像素值，通过对温度与像素值进行基本拟合[7]到其函数关系得到的。梯度下降法大量应用于线性回归问题中，通过多次重复实验并不断优化，最终可求得每一探测单元wij、bij的值，解决热成像图像非均匀性的问题，同时求得像素值对应的实际温度值。

2 系统设计与仿真

2.1 系统整体设计

本系统无人机选用的是F450机架，主控芯片为STM32F407，飞控采用APM2.8飞控，无人机装载GPS用于定位，GPRS用于传输数据。无人机装载一个可见光摄像头和一个热成像摄像头，通过一个舵机将两者连在一起。热成像摄像头选用的是OpenMV4加载热成像摄像头芯片。通过遥控器控制无人机的飞行，接收机接收到遥控器发送的对应信号，将其传给主控芯片，主控芯片处理并区分出不同的信号，执行对应信号的功能。首先遥控器发出起飞信号后无人机一键起飞，之后使四轴无人机保持低空飞行，当进入划分的作物区域后无人机通过串口发送信号给OpenMV4进行自动拍照，并将数据传送给PC端。PC端通过OpenCV对可见光图像进行处理提取出作物冠层，根据处理得到的作物冠层在可见光图像中的位置可以在热成像图像中找到对应位置从而提取出热成像照片中的作物冠层，根据像素值和温度关系曲线，可以得到作物冠层的温度。系统流程图如图5所示。

2.2 硬件设备

2.2.1 无人机选择

四轴飞行器结构简洁，制造材料简单，性价比极高、体积小、可控，不仅可以用于军事方面监察敌情方和地貌特，也可以用在民用方面，用来航拍、农业植保[8]无人机的主控芯片使用的是STM32F407，STM32F407工作频率高达168 MHz，具有高达1MB的Flash，共有14个定时器，共有12个ADC采样通道，完全试用于四轴无人机的开发。无人机飞控采用APM2.8飞控，无人机配置了气压计、GPS、GPRS。气压计可以使无人机获得海拔高度，实现定高功能。GPS用于无人机的定位，使无人机完成自主巡航自动返航功能。GPRS用于无人机与PC端的数据传输。

图5 系统流程图

2.2.2 OpenMV模块

OpenMV是一个开源，低成本，功能强大的机器视觉模块[9]。OpenMV采用STM32F427，处理速度快，功耗低。OpenMV上的机器视觉算法有很多包括寻找色块、人脸检测、眼球跟踪、边缘检测、标志跟踪等。在OpenMV上加入红外热成像Plus FLIR Lepton模组，可以拍摄出农作物冠层的热成像图片。根据像素值与温度的对应关系可得到作物冠层温度。