基于HSV透射率加权修正的机载视频去雾系统设计

王 健，秦春霞，杨 珂，任 萍，郑 洁,3，赵远鹏，陈贵锋

（1.西北工业大学电子与信息学院，陕西西安710129；2.西北工业大学第 365 所，陕西西安710065；3.山西汾西重工有限责任公司，山西太原030027；4.国家电网陕西省电力公司检修公司，陕西西安710000）

在无人机对地侦察中，需要实时获取地面感兴趣目标较为清晰的图像数据，但空中雾霾等因素会影响获取的图像质量.针对雾天获取机载图像降质的问题，需要设计无人机机载视频去雾实时处理系统，最大限度地实时、有效获取侦察影像信息，优化影像视觉效果.因此，系统既要可靠去雾又要满足机载低延迟、低功耗处理要求.目前，相关学者已经提出多种去雾算法和实现方法.在去雾处理算法方面，He等[1]提出基于暗通道先验的图像去雾算法，利用软抠图细化透射率.随后He等[2]采用导向滤波来提高效果，但该算法对空中区域的处理效果尚需改善.Berman等[3]利用不同的透射系数恢复了距离图和无雾图像.Meng等[4]提出一种有效的正则化去雾算法，通过探索固有的边界约束来恢复无雾图像.范新南等[5]利用亮通道先验和模糊聚类对雾图进行场景分类.Chen等和Hu等[6-7]提出一种基于联合局部全局光照调整的自适应单图像去雾算法，以代替大气散射模型中的全局大气光照常数.Zhao等[8]利用增加输入数据量来解决输入卷积层特征维问题，为深度图的恢复提供了更多的信息.Liu等[9]提出一种亮度重建方案，使用能量项来实现亮度和对比度之间的良好折衷.最近，基于深度学习的方法被应用于图像中的云雾去除.Qin等[10]提出将薄雾模拟为各波段的模糊，并应用多尺度去雾卷积神经网络（convolutional neural network，CNN）去除薄雾.Singh 等[11]首次将生成性对抗网络（generative adversarial network，GAN）用于云雾去除，提出云雾生成对抗模型方法，进一步提高去雾性能.Ding等[12]利用残差学习将给定的模糊图像直接投影到残差图像模糊图像和相应的模糊图像上，通过将估计的残差相加得到无雾图像.在去雾算法工程实现方面，周晓波等[13]在FPGA（field programmable gate array）中采用乒乓操作缓存和流水线处理方式，解决对比度自适应直方图均衡化方法.张海滨[14]采用FPGA的并行处理等系统平台实现相关去雾算法软件设计.匡娇娇等[15]基于暗原色去雾模型，在 DSP（digital signal processing）中估算雾浓度并恢复出高质量的图像.Zhang等[16]采用易于 VLSI（very large scale integration）设计的自适应滤波技术，对传输图进行细化，提高了去雾效果.上述去雾算法在 FPGA、DSP和 VLSI硬件实现，需要解决诸如算法复杂度、时序、逻辑功能和外围接口电路等复杂问题.为了满足对地侦察机载去雾低功耗、实时、可靠去雾指标要求，本文选择去雾处理芯片TS1601特性，并结合i.MX6嵌入式系统，提出一种满足无人机战技指标的机载图像HSV（hue，saturation，value）透射率加权修正的去雾方法，并由此完成相关去雾系统设计、去雾参数分析控制、实时去雾处理、去雾视频压缩处理、接口电路和指令响应等设计，最后通过实验测试验证本系统的有效性.

1 系统总体方案

机载视频去雾系统总体方案处理流程如下：首先，采用Techwell公司TW9912[17]对模拟摄像头数据进行隔行/逐行视频数据采集，采用Semtech公司GS2971[18]对高清摄像头数据进行采集，完成BT.656/BT.1120数字视频输出；其次，采用TSSI公司专用去雾处理TS1601[19]，解决基于HSV透射率加权修正的BT.656/BT.1120机载数字视频的去雾处理算法实现；接着，采用Freescale公司i.MX6[20]嵌入式平台完成对TS1601去雾透射滤加权修正控制参数评估、去雾控制和遥控遥测指令处理；最后，针对信道受限情况，设计i.MX6的H.264压缩和数据组帧[21]等工作.系统总体框图如图1所示.此外，设计TS1601和 TW9912 采集芯片 I2C（inter-integrated circuit）接口 控制 功 能、 GS2971 芯 片 GSPI（general serial peripheral interface）接口配置和控制、遥控/遥测指令处理电路完成机载遥控接收和遥测指令回报等[22].

图1 机载视频去雾系统总体框图Fig.1 Overall block diagram of airborne video dehazing system

2 系统设计与实现

根据机载嵌入式去雾系统功能需要，需要完成系统去雾处理初始化、系统去雾控制、去雾算法设计、系统视频去雾处理设计等工作.

2.1 系统去雾处理初始化设计

系统去雾处理初始化设计完成视频接口芯片TW9912和GS2971，i.MX6嵌入式系统串口、定时器和 GPIO（general-purpose input/output）口等系统相关处理事件初始化，其他功能设计如下：

1）机载去雾系统初始化：系统通过初始化完成相关TS1601去雾接口和状态配置，需要关闭系统中断响应，去雾配置完成后再根据需要开启中断.

2）TS1601芯片的去雾功能初始化：根据机载视频去雾处理要求，完成TS1601芯片的去雾处理算法设置，去雾算法透射率参数修正等采用配置脚本方式，可快速、准确实现机载去雾处理模式设置.设计的TS1601去雾模块初始化流程如图2所示.

图2 TS1601 模块初始化流程Fig.2 TS1601module initialization process

2.2 系统去雾控制设计

为实现机载去雾处理系统设计，需要根据系统硬件设置和控制参数情况，调用去雾参数分析设计的配置文件，完成相关硬件功能控制设计，包括：I2C总线的控制、串行外设接口FLASH中XDATA设置、视频信号检测和模式配置、视频编码设置、视频 OSD（on-screen display）设置、去雾窗口状态等，相关实现流程如图3所示.

1）I2C总线设计：计算I2C的实际频率为53kHz，将占空比的值写入到占空比寄存器_rcI2C_SCLC中，将_rcI2C_ADDRESS地址寄存器配置为0x00，_rcI2C_DATA数据寄存器配置为0x00，_rcI2C_STATUS状态寄存器配置为0x00.

2）TW9912控制设计：i.MX6芯片通过 I2C 总线自动检测前端视频A/D芯片，i.MX6发送芯片地址0x8A到I2C总线上，并读取设备芯片的ID号0x60，按照机载视频采集需要设计TW9912寄存器，完成隔行/逐行、BT.656/BT.1120输出等模式[16].

3）GS2971控制设计：采用I/O电平控制与SPI接口相结合的方法，通过i.MX6配置为20位和10位BT.656/BT.1120数据输出，配置为多分辨率高清数字视频，系统可根据机载高清视频需要输出[12].

总之，系统可根据机载视频采集模式需要设计去雾控制，完成 NTSC720、PAL720、1080P25和1080P30等模拟和数字视频采集.因此，采用这种多模式多分辨率的视频采集模块设计的系统通用性和适应性更好.

系统去雾平台设计包括前端采集设备的检测，去雾功能的脚本初始化以及输入信道等设计.系统去雾平台实现流程如图4所示.

图3 系统去雾控制实现流程Fig.3 System control initialization process

图4 去雾平台实现流程Fig.4 Software design process for platform initialization

1）去雾功能脚本初始化：根据机载去雾处理功能需要，按照HSV透射率加权修正的去雾处理算法进行脚本参数设置，读取脚本文件各个参数并进行相应配置，系统初始化时，可以根据系统硬件设置和控制参数情况，直接调用对应脚本文件，能够快速直接准确配置模块参数，最终完成TS1601芯片去雾功能、工作模式和参数的配置[12].

2）输入信道的设计：将输入信道设置为前端对应模拟和数字视频采集芯片的输入.

3）视频编码器更新：根据机载视频编码器TW9912和GS2971采集分辨率等参数需要，完成诸如 NTSC720、PAL720、1080P25和 1080P30等模拟视频编码或者数字视频编码器设计.

4）系统平台参数和OSD参数设计：根据机载处理需要，设计机载平台各项控制参数、OSD等相关功能参数设计.

5）设计无人机视频H.264压缩码率受控内核循环处理，解决压缩编码的运动估计搜索范围、最大关键帧间距、SPI接口缓冲区码率控制机制问题，完成系统SPI输出码率受限软件设计[21].

2.3 算法设计

无人机对地侦察时需要进行高空远距离垂直拍摄，无人机侦察图像相对于一般文献算法所研究的雾天图像具有独特的特点：

1）无人机机载视频场景大多是高空远距离拍摄，变化缓慢、低亮度和低对比度的场景，场景中各景物透射率受雾等因素的影响大体相同.

2）机载侦察图像涉及范围广，获取侦察图像涉及场景繁杂，有湖泊河流、荒地丘陵和浅色建筑等区域，部分侦察获取图像含有大比例不符合暗原色先验的区域.

在解决上述问题基础上，机载去雾系统应具有快速有效、实用以满足对地实时观测需要，应针对机载图像特点和实际工程情况设计去雾算法.因此，机载视频去雾算法采用基于HSV透射率修正的改进暗原色先验单幅图像去雾方法.系统采用大气散射模型[1]表示为

机载实时图像去雾处理需要解决图像对比度和亮度退化情况，通过对机载图像分析以建立雾天图像透射率算法模型.在求取透射率图时使用最小值滤波算法建立透射率并不符合高空远距离图像场景变化较小、缓慢，亮度和对比度较低的场景[1-3,5].对于机载去雾处理低延迟、高对比度等处理要求，改进的去雾算法复杂度又较高[3-5].对于远距离超低能见度的地面雾霾图像，通常采用的去雾算法还会出现机载图像处理后的噪声较大[2,4]，因此需要进行针对性的改进.本文针对机载图像视场变化缓慢以及低对比度和亮度等的快速去雾处理要求，根据机载含雾图像HSV信息的差异，分别对HSV各分量进行特征提取，提出一种基于透射率加权修正的机载图像去雾算法.

第一课时安排：讲解血液的基本成分、实验选材问题以及如何从血液中提取和分离血红蛋白的实验思路等基础知识。组织学生对血液样品进行处理（红细胞的洗涤、血红蛋白的释放、分离血红蛋白溶液、透析等实验操作步骤）。课后，组织部分学生配制电泳相关溶液及试剂、组装电泳装置、制胶等。

机载图像的H(i,j)、S(i,j)和V(i,j)各特征分量的平均值分别为

由于雾天环境下场景亮度通常不及大气光值，复原后的图像亮度会出现一定程度的降低，所以需要调整图像的整体亮度以提高图像质量.根据文献[22-23]对于雾天图像类型及其HSV各分量分布特征图和参数分析，结合所研制型号无人机机载含雾图像数据测试，按照无人机总体设计对机载图像去雾处理系统技术指标要求，进一步将机载含雾图像按照如下含雾等级设定.

含雾图像等级1：

含雾图像等级2：

式中：&&表示“与”.

在雾天条件下，大气光线发生散射和被吸收会导致光线衰减，机载图像对比度和亮度信息一般比较低，并且距离无人机越远的地方越模糊不清.针对上述分析，基于透射率具有局部区域内恒定不变的特性，为了提高透射率估计算法的运行效率，采用含雾图像HSV分量加权修正等级确定透射率方式，使天空区域的透射率比较准确，在含雾图像等级1的区域利用透射率对含雾区域进行加权修正，使天空含雾区域的对比度和亮度增大；而在含雾图像等级2的区域需要对透射率保持基本不变.该方法得到的修正的透射率既满足了透射率的局部区域一致性，对图像含雾区域具有自适应性，又大大提高透射率的效率.定义透射率为

式中：阈值K定义为含雾图像中对比度大于图像分量S对比度阈值（一般取S=2）的像素值个数p与总像素点个数 n相比，即K=p/n.

无人机机载含雾图像表现为对比度较差，所取K也应该不同：图像中对比度区域较小的图像选取较大K值；反之，选取较小K值.本文采用含雾等级去雾处理方法，不同于文献[2-4]中的复杂参数算法，计算效率得到提高、系统实时性也得到保障.

2.4 系统视频去雾处理设计

机载去雾处理功能的设计需要根据机载处理需要[6]，对机载视频图像的HSV颜色空间进行特征分量提取，采用HSV透射率加权修正的视频去雾算法，完成系统视频去雾处理设计.系统视频去雾处理具体实现：根据前端视频图像采集模式更新相应去雾脚本参数、获得去雾事件的ID号和去雾模式，通过机载去雾模式设置去雾芯片TS1601的工作模式.若去雾模式为0，设置TS1601去雾工作模式为关闭；若去雾模式为1，则利用串口控制去雾芯片TS1601工作在高电平的全双工模式；若去雾模式为2，则利用串口控制去雾芯片TS1601工作在低电平的全双工模式.

3 实验测试

为验证本文方法有效性，分别从无人机拍摄和百度图像库下载的数据集中选择典型含雾图像进行去雾处理，如图5所示.

图5 去雾前和去雾后处理效果对比Fig.5 Comparison before and after dehazing

从含雾等级1结果看，由于含雾量一般，应选取较小的阈值参数，区域透射率保持不变；而含雾等级2其含雾量较大，应选取较大的阈值参数，区域透射率需要进行调整，两种等级去雾后的图像都接近于自然.本文算法因为准确地估计出了含雾图像各个场景的入射光，所以恢复图像具有较好的对比度和亮度，在光线较暗的区域恢复图像细节能力较强.为验证本文方法优越性，对图6从上到下的原始含雾图像1到含雾图像3分别选择典型文献[2-4]的去雾方法和本文算法在测试平台进行比较.由图6可见，文献[2]对于大部分图像具有良好的去雾效果，但存在对大气光近似目标场景估计不足等问题，导致去雾后图像缺乏层次感、整体亮度偏暗并存在失真情况，图6（b）第2幅图像明亮区域处理效果不理想，左上角还会出现不均匀色块情况，算法实现复杂度高、耗时较长，影响算法的实时性；文献[3]算法整体亮度和色彩对比度上有所提升，图6（c）第1幅图像远处的模糊场景并没有恢复到很清晰，图像的边缘处出现了伪轮廓，算法在性能改进同时进一步增加算法复杂度；文献[4]算法对于弱光照区域会出现对比度和亮度偏低的情况，如图6（d）第3幅图像所示天空区域图像信息丢失并出现色块，算法时间、空间复杂度高，不利于工程应用；本文方法不仅恢复出较好的去雾效果，而且在低亮度的环境下，图6（e）图像在提高图像整体亮度和细节同时，色彩保真度和视觉效果方面也有很好的表现，去雾图像更加清晰自然.

为了更加客观地比较含雾等级去雾处理的效果，利用方差函数、平均梯度函数、TenenGrad函数等3种清晰度评价函数，并作归一化处理[24-25]评价去雾效果，实验测试结果如表1所示.

由表1可见，本文方法绝大多数情况下各项评价指标是最优的，文献[3]和文献[4]算法在图6（c）第2幅图和图6（d）第1幅图TenenGrad函数指标客观评价要优于本文方法.进一步分析，选取其中第3幅典型图像定量比较，本文方法相较于文献[2-4]方法，方差函数归一化分别提高46.87%、1.44%、12.83%，平均梯度函数归一化分别提高12.54%、9.26%、11.15%，TenenGrad函数归一化分别提高53.19%、3.60%、8.82%，运算时间分别提高4.74倍、5.41倍和5.46倍.通过实验测试分析，主要由于基于HSV透射率加权修正参数化算法相对于文献时间复杂度和空间复杂度较低，本算法简单实用，系统又采用去雾专用芯片，芯片利用脚本可快速完成相关去雾算法硬件实现，相对于对比文献去雾算法在保证去雾效果同时又具有较低复杂度.采用嵌入式系统相对于采用FPGA[13-14]和DSP[15]等实现方式，又具有较低的功耗.综上，本文方法在保持去雾优良效果的同时还保持较快处理速度，进一步增强算法的实时性和实用性.

图6 文献方法和本文方法对含雾图像1到3（从上到下）去雾前后效果对比Fig.6 Comparison of1-3(top-down)images using proposed and other methods before and after dehazing

表1 图6去雾性能客观评价结果Tab.1 Objective evaluation results of dehazing performance for fig.6

4 结束语

本文提出一种根据HSV分量确定透射率的机载图像去雾处理方法，系统可根据机载含雾图像等级进行去雾图像参数化分析，完成相关图像压缩、遥控遥测指令接收和发送等处理工作.该方法采用嵌入式系统硬件完成相关去雾处理方法和基于HSV透射率加权修正的去雾算法，完成相关硬件设备和软件设计，可根据场景含雾图像含雾变化直接调用，经实验测试证明：该方法效率和实时性好，能够满足无人机机载视频去雾实时处理的需求，具有功耗小、易实现和适应性强等特点，满足无人机机载图像实时性去雾处理要求.

致谢：本文的研究工作得到西北工业大学研究生创新基金（Z2017144）的资助.