基于场景深度的雾天图像能见度检测算法

徐 敏，张红英 ，吴亚东

(1.西南科技大学信息工程学院,四川 绵阳 621010; 2.西南科技大学特殊环境机器人技术四川省重点实验室,四川 绵阳 621010;3.西南科技大学计算机科学与技术学院,四川 绵阳 621010;4.西南科技大学核废物与环境安全国防重点学科实验室,四川 绵阳 621010)

基于场景深度的雾天图像能见度检测算法

徐 敏1,2，张红英1,2，吴亚东3,4

(1.西南科技大学信息工程学院,四川 绵阳 621010; 2.西南科技大学特殊环境机器人技术四川省重点实验室,四川 绵阳 621010;3.西南科技大学计算机科学与技术学院,四川 绵阳 621010;4.西南科技大学核废物与环境安全国防重点学科实验室,四川 绵阳 621010)

针对传统能见度测试方法存在硬件成本较高、操作复杂、不能大范围使用等缺陷，提出了一种简单、快速的基于图像的能见度测量方法。首先，对图像进行感兴趣区域的提取、阈值分割和形态学处理。然后，基于大气退化物理模型和暗通道先验原理，估计透射率。再利用同一场景中不同角度所获取的两幅图像提取像素突变点，从而结合摄像机的内部参数估算场景深度。最后，根据能见度检测原理求取大气消光系数，进而获得图像的能见度。试验结果表明，该算法与人眼观测效果一致，准确率较高。与传统方法相比，该方法操作简单、抗干扰性强，不需要任何摄像机标定，并且适用范围广。

计算机视觉； 大气光学； 能见度； 透射率； 消光系数

0 引言

随着计算机视觉的不断发展，能见度越来越受到人们的重视。能见度的检测有利于人们的交通出行，同时，也可以体现空气质量的好坏。因此，如何快速高效地测量能见度距离是当前的研究热点。目前，关于能见度的检测方法主要有传统方法和基于图像处理技术的能见度估计算法。

能见度是指在当时的天气条件下，正常的人眼视力能够从背景中确认目标物的距离。常用的传统能见度测量方法一般分为目测法和使用大气射仪、散射仪等仪器的器测法[1]。但前者带有较强的主观性，因此测量精度不高，而器测法虽然在精度上得到了很大的提高，但其硬件设备高度较高、占地面积较大，对周围的环境要求较高，必须视野开阔、无遮挡物。因此，研究基于图像处理技术的能见度检测算法已成为一种新的主流方向。Liaw等[2]提出利用光锐图像和Haar函数来降低非一致光照的影响，从而提高能见度估计精度。Barari[3]研究了对比度分布与大气能见度之间的映射关系来计算能见度，由于技术水平有限，且该方法操作流程复杂，需要许多外部的标定信息，因此没有得到推广。Hautiere[4]提出了利用双目视觉技术来得到场景的深度图，再利用深度信息和对比度来估计能见度的方法。该方法只适用于雾天场景的测量，不仅需要对摄像机标定[5-7]，还需要不断地进行角度修正；此方法易受外界环境的影响。陈钊正等[8]提出了采用小波变换提取图像边缘特征点，再结合摄像机自标定模型的方法。该方法对于摄像机采集距离有一定的限制，所取的目标大约在500 m以内；此外，需要不定时清理摄像机，以防能见度检测出现偏差。刘建磊等[9]提出一种基于拐点线检测滤波器的能见度检测算法，但该算法计算量大，且不适合检测非匀质天空情况下的能见度。

在图像理解和计算机识别方面，Bronte等[10]利用雾的模糊效应，实现雾天的识别，同时结合道路的消失点与摄像机参数来估计能见度。该算法虽然提高了雾天识别和能见度的精确度，但在雾浓度较大的场景下，该算法在区分天空与道路部分上，难度增加，因此鲁棒性较差。在文献[10]利用消失点估计的基础上，文献[11]结合了自定义区域增长和基于加权平均值的拐点估计，进一步提高了拐点估计的准确性。但是该算法在路面起伏较大的情况下准确率较低。

为克服以上方法的缺陷，本文提出了一种利用图像测量雾天能见度的算法。该算法根据雾天成像模型和暗通道先验原理，基于图像像素突变点的特征与双目立体视觉的视差特性，结合了相机成像原理的几何模型来检测能见度。该算法测量方便、快捷，成本较低，不易受外界环境的干扰，对于摄像机的要求也不高；同时，其可以完全达到自动检测能见度的效果，因此应用前景更为广泛。

1 基于图像的能见度检测算法

能见度作为一个复杂的物理量，其好坏主要取决于空气中悬浮的各种微粒对大气消光系数的衰减，其次是人眼能区分的最小亮度对比值，该值越小，则能见度越大。如果目标物刚好能够辨别，则意味着视觉对比度达到眼睛的对比阈值。在航空气象部门，为确保飞行安全，国际民航组织(international civil aviation organization,ICAO)将视觉阈值取为0.05[12]，因此在计算过程中选取对比阈值(ε=0.05)。

本文所提出的能见度检测算法由透射率估计、场景深度估计以及能见度估计三部分组成。①图像透射率的估计：将输入图像进行预处理，提取感兴趣区域(region of imterest,ROI)，求取透射率值。②场景深度估计：对两幅图像利用其区域特征信息进行阈值分割，将获得的图像进行形态学处理，再通过视差图计算像素突变点，从而恢复图像的深度信息，得到场景深度值。③能见度估计：根据透射率与景深深度求得消光系数，进而估计能见度的大小。能见度检测具体流程如图1所示。

图1 能见度检测流程图

1.1 能见度检测原理

1924年，Koschmieder建立了观测者在远处地平天空下所看到的目标物的视觉对比度与其本身亮度对比度的关系，即Koschmieder定律[13]：

C=C0e-σd

(1)

式中：C为目标物与背景的相对亮度差;C0为常数，是目标物的固有亮度对比度;σ为消光系数，表征任意情况下大气透明度的一个特征量；d为观测员距离目标物的距离。

根据ICAO推荐的对比阈值，式(1)可表示为:

ε=e-σV

(2)

即：

(3)

根据大气衰减模型，太阳光在大气中的衰减满足指数定律：

I=I0e-σd

(4)

式中：I0为发射光光强;I为接收光光强;I/I0为透射率;σ为消光系数;d为拍摄场景中某场景点与传感器之间的距离，即为场景深度。

则消光系数σ可推导为：

(5)

由此可见，能见度的估计关键在于求得透射率t和场景深度d，从而确定消光系数σ，最终得到能见度。

1.2 透射率的估计

图像能见度的估计值与图像中天空所占区域的大小有关。当场景中存在浓雾时，图片上面的天空部分与地面部分的边缘、梯度、对比度等信息将会减少，由此增加区别地面与天空部分的难度；其次，图片下方可能出现移动的物体，如车辆等，存在大量噪声点，并表现出很多不需要的细节，从而影响测量效果。因此，为了保证透射率的计算值更具一般性，防止图像因噪声干扰而导致计算不准确问题，本文在进行透射率估计前，将图像中间区域的70%设置为ROI区域。

1975年，Mc Cartney提出大气退化物理模型。该模型包含衰减模型和大气光模型两部分，如图2所示。衰减模型即直接传播，是大气光能量从场景点到观测点的衰减过程。因为空气中的各种微粒，光波在传播的过程中会受到这些悬浮微粒的散射作用，从而产生能量的衰减。大气光模型描述的是大气光因为在空气柱中发生折射进入人眼或成像设备所感受到的光强度。随着传播距离的增大，环境光强度也随之增强。

图2 大气退化物理模型示意图

雾天图像降质过程可以用退化模型表示，即：

I(x)=J(x)t(x)+A[1-t(x)]

(6)

式中：I为拍摄的有雾图像;J为需要恢复的无雾图像;A为大气光值，表示周围环境光的总强度;t(x)为雾霾的介质透射率，代表了场景目标的深度信息。

当大气同质时，介质透射率t(x)为：

t(x)=e-βd

(7)

式中:β为大气消光系数;d为场景深度。

根据何恺明提出的暗原色先验理论[14]，即对于户外无雾的图像中存在绝大多数局部区域(除去天空区域)的某一些像素至少有一个颜色通道具有很低的强度值，这些像素被称为暗原色像素。对于图像J，暗通道定义为：

(8)

式中：Ω(x)为以像素点x为中心的一块区域;Jc为无雾图像J的三个颜色通道的一个;Jdark为无雾图像J的暗原色。对于J的非天空区域，Jdark的值趋近于0。在雾天情况下，由于雾的颜色的干扰，使得图像的整体像素强度得到提高。因此可以利用这些暗原色的强度状况来判断雾的浓度大小，从而估计透射率t(x)。

1.3 场景深度的估计

本节提出一种根据相机成像原理中视差与深度信息的关系，利用图像的像素突变点进行能见度估计的方法。首先，对同一场景中不同角度的视图进行预处理，消除图中存在的噪声、干扰以及失真等现象。然后，提取左右视图的像素突变点，并结合摄像机的某些内部信息来估算能见度值。

1.3.1 图像预处理

从图像中获取符合立体视觉原理的左右图像对，由于各方面因素的影响，会不可避免地存在各种噪声和干扰，从而使得图像质量的下降。因此，在对其进行分析与能见度估计之前，必须对原始图像进行预处理。图像预处理就是采用一系列的技术方法来降低噪声等因素的影响，改善其视觉效果，突出其中的有用信息，降低无用信息。基于上述问题，提出了预处理方法，步骤如下。

①采用阈值分割法将图像二值化，提取图像的特征信息。

为了从图像中提取出需要的特征信息，首先要判断哪些像素点是阈值需要的，其次判断这些像素点是否属于目标区域，根据这种方法便可以将灰度图转换为二值图像。设f(x,y)为原始图像，T为分割的阈值大小，则最终获取的图像满足式(9)：

(9)

根据大量的试验数据分析及不同的场景分析，本文采取手动选取阈值的方法，从而提高试验效率，即在中雾与浓雾的环境中分别将T取值为0.7、0.5。图像分割处理图如图3所示。

图3 图像分割处理图

②采用形态学处理对图像进行降噪平滑。

利用形态学上的开运算和闭运算对图像进行降噪平滑处理，消除图像中小且无意义的点，填充图像中的空洞。某一幅图像的预处理结果如图4所示。

图4 预处理结果示意图

1.3.2 场景深度计算

视差是一种可以反映深度信息的现象，双目视觉就是模拟人眼观察事物的原理，从多个角度观察同一个场景以获取感知图像，然后根据不同角度下的图像像素的匹配关系来提取三维信息，从而恢复场景深度[14-15]。目前，基于图像深度计算的方法[16-17]有许多，常见的主要有光度立体视觉法、散焦推断法以及基于机器学习等方法。本文主要从分析同一场景不同角度拍摄的两幅图像出发，在同一场景下比较不同角度拍摄的图像特征，寻找它们之间的不同点；再利用这些不同点的信息与摄像机的内在参数相结合来进行景深估计，从而计算出场景深度。

假设两个相机的内部参数一致，如相机分辨率、焦距等，下面主要借助几何和代数的方法来描述视差与景深的关系。为了描述方便，引入了相关的坐标，如图5所示。假设两个相机处于同一水平线上，且像平面重叠为同一个，坐标系以左相机为原点，则右相机是左相机的简单平移，用坐标表示为(Tx,0,0)，其中Tx为基线,是两个相机中心的距离。

图5 相机坐标示意图

然后，根据图5的相机坐标示意图，P为空间中的一点，P1和P2为点P(X,Y,Z)分别在左右像平面上的成像点，b1为两个成像点的间距，Z为场景深度，X1、X2分别为左右成像点到Z的距离，X3、X4为成像点距离左右相机光轴的长度，XR与XT分别为左右成像点到图像左边缘的距离，X11、X22分别为左右相机到Z的距离，f为相机焦距，d为视差，OR和OT为左右相机的光心。根据三角形相似关系，很容易得出空间中的一点P(X,Y,Z)分别在像平面上的投影坐标。X1+X2=b1、X11+X22=Tx，由相似三角形原理可知：

从而，有：

(10)

b1可以用Tx、XR和XT表示，即:

(11)

最终得到：

(12)

由此可得场景深度Z为：

(13)

由此可知，其视差跟物体的深度成反比。

景深信息是判断图像边缘突变的重要依据[17]，本文选择从视差的角度来分析像素点的变化，寻找同一区域的突变点。在理想情况下，左图像的特征点都可以在右图像中找到与其对应的点。由于噪声等因素的影响，使得某些特征点在右图像中找不到与之匹配的点。因此，根据这种特点，利用图像的像素灰度特征，即像素突变点来提取场景深度信息。其基本过程是：首先扫描一遍图像的边界、面积信息，求取当前图像的总灰度值；其次根据图像像素点的个数求取灰度平均值；最后利用两幅图像中像素点灰度值的突变情况设置相对应的阈值，选取适当的阈值参数θ提取视差的像素突变点。根据试验数据，本文选取0.2作为参数θ的值。在具体实现中，如果左右图像中相对应的像素点的灰度值之差大于设定的阈值θ，那么该像素点即为像素突变点。利用像素突变点，结合摄像机的焦距，光轴间距离等信息的相互关系，可以将式(13)转换为式(14)，从而得到所需要的场景深度。

(14)

式中:D为像素突变点；f为焦距；B为光轴间距离；dx为单位像素的尺寸。

因此，根据上述方法，可求得透射率和场景深度；根据式(3)，可求得消光系数，进而求得能见度V。

2 试验结果分析

为了验证本文算法的有效性，在Intel i5(2.67 GHz)、8 GB内存、Windows 7(64 bit)环境下，在Matlab与Opencv平台上实现该算法，并与文献[10]和文献[11]的检测算法作对比。为了体现试验数据集的丰富性和全面性，本文收集了不同类型(包括风景、人物、交通、建筑等不同类型的图像)、不同大小、不同雾天浓度的27 590幅图像，组成试验数据集。数据集中有11 400张晴天图像，3 400张中雾图像和12 790张浓雾图像。

能见度的等级可划分为晴天、中雾、浓雾，对应的能见度范围如表1所示。

表1 能见度等级范围

表2给出了文献[10]、文献[11]以及本文算法的能见度检测试验数据。从表2可以看出，本文算法在整体上优于现有的检测算法，在能见度检测上取得了一定的效果,尤其在晴天与浓雾下检测精度更好。

表2 能见度检测试验数据

试验数据比较结果如图6所示。图6(a)为本文算法的测量结果和参考文献[10]～[11]算法结果比较；图6(b)为三种算法的能见度检测距离的相对误差。其相对误差的定义如下：

图6 试验数据比较图

从图6可以看出，本文算法的能见度测量值更接近于真实值，其对应的相对误差也较小。

综合上述的试验结果说明，与现有的能见度检测算法相比，本文所提算法不需要利用复杂的机器学习进行特征提取，相反，它的思想是将同一场景下的图片利用不同的角度寻找像素突变点来测量；同时也不需要对摄像机安装角度等较难获取的参数进行随时标定，因此检测方便、精确度更高、成本更低。

3 结束语

本文从能见度检测原理出发，利用暗通道先验原理和图像像素突变点的特征，寻找其中的相关切入点来测量能见度。它克服了能见度测量仪占地面积大、传统方法带有的一定主观性，以及机器学习上的相机相关标定参数较多和易受外界影响的缺点，具有实时性、应用成本低、操作简单方便等优势。当然，本文算法目前也存在需要进行改善的不足之处，即能见度为几十米的情况下的检测算法的准确度有待提高。在能见度极低的情况下，图像的梯度、边缘、对比度等区域特征并不明显，测量结果的精确度也随之降低，这一工作将是今后的研究重点。

[1] 苗苗.视频能见度检测算法综述[J].现代电子技术,2012,35(15):72-75.

[2] LIAW J J，LIAN S B,HUANG Y F,et al.Using sharpness image with haar function for urban atmospheric visibility measurement[J].Aerosol and Air Quality Research,2010，10(4):323-330.[3] BABARI R,HAUTIERE N,DUMONT E,et al.A model-driven approach to estimate atmospheric visibility with ordinary cameras[J].Atmospheric Environment,2011,45(30):5316-5324.

[4] HAUTIERE N,LABAYRADE R，AUBERT D.Real-time disparity contrast combination for onboard estimation of the visibility distance[J].IEEE Transactions on Intelligent Transportation Systems,2006,7(2)：201-212.

[5] 宋洪军，陈阳舟，郜园园.基于车道线检测与图像拐点的道路能见度估计[J].计算机应用，2012,32(12)：3397-3403.

[6] MICLEA R C,SILEA I.Visibility detection in foggy environment[C]//CSCS2015:20th International Conference on Control System & Computer Science,2015:959-964.[7] 王京丽，刘旭林,雷鸣,等.数字摄像能见度系统及其比对实验[J].电子学报，2014,42(11):2298-2302.

[8] 陈钊正，周庆逵，陈启美.基于小波变换的视频能见度检测算法研究与实现[J].仪器仪表学报,2010,31(1):92-98.

[9] 刘建磊，刘晓亮.基于拐点线的大雾能见度检测算法[J].计算机应用，2015,35(2):528-530,534.

[10]BRONTE S,BERGASA L M,ALCANTARILLA P F.Fog detection system based on computer vision techniques[C]// International IEEE Conference on Intelligent Transportation Systems,2009:1-6.

[11]ZHU W X.Research of fog driving scenarios and visibility recognition algorithm based on video[J].Journal of Image & Signal Processing,2015,4(3):67-77.

[12]许茜，殷绪成，李岩，等.基于图像理解的能见度测量方法[J].模式识别与人工智能，2013,26(6):543-551.

[13]NEGRU M,NEDEVSCHI S.Image based fog detection and visibility estimation for driving assistance systems[C]// IEEE International Conference on Intelligent Computer Communication and Processing,IEEE,2013:163-168.

[14]张登银，鞠铭烨，王雪梅.一种基于暗通道先验的快速图像去雾算法[J].电子学报，2015,43(7)：1437-1443.

[15]牛连丁，陈婷婷，张立志.基于多尺度纹理特征的最小二乘法深度信息估计方法[J].智能计算机与应用，2015,5(4)：71-74.

[16]张淑芳，李华.基于一幅散焦图像的深度估计新算法[J].光电子激光，2006,17(3)：364-367.

[17]TRIPATHI A K,MUKHOPADHYAY S.Single image fog removal using bilateral filter[C]// IEEE International Conference on Signal Processing,2012:1-6.

ImageVisibilityDetectionAlgorithmBasedonSceneDepthforFoggingEnvironment

XU Min1,2,ZHANG Hongying1,2，WU Yadong3,4

(1.School of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China;2.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province，Southwest University of Science and Technology,Mianyang 621010,China;3.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China;4.Key Science on Nuclear Wastes and Environmental Safety Laboratory，Southwest University of Science and Technology,Mianyang 621010,China)

The traditional visibility detection methods feature many defects,e.g.,high costs of hardware,complex operation,and small detection range,etc.;to overcome these problems,a simple and fast measurement method of the visibility based on image is proposed.Firstly,the region of interest (ROI) of the image is extracted,and threshold segmentation and morphology treatment are carried out.Then,the transmittance is estimated based on the physical model of the atmospheric degradation and the dark channel prior principle,the pixel mutation point of the two images taken from different angles in the same scene is extracted,thus the scene depth is estimated from the internal parameters of the camera.Finally,the atmospheric extinction coefficient is found according to the principle of visibility detection; and then the visibility of image is obtained.The test results show that the algorithm is consistent with the observation effect of human eye,and the accuracy rate is high.Compared with traditional methods,this method is simple,offering strong anti-interference capability and wide applicable range,even any camera calibration is not needed.

Computer vision; Atmospheric optics; Visibility; Transmittance; Extinction coefficient

TH-89；TP39

： A

10.16086/j.cnki.issn1000-0380.201709021

修改稿收到日期:2017-04-07

国家自然科学基金资助项目(61303127)、四川省科技厅科技支撑计划基金资助项目(2015GZ0212/2014SZ0223)、四川省重点实验室开放基金资助项目(13zxtk05)

徐敏(1994—)，女，在读硕士研究生，主要从事数字图像处理方向的研究。E-mail：178848524@qq.com。 张红英(通信作者)，女，博士，教授，主要从事数字图像处理、模式识别方向的研究。E-mail:zhywyd@163.com。