基于最小二乘法B样条曲线的视频去雾研究

刘佳佳，易淑铃，姚佳俊，林 春，谢从华

（常熟理工学院 计算机科学与工程学院，江苏 常熟 215500）

基于最小二乘法B样条曲线的视频去雾研究

刘佳佳，易淑铃，姚佳俊，林 春，谢从华

（常熟理工学院 计算机科学与工程学院，江苏 常熟 215500）

针对现有视频图像去雾存在信息丢失导致视频抖动的问题，提出了基于最小二乘法的B样条曲线的视频去雾方法. 首先，利用快速Harris角点检测提取视频关键帧的特征点；其次，对视频序列图像帧的特征点进行匹配；再次，基于最小二乘法利用关键帧像素点的估计非关键帧对应像素点的值点；最后，输出稳定完整的视频序列. 实验结果表明，该算法利用曲线构建对特征点的处理能够有效地消除视频抖动现象.

最小二乘法；B样条；视频去雾

1 引言

户外视频监控系统广泛应用于道路监控、车辆自动驾驶系统、智慧城市和交通、军事和刑侦应用、气象及天文学等领域. 雾霾天气下，视频监控成像系统所捕获的图像色彩暗淡、对比度变低，图像质量的严重退化，严重影响它们的应用范围. 视频实时去雾可以恢复户外视频系统的可视性，具有巨大的应用价值.

在视频去雾过程中，虽然可以通过增强有雾图像的对比度得到清晰的图像，但对比度的过度增强可能会截断像素值，造成信息丢失而引起视频在局部出现闪烁、抖动现象. 目前，主要的视频稳像方法有灰度投影法［1］、相位相关法［2］、光流法［3］和特征点法［4-5］等.

灰度投影法，先将图像进行行、列方向的灰度投影，计算出行、列的运动矢量，最后对其进行运动补偿. 但当场景比较简单时，像素具有较高的空间相似性，此时估算出的全局运动矢量，很容易引起误差. 相位相关法对光照变化不明显，对只存在较大平移因子的场景具有较好的稳像效果，但该方法需要较大的计算量，并且难以对旋转因子和缩放因子进行运动补偿. 光流法主要是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”. 传统的稠密型光流计算量比较大，在大位移运动的情况下，光流误差较大，但是光流法的优点在于光流法不仅携带了运动物体的运动信息，而且还携带了相关景物三维结构丰富信息，能够比较好地刻画目标运动的过程. 特征点法首先用相邻两帧匹配的特征点作为匹配基元，提取有效特征集进行帧间运动估计，算出全局运动参数. 特征点具有一定的代表性，对于不同场景有较好的适应性，因此这类方法得到广泛的关注和应用. 但是现有方法缺乏利用有效关键帧的信息和保持空间一致性，导致视频去雾存在抖动现象. 为此，本文提出一种基于B样条曲线拟合的视频去雾方法，对视频帧中的关键帧进行特征点提取并进行数据参数化后，利用最小二乘法的B样条曲线估计非关键桢的像素点值，平滑视频对应像素点的值.

2 理论基础

n次B样条曲线的定义为

最小二乘法拟合是使得偏差平方和最小来选取拟合曲线［6］，即对于一组数据点假设其拟合曲线模型为y=f( x)，那么其第i个数据点的误差距离为，则所有数据点的距离平方和为 ，求出目标函数 最小值对应的参数值，就可以确定拟合曲线y=f( x).

3 基于最小二乘B样条的雾霾图像去雾

实验前期采用基于最优对比度的图像视频去雾方法［7］，对雾霾视频序列利用差值法分解成关键帧和非关键帧，并分别对关键帧和非关键帧进行去雾处理，但在视频处理过程中，由于图像去雾后信息的缺损，导致视频播放存在抖动现象，为此，本文在关键帧和非关键帧分别进行去雾的基础上，提出一种基于最小二乘的B样条图像视频去雾方法，整个视频去雾流程如图1所示.

3.1 特征点选取

根据Harris角点检测［8］，以一个像素点为中心的小窗口，如果在各个方向上移动这个小窗口，窗口内区域的灰度值发生了较大的变化，则我们就认为在窗口内遇到了角点. 因此，本文假设以一个像素点p( x, y)为中心的小窗口在x方向上移动u，y方向上移动v，灰度变化度量为：

其中Ex,y为窗口内的灰度变化度量，Wx,y为窗口函数，Ix+u,y+v为平移后的图像灰度，Ix,y为图像灰度.

对（3）式中Ix+u,y+v进行泰勒展开如下：

则（3）式改写为：

图1 基于B样条曲线的视频去雾光滑处理流程图

又有：

因此，（4）式改写成：

其中

利用Harris的角点响应函数（CRF）表达式：

其中，det( M)表示矩阵M的行列式，trace( M)表示矩阵的迹，λ1和λ2为矩阵M的特征值，k为经验常数，一般取值0.04~0.06.

当目标像素点的CRF值大于给定的阈值时，该像素点p即为角点. 我们从视频序列中随机选取一帧进行Harris角点检测，结果如图2所示，特征点用叉叉作为标记.

3.2 特征点匹配

根据上述的Harris角点检测，得到视频帧图像的特征点后，接下来就要对提取出来的特征点进行相邻两帧的特征点匹配. 不同于传统基于灰度的图像匹配技术［9］，本文采用基于特征点的快速匹配算法，选取较为有规律的点作为匹配的特征点，这样可以排除个别杂波对匹配的特征点选取的干扰. 以待匹配的图像作为模板T，待匹配图像的前一帧图像作为参考图像P，首先，在模板T中找出阶数最高的特征点，选取T中灰度值最大的点作为该帧图像的匹配的特征点M. 然后，在参考图像P中找出与匹配特征点M的阶数相等的所有阶数的特征点. 最后，用模板T匹配的特征点依次匹配参考图像P上找到的同阶特征点，并计算两幅图像的对应的特征点之间的相关性即相似性度量，通过找出相似性度量最优的位置作为匹配位置，从而找到两幅图像中像素点的对应关系.

本文在匹配过程中相似性度量参数采用相似测度归一化相关NCC［10］，归一化相关系数定义为：

图2 Harris角点检测结果

3.3 基于最小二乘的B样条曲线拟合

在曲线拟合的过程中，如果采用近似描述特征点的趋势，常常需要事先计算每个特征点是否在允许的误差范围内，然后才能完成曲线拟合，而其需要花费的时间比较长，时间代价为ο(np)，其中np为匹配的特征点的个数，由此可见，拟合花费的时间随着匹配的特征点数量的增多而更长，并且拟合后曲线精度也不能满足建立精细曲线模型的要求；插值法拟合曲线虽然精度比较高，但是需要通过所有的特征点，容易受到噪声的影响，因此，本文提出一种基于最小二乘法的B样条拟合，弥补传统近似拟合和插值法的不足，提高曲线拟合的精确度. 基于最小二乘的B样条曲线拟合流程图如图4所示.

最小二乘B样条曲线拟合步骤如下：

第一步：指定允许误差，假定上述匹配的关键帧特征点pk（ k=0，1，...，np）参数化对应的参数值为1，...，np）.

第二步：对每个特征点附加相应的权值hk（k=0，1，...，np），利用逼近曲线上的点与原始数据点间距离平方和W作为目标函数：

图4 基于最小二乘的B样条曲线拟合流程图

其中

第三步：要使得目标函数W最小，则必须满足Wx和Wy都最小，这里可以利用偏导数的方法求解，即其中矩阵A为所求的曲线控制点的估计值，P为特征点坐标矩阵.

由于B样条曲线函数中的基函数Ni,p(u)（k=0，1，...，np）线性无关，则HN是满秩的，又因为(HN)T(HN)是对称可逆的，所以法方程存在唯一解.

第四步：判断是否为噪声，若有噪声则去除，并反复进行以上步骤直到满足允许误差值，由此得出拟合后的控制点.

在实际应用中，本文利用3次B样条曲线来构造曲线，即n=3，匹配的特征点分布结果如图5所示，对匹配的特征点进行去噪平滑处理后，曲线拟合生成图6.

由以上推导过程可以得出目标函数W的法方程为：

4 实验与结果分析

项目的实验环境为：Intel（R）Core（TM）i7-2600 CPU@3.40GHz，4.00 GB内存，Windows7操作系统，基于OpenCV的C++编程语言. 我们的方法与基于暗通道的去雾方法［11］进行了比较，如图7第1列所示的雾霾图像，第2列为基于暗通道方法的结果，第3列为我们方法的结果. 对比去雾结果可知：我们的方法具有更好的对比度效果，具有更好的颜色和纹理细节效果.

为了验证本算法的拟合效果，在前期视频去雾处理的数据分析基础上，本文将采用信息熵和平均梯度这两个作为图像质量的度量指标来进行比较，如表1所示. 由于平均梯度又称为清晰度，它可以反映一个影像的清晰程度，主要描述图像细节反差程度和纹理变化特征，一般来说，平均梯度值越大，表明图像越清晰. 而图像的信息熵则反映了图像中平均信息量的多少，信息熵越大表明图像自身信息就越丰富. 因此，选用这两个度量指标能够有效直接的表明算法处理的结果. 可以从表1中看出，本文算法的各项度量指标均高于He算法，这从客观上表明了本文算法的有效性.

图5 匹配的特征点分布

图6 拟合后的B样条曲线

5 结束语

本文的主要创新点在于针对视频去雾处理过程导致的信息丢失而引起的去雾后的视频不光滑的问题，提出一种基于B样条曲线拟合的视频去雾光滑处理，并采用加权最小二乘法的方法来根据关键帧特征点估计非关键帧像素点值.实验表明，本文算法较传统的最小二乘法算法，误差更小一点，能有效处理视频去雾后的抖动闪烁问题.

图7 部分实验结果：第1列为雾霾图像，第2列为基于暗通道方法He的结果，第3列为本文方法的结果

?

［1］欧阳伟. 基于图像分析的监控视频图像异常诊断系统的研究与实现［D］. 武汉：华中师范大学，2012.

［2］ 王志民，徐晓刚. 基于单象限Fourier-Mellin域相位相关的快速稳像算法［J］. 中国图象图形学报，2009，14（9）：1790-1795.

［3］彭艺，叶齐祥，黄钧，等. 一种内容完整的视频稳定算法［J］. 中国图象图形学报，2010，15（9）：1384-1390.

［4］ BATTIATO S，PUGLISI G. SIFT Features Tracking for Video Stabilization［C］//Proc. of Image Analysis and Processing Conference. Modena，Catania：IEEE Press，2007：825-830.

［5］ TANG J，HAN XW，YUAN ZH. An Approach of Electronic Image Stabilization Based on the Representative Point Matching［C］//Proc. of Genetic and Evolutionary Computing Conference. Guilin，China：［s.n］，2009：347-350.

［6］刘冬秋，景凤宜. 谢晓尧.基于特征点改进的ICP算法［J］. 贵州师范大学学报（自然科学版），2013，31（6）：106-111.

［7］ KIM JH，JANG WD， SIM JY，et al. Optimized contrast enhancement for real-time image and video dehazing［C］. Commun Image R，2013，24：410-425.

［8］HARRIS C，STEPHENS M. A combined corner and edge detector［C］. Alvey Vision Conference. 1988：147-151.

［9］刘松涛，杨绍清. 图像配准技术性能评估及实现概况［J］. 电光与控制，2007，14（3）：73-78.

［10］李冬梅，王延杰. 一种基于特征点匹配的图像拼接技术［J］. 微计算机信息，2008，24（15）：296-298.

［11］ HE KM，SUN J，TANG XO. Single image haze removal using dark channel prior［C］. IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963.

Abstract:In order to solve the problem of video jitter caused by the loss of information in video image, this paper proposed a video dehazing method based on least square B-spline curve. Firstly, feature points of the key frames of the video can be extracted by Harris corner detection. Secondly, these feature points are matched in the series of video frames. Thirdly, the pixel value is estimated in non-key frame according to the corresponding pixels in key frame with least square B-spline. Finally, the stable and complete video sequences are outputted. The experimental results show that our algorithm can effectively eliminate the phenomenon of video jitter.

Key words:least square method; B spline; video dehazing

A Research into Video Dehazing Based on Least Square B-spline Curve

LIU Jiajia，YI Shuling，YAO Jiajun，LIN Chun，XIE Conghua
(School of Computer Science and Engineering, Changshu Institute of Technology, Changshu 215500, China)

TP391.4

A

1008-2794（2017）04-0050-06

2017-05-21

2016年江苏省高校大学生创新创业训练计划项目“基于最优对比度的图像视频去雾研究”（201610333030y）

谢从华，副教授，博士，研究方向：图像处理和模式识别， E-mail：Xiech@aliyun.com.