改进的CLG变分光流场估计方法

谭 君，贾松敏，李秀智，赵冠荣

（北京工业大学 电子信息与控制工程学院，北京　100124）

改进的CLG变分光流场估计方法

谭 君，贾松敏，李秀智，赵冠荣

（北京工业大学 电子信息与控制工程学院，北京100124）

光流运动估计是计算机视觉领域的一个重要的研究领域，为了抑制噪声对光流场估计的影响，并实现大位移光流场求解，建立了基于全局与局部相结合的CLG-TV变分光流估计模型，并提出求解方法。将LK局部光流算法融合到TV-L1模型中，并利用各项异性扩散和双边滤波技术，扩展后模型在保持TV-L1模型优势的基础上，具有更加鲁棒的抗噪性能，且能有效解决大位移问题；在求解过程中，利用结构纹理分解方法和由粗到精金字塔方法，提高光流计算的精度。实验结果表明：本算法误差AAE和AEPE均有所减小，该算法在精度提高的同时加快了收敛速度；进一步，通过对实际大位移图像序列求解，验证了算法能有效区分动态目标和静态背景的能力，并且能较好反映物体的运动信息。本文提出的CLG-TV模型能够提高光流估计精度，并能有效解决光流计算的大位移问题。

光流；TV-L1模型；CLG方法；双边滤波；大位移光流

所谓光流（Optical Flow）是指空间运动物体在被观测表面上的像素点运动的瞬时速度，包含了物体与成像传感器系统之间相对运动的关系。在计算机视觉领域，光流算法执行着诸如目标分割、识别与跟踪、机器人导航等极其重要的任务。此外，光流可以在医学上实现非刚性医学图像配准，在气象中实现云图分析和解析、风速测量和预测等[1]。

光流计算技术的研究真正开始于80年代Horn&Schunck等人奠基性的工作，随后，各种新方法、新思路不断涌现。BRUHN等人[2]将光流算法中的局部方法LK算法嵌入到全局方法HS算法中，该方法具有局部方法对噪声具有高鲁棒性以及全局方法的可以获取稠密光流的特点；付琼莹等人[3]提出一种基于特征匹配的变分光流方法，该方法在目标位移过大时，利用特征点信息解决光流的不连续问题，准确获得大位移光流。综上所述，光流场估计算法目前还有许多问题有待解决，因此，准确可靠的光流估计方法仍是具有挑战性的任务。

本文利用CLG（Combined Local and Global）方法将局部方法LK算法和TV-L1模型融合，保持光流场的分段平滑，且提高算法对噪声的鲁棒性，对数据项进行双边滤波可以在去除噪声的同时保持边缘信息，并且利用结构纹理方法和金字塔的分层结构求解光流模型。

1　CLG-TV光流估计模型

针对光流估计模型中L2范数对噪声敏感，过平滑等影响计算精度的问题，引入一阶数据项（L1范数），可以很好保持分段平滑，提高光流计算精度。为了抑制噪声对光流场估计的影响，本文计算模型利用CLG方法，将局部方法LK算法融入到全局方法TV-L1光流估计模型[4]中，得到新的能量泛函模型，如下：

上式中ρ（u1，u2）为数据项，即两幅图像之间的灰度差值余量，其定义如下：

式（1）中，region代表以p点为中心的一个小的区域，w为各点的权重系数，离p点越近，权重值越高。CLG-TV模型的局部窗口能够很好的跨越弱纹理区域并且将其与强纹理区域相联系，因此能够有效解决大位移问题。

为了增强图像的扩散效果，对于CLG-TV模型的平滑项提出各向异性扩散[5]的平滑策略，该方法在图像边缘处的不同的方向施加不同的影响，即在垂直图像边缘的地方减小扩散，在平行图像边缘的地方增加扩散。其中扩散系数称为扩散张量，是由图像驱动的，即只与图像梯度相关。对于TV-CLG模型引入以下的扩散张量：

针对高斯滤波在减小噪声的同时使图像的边缘变得模糊不清问题，引入双边滤波[6]（Bilateral Filter）的方法达到保边去噪的目的。双边滤波一般由两种滤波组成：空域滤波，对空间上临近的点进行加权平均，加权系数随着距离的增加而减小；值域滤波，对像素值相近的点进行加权平均，加权系数随着像素灰度值差的增大而减小。其表达式如下：

对CLG-TV模型的数据项加入双边滤波模型进行滤波，平滑项使用各向异性扩散，得到如下能量泛函：

上式为非凸的能量泛函，直接求解困难，因此加入一个辅助变量，使该能量泛函变为凸函数，最终模型如下：

2　CLG-TV光流估计模型求解策略

CLG-TV光流估计模型的具体求解流程图如图1所示。

图1　CLG-TV光流估计模型的具体求解流程图Fig.1　The specific solving flowchart of optical flow estimation of CLG-TV model

2.1结构纹理分解方法

在实际应用中，影响光流计算精度的因素包括运动物体的大位移变化、弱纹理区域、遮挡问题、光照强度变化等等。而光照强度变化一直是影响光流计算的关键问题，传统的亮度一致性假设在光照变化强烈时往往得不到准确的光流场。因此，提出结构纹理分解[7]的方法来解决光照强度变化产生的阴影等问题。对一幅图像进行结构纹理分解之后，光照强度变化产生的阴影仅仅只出现在结构图中，而纹理图中则没有这些阴影。

结构纹理分解运用的是基于总变分的ROF去噪模型。对于图像的灰度值，结构部分的计算方法如下：

纹理部分IT（x）即为原始图与结构图的差值，即IT（x）= I（x）-IS（x）。利用分解后得到的纹理图来进行光流计算，可以减少光照变化对计算结果的影响。

2.2光流方程数值求解方法

在线性化过程中，由于数据项的一阶泰勒展开仅适用于小位移的投影坐标，因此光流场的求取过程受到限制。为了克服这个困难，引入由粗到精的金字塔算法，通过这种多尺度方法，不仅可以直接采用线性化方法迭代，而且还可以避免迭代收敛到局部最小值。

为了方便对光流估计方程求解，利用交替迭代的方法求解CLG-TV光流估计模型[8]：

1）固定u1和u2，求解：

令该函数的偏导为零，利用以下线性方程组求解和：

其中ρ0=It-u0·Ix1w-Iy1w。

式（10）求解方法如下：

其中对偶变量利用定点迭代的方法求解：

3　实验结果及分析

本实验硬件配置为配备i3-3220CPU和GT630GPU的PC机，运行环境为Windows 7操作系统和Matlab R2012b软件平台。

实验一：为了验证算法的有效性，选取Middlebury标准光流数据库中的图像序列，对比不同算法误差[9]。光流误差评价函数采用平均角度误差AAE（Average Angular Error）和平均端点误差AEPE（Average Endpoint Error）的误差估计方式来评价计算的精度。

选取Middlebury标准光流数据库中的4组图像序列进行验证，选取其中两幅图（Dimetrodon和Grove2）结果如图2和图3所示，（a）、（b）分别是图像序列的连续两帧图像，（c）、（d）分别是利用TV-L1算法计算的光流编码图和光流矢量图[10]，（e）、（f）分别是利用CLG-TV算法计算的光流编码图和光流矢量图。光流编码图中的红色方框可以明显看出本文所提的CLG-TV模型计算的光流场更加平滑，且减小了图像噪声对光流估计的影响。

图2　Dimetrodon图像序列和光流对比图Fig.2　Dimetrodon images and optical flow comparison figure of Experiment 1

图3　Grove2图像序列和光流对比图Fig.3　Grove2 images and optical flow comparison figure of experiment 1

其中误差AAE和AEPE的对比如表1、表2所示，通过实验结果的对比，表明本文提出的CLG-TV算法所得光流的[11]误差明显减小，提高了光流计算的精度；表3为不同算法计算光流场的运行时间，结果表明，本文算法在有效提高计算精度的同时，由于利用局部和全局算法优势，加快了算法收敛的速度，因此缩短了计算时间。

表1　两种算法所得光流的误差AAETab.1　AAE of two kinds of optical flow methods

表2　两种算法所得光流的误差AEPETab.2　AEPE of two kinds of optical flow methods

表3　两种算法计算光流的时间（s）Tab.1　Running time of two kinds of optical flow methods（s）

实验二：为了验证算法处理实际问题的能力，选取一组真实场景图像序列进行光流验证，该图像序列包含了大位移、光照变换等各种对光流计算的不利影响。图4为不同算法对应的光流结果图（a）、（b）分别是图像序列的连续两帧图像，（c）、（d）分别是利用TV-L1算法计算的光流编码图和光流矢量图，（e）、（f）分别是利用CLG-TV算法计算的光流编码图和光流矢量图），由图可知，本文算法能有效反映物体的运动信息，能有效区分动态目标和静态背景，特别是对于大位移图像，可以看出目标的运动方向和计算光流的方向基本一致，并且对于其他静止的物体并没有检测出运动信息。

图4　实验二图像序列和光流对比图Fig.4　Group images and optical flow comparison figure of Experiment 2

4　结　论

文中提出的CLG（Combined Local and Global）算法提高了光流计算的鲁棒性，特别针对大位移场景，CLG-TV模型的局部窗口能够很好的跨越弱纹理区域并且将其与强纹理区域相联系。为了提高光流估计的精度，CLG-TV模型结合了TV-L1模型优点，此外，对于平滑项的平滑策略利用各项异性扩散，并且对数据项加入双边滤波技术。通过实验对比可知，其计算精度相对于TV-L1模型均有所提高，并且提高了光流计算时间，对于大位移场景的计算，能够较好的反映运动物体的信息，有效的区分运动目标和静态背景。

[1]卢宗庆.运动图像分析中的光流计算方法研究 [D].西安：西安电子科技大学，2007.

[2]BruhnAndrés，Weickert Joachim，Schn觟rrChristoph.Lucas/ kanade meets horn/schunck:combining local and global optic flow methods[J].International Journal of Computer Vision，2005，61（3）:1-21.

[3]付琼莹，余旭初，胡闻达，等.一种基于特征匹配的大位移变分光流方法[J].测绘科学技术学报，2013，30（1）:54-57.

[4]Zach C，Pock T，Bischof H.A Duality Based Approach for Realtime TV-L1 Optical Flow[C]//Proceedings of the 29th DAGM Symposium on Pattern Recognition，Heidelberg，Germany:DAGM，2007:214-223.

[5]袁猛.基于变分理论的光流计算技术研究[D].南昌：南昌航空大学，2010.

[6]Shreyamsha Kumar，B.K.Image denoising based on gaussian/ bilateral filter and its method noise thresholding[J].Signal，Image and Video Processing，2013，7（6）:1159-1172.

[7]李秀智，谭君，贾松敏，等.基于结构纹理分解和多重网格的光流估计算法[J].上海交通大学学报，2014，48（7）:959-964.

[8]Marius Drulea，Sergiu Nedevschi.Total variation regularization of local-global optical flow[C]//IEEE Conference on Intelligent Transportation Systems，Washington，DC:Institute of Electrical and Electronics Engineers Inc.，2011:318-323.

[9]陈思宇，刘锐鹏.采样法交流电参量测量的误差分析[J].电子设计工程，2015（20）:120-122，126.

[10]穆新亮.基于混合核函数的快速KPCA人脸识别算法[J].电子科技，2015（2）:46-50.

[11]黄志良，张利勋.运动目标光流场算法研究进展[J].激光杂志，2013（1）:1-3.

Improved method for variational optical flow field estimation based on CLG

TAN Jun，JIA Song-min，LI Xiu-zhi，ZHAO Guan-rong （College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing 100124，China）

Optical flow motion estimation is an important area of computer vision research.To suppress the impact on optical flow estimation caused by noise and solve the large displacement optical flow，a CLG-TV variational optical flow estimation model based on CLG（Combined Local and Global）method is established.CLG method is utilized to integrate TV-L1 model with LK algorithm，which is the local optical flow estimation method，and anisotropic diffusion and bilateral filtering technology are adopted in CLG-TV model.On the basis of the TV-L1 model advantages，this model has high robustness to noise and ability to solve large displacement problem.And structure and texture decomposition method is integrated with coarse-to-fine approach during the solution process to improve the accuracy of optical flow computation.The experimental results show that the AAE error and the AEPE error are decreased with this proposed algorithm.It is proved that the accuracy is improved and the convergence rate is accelerated.Meanwhile，through practical large displacement image sequence verification，dynamic objects and static background can be effectively distinguished and objects movement information can better reflected.The proposed CLG-TV model can improve the optical flow estimation accuracy and solve the large displacement problem of optical flow calculation effectively.

optical flow；TV-L1 model；CLG method；bilateral filtering；large displacement optical flow

TN 919.8

A

1674－6236（2016）01-0005-04

2015-05-09稿件编号：201505079

国家自然科学基金（61175087；61105033）

谭 君（1989—），男，湖北武汉人，硕士研究生。研究方向：计算机视觉，智能系统与模式识别。