基于形变轮廓模型的视频图像中人物领域的追踪*

朱洪锦,范洪辉,叶飞跃，朱世松

(1.江苏理工学院 计算机工程学院,江苏 常州213001;2.常州市云计算与智能信息处理重点实验室,江苏 常州213001;3.河南理工大学 计算机科学与技术学院,河南 焦作454003)

近年来，随着网络和数字广播传输信道的增加，在海量信息中实现视频内容的分析与检索是计算机视觉领域的研究热点。在视频图像处理中图像序列运动目标跟踪技术得了到广泛的研究和应用，尤其在视频监控、视频编码、智能机器、图像恢复等领域都具有广泛的应用前景。许多研究者对运动目标跟踪问题进行了深入研究，提出了基于目标特征的跟踪、基于模型匹配的跟踪以及基于目标轮廓的跟踪等方法[1]。目标特征的跟踪技术需要解决复杂场景下多特征跟踪算法的适应性问题及实现有效特征的提取的连续性，基于模型匹配需要准确建立视频前后帧之间运动对象的对应匹配关系，同时对跟踪分割的精度有较高的要求[2]。对于这两种目标跟踪方法，基于轮廓的方法可单纯利用人物轮廓实现视频中人物领域的抽取与追踪，简化其余特征计算数量及匹配难度，可实现视频中多人物的连续跟踪[3]。

基于轮廓模型的目标跟踪算法中参数活动轮廓模型和非参数活动轮廓模型是图像处理中最具代表的算法[4]。参数化轮廓使用离散的点表示目标的轮廓，采用目标的边缘作为跟踪的特征,该方法计算效率高,实现手段灵活,但难以克服跟踪过程中轮廓线拓扑结构改变的情况,不利于高维拓展和多目标跟踪[5]。非参数轮廓模型通常将轮廓表示为区域的边界，其优点是对轮廓的拓扑形状的改变容易控制，但是计算相对复杂[6]，并且现存算法大多是以摄像头固定、背景图像无变动、背景相对简单为前提条件，较难应用于动态实时监控系统[7]。

本文提出基于人物头部轮廓的形变轮廓模型追踪视频图像中人物领域，研究基于形变轮廓模型算法，实现摄像头转动或背景变动，且在背景较复杂的情况下，实现视频图像中移动人物的检测与追踪。

1 轮廓特征提取

检测的对象图像背景复杂时，图像分割后具有较高的边缘特征，为降低移动轮廓模型线分割的难度，采用分水岭算法、中值滤波及颜色相近区域统合作为图像分割的前期处理。

本文在视频图像中人脸检测研究的基础上展开进一步研究，故在视频图像第一帧的人物头部处设定控制点后,基于B-Spline函数生成头部轮廓模型，利用人物头部轮廓信息建立人物领域轮廓概要模型，基于高斯函数的卷积运算生成人物领域的对象模板[8]。即基于人脸检测的结果设定控制点，生成人物领域轮廓概要模型，完成视频图像中人物领域的抽取。

1.1 高斯函数卷积运算

对人物领域边界线生成的初步轮廓模型进行高斯函数的卷积运算，生成形态轮廓模型的有效对象模板。将初始模型边界线的内侧设定为1，外侧设定为0(1表示人物领域，0表示背景)。基于式(1)和式(2)对二值化后的图像x(i,j)进行高斯函数卷积运算，生成白色部分与人物领域高度接近的初步模型，即为轮廓边缘模糊的对象模板图像y(i,j)。

其中,m和n分别为高斯卷积运算的模板大小参数，σ为尺度参数。

将二值信息用于人物领域模板的判断时，如果模板位置与实际边界线位置不吻合，实际的人物领域会被错误地判定为背景领域。但经过高斯函数的卷积运算、明暗界线的模糊处理后，人物领域的推定和判断具有较强的鲁棒性。人物领域的相似度分布在数值0～1之间，使人物领域的判定具有高度的柔韧性。

1.2 人物领域判定

人物领域判定的准确度直接影响图像中移动物体抽出的准确与否，故领域判定规则以与人物领域相似度的高低为判定基准。领域判定规则设为如下2个条件:

条件1：相邻领域对象归属度M值较大;

条件2：相邻领域的色差△E值较小。

条件1表明相邻领域同属于人物领域的可能性高。另外，也可防止以轮廓边界线为边界的相邻领域错误合并情况的发生。条件2表明相邻两领域的色差较小的情况下，两领域为同一领域的可能性较高。同时满足上述2个条件的领域是人物领域的可能性较高。图1为条件1和条件2的正规化函数示意图,图中 f1(M)、f2(△E)用式(3)取加权平均值计算领域判定规则的“度”μ。

图1 正规化函数示意图

其中m1,m2为条件1与条件2的权重。合并图像中相邻领域同时计算μ值，并将其与最大的相邻领域合并。反复进行合并操作，直到μ高度接近阈值Tμ。合并结束后，所得领域的集合即为对象领域。

2 基于Condensation的头部轮廓追踪

2.1 头部轮廓模型

头部轮廓追踪是基于形变轮廓模型实现视频图像中人物领域抽取连续性的关键。采用Condensation粒子追踪算法预先生成追踪对象模型，将模型在被检测图像的不同位置进行匹配运算，最后从中选取最合适的模型追踪移动对象。结合可学习的动态模型，完成具有鲁棒性的运动追踪。其中需要设定模型的位置和形状的相关参数。追踪对象的头部轮廓模型r(s)(r(s)=(x(s),y(s))T)可由N个控制点与 B-Spline函数，基于式(4)求得迎合人物头部轮廓位移的移动轮廓模型r(s)。

2.2 基于仿射变换的模型更新

模型r(s)的移动是基于控制点Q的更新实现，控制点是2N次元，故增加控制点数量的同时,也增加了数据更新的难度。原控制点qx、qy经仿射变换可得到变换后的控制点

其中，s、t为位移参数，a、b、c、d 为形变参数。

2.3 预测分析中模型的drift与diffuse

人物头部领域的追踪过程中，基于对象的移动对模型进行预测分析。式(6)预测了模型下一时刻的状态。

其中,A为模型状态X的形变量,与移动类型的状态迁移模型;w为高斯噪音，用于状态X的扩散，即为基于前一时间状态模型的AXt-1位移(drift)和 w扩散(diffuse)对下一时刻的模型进行预测。图2为预测分析示例。

3 对象模板位移量计算

3.1 基于当前处理结果的人物轮廓模型更新

图2 对象模型中位移与扩散

基于人脸领域的追踪结果，计算对象模板的位移量。在图像中分布的多个模型中选择观测概率最高的一个。使用选中模型第一帧对应的仿射变换中的变换参数(s、t)的值计算对象模板位移量。然后移动对象模板，并将其与领域分割结果图像进行叠加，检测当前时刻的人物领域。图3为帧间人脸领域追踪结果与模板移动示意图。为进一步提高人物领域检测精度，采用基于当前所得人物领域的检测结果来提高当前帧以后的人物领域检测精度算法。假定当前所得各帧的检测结果为真，将各帧中的人物领域内侧设定为1，外侧设定为0，并将其重叠。然后将1累计，累计结果大于阈值Tb的领域则判定为人物领域，并将其所对应轮廓线作为下一帧的轮廓模型。

图3 基于人脸领域模板位移示意图

3.2 视频图像中人物领域的抽取

检测实验的处理对象视频分别为摄像头固定人物左右晃动、人物固定摄像头转动、人物和摄像头都移动3种视频图像。图4是3种图像的人脸定位追踪结果图像，追踪过程中生成的模型的数量为50个，模型监测计算过程中设定σc=1.0,Ti=0.95。图5所示结果为基于对象模板位移量计算所得3种视频类型中人物领域检测结果。

图4 基于头部追踪的形变轮廓模板

图5 人物领域抽取结果

对实验结果基于式(7)进行定量评价分析。评定方法为标准判定图像(正确人物领域图像)，将检测结果图像与其进行比较分析。其中，Atest为t时刻的检测结果二值图像(人物领域为 1，非人物领域为 0);判定 Atref为 t时刻的值采用标准二值图像，⊕为“异或”运算。所得评价值表示评定对象与评定标准的差异值，分母是检测对象面积，当分子的数值较大时则表示检测的误差较大。对图5所示3种检测结果各取130帧进行定量评价分析，评定的对比结果如图6所示，3种移动情况的平均误差分别为14.9%、16.7%和17.7%，3种视频图像都达到了较好的检测结果。

本论提出了在背景相对复杂的人物领域检测算法，拓宽了检测系统的使用范围，提高了检测系统在实际应用中的可靠性。提出基于高斯函数处理轮廓概要模型生成具有鲁棒性的对象模板，使得人物领域判断具有高度柔韧性。基于Condensation预测及分析人物头部轮廓模型的位移和扩散，提出基于当前处理结果更新人物轮廓模型，进一步提高了检测精度。

图6 人物领域追踪结果评价图

[1]罗嘉,韦志辉.基于几何活动轮廓模型的目标跟踪与快速运动估计[J].中国图像图形学报,2009,14(7):1361-1368.

[2]MAKOTO M,MASAHIDE Y,KATSUHIKO S.Extraction of human face and transformable region by facial expression based on extended labeled graph matching[J].Electronics and Communications in Japan,2013,87(10):35-43.

[3]高颂,李富栋.图像边缘提取的区域联合分割与主动轮廓模型[J].激光与红外,2013,43(1):94-97.

[4]乔磊,李存华,仲兆满,等.基于规则的人物信息抽取算法的研究[J].南京师范大学学报（自然科学版）,2012,35(4):134-139.

[5]潘改,高立群,赵爽.基于局部熵的主动轮廓模型[J].中国图象图形学报,2013,18(1):78-85.

[6]顾裕丰,刘国栋.一种复杂场景下的运动目标跟踪算法[J].电子技术应用[J].2012,38(1):122-124,127.

[7]朱洪锦，范洪辉，陈兴瑞，等.基于局部自我相关函数光线照明变化下的人脸检测[J].山东大学学报:工学版,2012,42(5):36-40.

[8]李昌盛，王亚娟，黄启俊，等.基于 FPGA的人脸检测系统设计[J].电子技术应用,2011,37(10):13-16.