鱼眼相机导引下的双目跟踪系统

刘 蕾,朱均超,丁晨曦

(天津理工大学 天津市复杂系统控制理论及应用重点实验室,天津 300384)

1 引 言

目前监控系统的应用越来越广泛,如银行、监狱、机场、商场等[1]。在监控视场小的一般监控领域,用普通镜头即可满足要求,在军事、安防等特殊领域,由于检测视场范围大,用普通镜头难以达到要求。因此越来越多的研究者把目光放在了全景摄像机上。目前全景摄像机主要包括多镜头式和单鱼眼镜头式、混合式三种[2-6]。多镜头式采用多个镜头进行多角度拍摄,通过图像拼接实现全景监控,如文献[2]采用了基于多特征融合的多摄像机人体跟踪方法,实现技术复杂,成本较高。单鱼眼镜头式采用一个鱼眼相机进行监控,如文献[3]设计了一种改进的鱼眼相机监控系统,文献[4]提出了一种基于鱼眼相机的人体检测方法。与传统摄像机相比,鱼眼相机具有监控视角大的突出优势。鱼眼图像存在较大畸变,越到边缘畸变越大,且成像分辨率也越来越低[7],使得鱼眼相机观测全景图像时,难以感知目标细节信息。因此,将传统摄像机和鱼眼相机的优点结合起来具有重要的研究意义。目前,混合式多为全景相机与PTZ(Pan-Tilt-Zoom)相结合[5-6],根据本课题监控的具体需求,本文采用鱼眼相机导引下的双目跟踪系统,应用鱼眼相机进行全景观测,应用双目立体相机进行目标测距等细节观测。从而实现超广角、高精度的智能监控。

2 系统设计

2.1 总体结构

系统总体结构由四部分组成,即作为导引系统的鱼眼相机、旋转云台，作为跟踪系统的双目相机和作为处理与控制系统的计算机,其系统结构示意图如图1所示。鱼眼相机位于系统中央,双目相机固定于旋转云台上,且双目镜头基线中垂线与鱼眼相机光轴垂直。控制与监控功能由计算机完成。

图1 系统结构示意图

2.2 监控系统

监控系统包含两个主要模块,即鱼眼相机图像处理模块和双目相机图像处理模块,其系统总体功能框图如图2所示,系统启动后,鱼眼相机对前方半球空间进行监控,并将监控视频输入到监控主机,监控主机对鱼眼相机的监控视频进行处理,若发现目标,则对目标图像进行处理,提取出目标,并计算出目标的方位角。然后通过旋转云台控制双目相机定位到目标物,最后将拍摄到的双目图像输入到监控主机进行进一步处理。

由于双目图像是对目标的高分辨率指向性成像,因此在下一步的研究中可以采用普通图像处理方法对其进行处理,然后进行目标识别及相关属性参数计算,完成目标的识别和跟踪。

图2 系统总体功能框图

3 系统监控工作原理

3.1 运动目标检测

目前运动目标检测通常有三种方法,即光流法,帧差法,背景差法[8]。光流法的计算量很大,并且对噪声比较敏感,不利于实时处理[9]。帧差法能够适应环境的动态变化,并实现实时监测,但容易出现目标拉伸和空洞的问题[10]。因此选择背景差法进行运动目标检测,背景差法的关键在于背景建模和前景提取。在实际应用中,光照变化,虚假动作,场景拥挤及高斯噪声等都会影响目标的检测和跟踪[11],因此本文采用了基于模糊熵和大爆炸算法(BBBCO)的背景差目标检测算法[11]。具体检测流程如图3所示。

背景差运算将当前帧与背景帧做差值,此时得到的图像除目标物像素差值外,还有部分其他像素差值存在,根据模糊熵概念,采用BBBCO方法确定阈值:

(1)

式中,T表示阈值;a*,b*,c*表示使当前图像帧总熵取最大值时的前景图像模型参数最优解。阈值T用于差分图像二值化操作。

鱼眼图像具有高信噪比及低分辨率,取连续五帧图像,滤波、增强后求平均运算作为初始背景。在实际应用中,通常不需要每一帧图像都进行背景更新,当光线变化或出现目标物时需要更新背景,背景更新率为α,α为最优阈值与最大阈值的比值。设初始背景为b0,更新后背景为b,当前帧为f,则更新后背景为:

b=(1-α)b0+αf

(2)

图3 运动目标检测流程图

3.2 图像中心点标定

由于鱼眼相机装配引入的误差,相机光学中心与获得的鱼眼图像中心不能完全重合,采用最小二乘法拟合出圆对其进行标定[12]:

R2=(x-u0)2+(y-v0)2

(3)

x2+y2+ax+by+c=0

(4)

由上式在已知a,b,c的前提下便可求出(u0,v0)的数值。假设(i=1,2,3,…,n)为鱼眼图像边缘上的采样点,根据最小二乘法原理,误差平方和Qa,b,c为:

(5)

Q(a,b,c)大于零,存在大于或等于零的极小值,对a,b,c求偏导数并令偏导等于零,便可以得到极值点,通过比较各极值点的函数值可得最小值,即:

(6)

(7)

(8)

令C,D,E,F,G为:

(9)

则由式(6)、(8)、(9)可得:

Ca+Db+G=0

(10)

则由式(7)、(8)、(9)可得:

Da+Fb+G=0

(11)

则a,b可表示为:

(12)

所以,参数u0,v0和R可以通过以下公式获得:

(13)

3.3 目标物角度测量

在监控过程中,目标物在地面上运动,鱼眼相机和双目相机的设置如图4(a)所示,鱼眼镜头的成像模型如图4(b)所示,其中包括两个坐标系,鱼眼相机坐标系X,Y,Z、图像坐标系u,v,图像坐标系原点O′为u0,v0。双目相机的基线垂直于Y轴,光轴平行于Y轴,鱼眼相机中心点和双目相机中心点坐标分别为0,0,Z0,0,Y0,0,PX,Y,0为物点,P点在XOY面内与Y轴正方向夹角为θ,双目相机的初始位置为Y轴正方向,找到P点需要转动的角度为θ,下一时刻物点为P′X′,Y′,0,P′与Y轴所成夹角为θ′,双目相机找到P′需要转动角度为(θ′-θ),正值顺时针旋转,负值逆时针旋转。因此,旋转云台旋转角度计算的关键是求物点与Y轴的夹角。物点P在鱼眼图像中的像点P′′与图像坐标轴的夹角α可由式(14)求得,本文采用参数分离法[13]建立空间夹角θ与像点夹角α之间的代数关系。

图4 角度测量模型

(14)

由角α拟合得到角θ,拟合公式为:

(15)

式中,K为畸变系数矩阵,由固定靶标标定获得,如图5(a)所示,靶标中θ值已知,鱼眼相机正对靶标采集图像,如图5(b)所示,图像中射线夹角具有近似α的特征,拟合后求得畸变矩阵K。

图5 角度标定靶标图

角度标定精度与靶标的射线数量有关,提高精度方法为增加靶标的射线数量,使靶标中心与光学中心重合,增加拟合数据样本,双目相机初始化严格在系统0°。

3.4 双目相机测距

双目视觉系统通过左右两台摄像机拍摄同一物体不同角度的两张图片,由同一点在两幅图片中的位置信息可计算出它在世界坐标系中的三维坐标[14]。双目视觉原理可抽象为图6所示的空间几何模型,两台摄像机光轴互相平行,内部参数和外部参数由标定获得,则空间目标点P的三维坐标可由式(16)描述:

(16)

式中,ML与MR为两台摄像机参数矩阵,由标定获得[14];PL、PR分别为目标点在两台摄像机采集图像中的像坐标;PW为目标点在世界坐标系中的像坐标。

图6 双目测距模型

4 系统组成及实验结果分析

4.1 系统组成

鱼眼相机导引下的双目跟踪系统由硬件和软件两部分组成。硬件组成主要包括电源、鱼眼相机、摄像机、双目相机、旋转云台、PC机、显示器等,系统实物图如图7所示,监控流程如图8所示。

图7 系统实物图

图8 系统监控流程图

4.2 角度测量精度分析

角度测量精度直接影响目标定位的精度,实验分两步进行角度测量。(1)目标到系统初始距离固定为3 m,从0°到360°每次间隔确定角度进行测量；(2)改变目标到系统的距离,为5 m、8 m,分别按步骤(1)中角度测量方法操作。

目标物角度测量示意图如图9(a)所示,测量过程中,记录目标物实际角度和目标物计算角度。角度测量结果如表1所示。角度测量误差如图9(b)所示。

图9 不同距离角度测量误差

实际值测量值(3m)测量值(5m)测量值(8m)1010．210．210．33030．330．430．34545．245．245．16060．360．360．29090．290．291．3120120．3120．2120．2150150．4150．3150．1180180．3180．2180．4225225．4225．2225．4270270．3270．3270．4360360．2360．3360．3

实验结果表明,在3～8 m距离内,角度测量的误差均在1°以内,引入误差主要原因为大畸变鱼眼图像主点坐标的标定精度。

4.3 监控结果分析

系统实验在室内场景完成,系统对目标进行监控并完成目标距离测量,分别在3 m,5 m,8 m处进行100次测量,鱼眼相机监控及目标定位结果图10所示。

图10 监控结果

图10显示了监控系统的实际效果。图10(a)、10(c)为自然条件下检测结果,图10(b)、10(d)为增加光照后的检测结果。从检测结果图可知基于模糊熵和大爆炸算法(BBBCO)的背景差目标检测算法能准确的识别出目标。双目相机目标捕获结果如图11所示。

图11(a)、(c)图为双目左相机拍摄图片,图11(b)、11(d)为双目右相机拍摄图片,可以看出目标完整的出现在双目图像中,且位置合适,这表明目标物空间角测量精度满足系统要求。

根据文献[15]对目标特征提取、匹配、测距。特征提取如图12所示,目标匹配点及测距结果如表2所示,其中,相机镜头焦距为2230 pixel,基线为 30 mm。

目标距离左图特征点右图特征点测量距离/mm相对误差/%3m(455．965，508．579)(433．745，507．763)︙︙(459．088，422．179)(436．531，422．270)(460．330，447．218)(438．037，446．299)3089．0532．975m(487．321，521．368)(473．971，521．679)︙︙(499．785，523．125)(486．425，522．518)(505．357，524．658)(492．017，523．096)5121．2382．4258m(530．494，561．325)(522．146，560．064)︙︙(490．784，558．451)(482．425，559．324)(550．064，563．734)(541．724，563．067)8212．9432．662

由表2可得,双目测距系统在监控范围内测距误差在3%以内,满足系统测距要求。

在不同距离下,鱼眼目标识别率、虚检率、双目相机目标捕获率如表3所示。

表3 系统测试结果

由表3可得运动目标检测算法具有较高的识别率,但存在一定的虚检率,双目相机能准确的抓获目标,当距离过小时会出现目标运动过快脱离双目视场的情况,通过提高系统实时性可以改善。

5 结束语

根据超大视场智能监控系统的实际要求,提出鱼眼相机导引下的双目跟踪系统,采用模糊熵和大爆炸算法(BBBCO)的背景差目标检测算法准确识别目标,角度标定法确定目标相对双目相机的位置,数据结果表明该系统具有导引视场角大的优势,所观测目标位置合适,可有效进行目标跟踪,为大范围智能监控提供了技术基础,完善系统,提高系统实时性为下一步研究重点。

[1] Arroyo R,Yebes J J,Bergasa L M,et al.Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls[J].Expert Systems with Applications,2015,42(21):7991-8005.

[2] WANG Jiangong,LIN Guoyu.Human tracking method based on multiple features fusion across multiple cameras[J].Journal of Jilin University:Information Science Edition,2014,32(6):675-683.(in Chinese)

王建功,林国余.基于多特征融合的多摄像机人体跟踪方法[J].吉林大学学报:信息科学版,2014,32(6):675-683.

[3] Yuan Xue,et al.Automatic surveillance system using fish-eye lens camera[J].Chinese Optics Letters,2011,9(2):33-37.

[4] Wu Jianhui,Yang Kuntao,etal.Design of object surveillance system based on enhanced fish-eye lens[J].Chinese Optics Letters,2009,7(2):142-145.

[5] Bastanlar Y.A simplified two-view geometry based external calibration method for omnidirectional and PTZ camera pairs[J].Pattern Recognition Letters,2016,71:1-7.

[6] Neves J C,Moreno J C,Barra S,etal.A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology[C]// Iberian Conference on Pattern Recognition and Image Analysis.2015:552-559.

[7] Hughes C,Denny P,Jones E,et al.Accuracy of fish-eye lens models[J].Applied Optics,2010,49(17):3338.

[8] Kulchandani J S,Dangarwala K J.Moving object detection:Review of recent research trends[C]// International Conference on Pervasive Computing.IEEE,2015.

[9] HE Xi,QU Jianrong,LU Xiaoyan,et al.Moving targets detection and tracking based on frame difference and level set[J].Journal of Detection & Control,2015,(1):27-30.(in Chinese)

何曦,瞿建荣,卢晓燕,等.基于帧间差分和水平集的运动目标探测跟踪方法[J].探测与控制学报,2015,(1):27-30.

[10] LIU Hongbin,CHANG Faliang.Moving object detection based on adaptive by optical flow method weight coefficient[J].Optics and Precision Engineering,2016,24(2):460-468.(in Chinese)

刘洪彬,常发亮.权重系数自适应光流法运动目标检测[J].光学 精密工程,2016,24(2):460-468.

[11] Kaushal M,Khehra B S.BBBCO and fuzzy entropy based modified background subtraction algorithm for object detection in videos[J].Applied Intelligence,2017:1-14.

[12] CHEN Rongjun,TAN Hongzhou,TAN Weiqing,et al.A fast lens focus measurement method based on blurred image processing[J].Acta Optica Sinica,2015,35(2):107-115.(in Chinese)

陈荣军,谭洪舟,谭伟清,等.一种基于模糊图像处理的透镜快速测焦方法[J].光学学报,2015,35(2):107-115.

[13] ZHU Junchao,GE Lei,HAN Fangfang,et al.Research on fisheye lens imaging model based on the separated parameters calibration[J].Chinese Journal of Sensors and Actuators.2013,26(7):975-980.(in Chinese)

朱均超,葛磊,韩芳芳,等.基于分离参数标定的鱼眼镜头成像模型研究[J].传感技术学报,2013,26(7):975-980.

[14] YANG Jinghao,LIU Wei,LIU Yang,et al.Calibration of binocular vision measurement system[J].Optics and Precision Engineering.2016,24(2):300-308.(in Chinese)

杨景豪,刘巍,刘阳,等.双目立体视觉测量系统的标定[J].光学 精密工程,2016,24(2):300-308.

[15] YAO Siyuan,WANG Xiaoming,ZUO Shuai.Fast feature point matching algorithm based on SURF[J].Laser &Infrared .2014,44(3):347-350.(in Chinese)

尧思远,王晓明,左帅.基于SURF的特征点快速匹配算法[J].激光与红外,2014,44(3):347-350.