视频测量影像序列椭圆形人工目标点快速识别和跟踪方法

刘祥磊，童小华，马 静

1.北京建筑大学测绘与城市空间信息学院，北京100044；2.现代城市测绘国家测绘地理信息局重点实验室，北京100044；3.同济大学测绘与地理信息学院，上海200092；4.北京市地质工程勘察院，北京100048

1 引 言

数字传感器技术的发展，尤其是CCD传感器和CMOS传感器的迅速发展，促进了高分辨率和高帧频工业相机的产生。高速相机现在已经广泛应用于质量控制和工业过程优化，工厂现场振动和运动分析，汽车工业（汽车碰撞试验、安全气囊测试和燃烧测试），材料测试（滴落测试、爆炸和断裂及变形测试）和高速物理过程试验等方面［1－4］。近年来，基于高速相机的视频摄影立体测量已经逐步在土木工程领域的建/构筑物健康监测中展开了应用［5－8］。为了获取建/构筑物关键位置点的准确动态响应数据，通常需要在建/构筑物关键位置布设人工目标点［9］。圆形标志具有旋转不变性，常被作为人工特征标志，且由于摄影时存在一定的摄影角度，圆形标志成像后以具有5个自由度椭圆形式存在，与具有2个自由度的线或点相比，具有更强的稳健性，已经在摄影测量领域和计算机视觉领域得到了广泛的应用［10］。基于高速相机的建/构筑物健康监测短时间会产生海量影像序列数据。因此，研究如何快速、准确识别和跟踪海量影像序列的椭圆形目标点直接影响到数据处理效率和目标点的三维解算精度，具有十分重要的意义。

目前椭圆的检测方法有很多，主要包括模板变换法［11］，Hough变换及其改进算法［12－14］，基于随机抽样一致性（random sample consensus，RANSAC）思想的椭圆检测算法［15－17］和结合椭圆几何特性的算法［18－19］。模板变换法可以精确检测椭圆，但是计算复杂，需要非常大的存储空间，非常耗时，降低了计算效率。Hough变换是采用映射的方法，通过数据的积累提取几何图形的特征，其优点是对数据的稳健性要求不高，但是由于椭圆具有5个参数，需要在检测椭圆的过程中在5维空间内进行积累计算，存在计算量和计算空间较大的缺点，为解决上述问题，众多研究者提出采用随机 Hough变换进行椭圆检测［20－21］，以降低对计算时间和内存的需求，但是随机Hough变换无目标的采样模式仍会引入大量无效积累，使得算法的效率大大降低。RANSAC椭圆检测法与Hough变换类似，它采用累加器或者类聚的方法来检测椭圆，具有很好的稳健性，能够一次检测多个椭圆，但是需要复杂的运算和大量的存储空间［22］。通常情况下，提高计算机的硬件配置，可以提高算法的计算效率，例如多核CPU（central processing unit）和 GPU（graphic processing unit），但是单纯提高多核CPU和GPU的性能，对于普通桌面计算机计算效率的提高是有限的。基于CPU＋GPU的异构协同并行计算具有快速并行计算和较高的浮点运算能力，可以大幅提高数据处理的效率，但是这种新型异构混合体系结构对大规模的并行算法提出了较高的要求，且需要高性能计算平台［23－25］。

高速视频测量短时间可以获取海量影像序列数据，圆形人工标志成像后边缘轮廓清晰，且与背景对比度较大。因此本文提出采用影像块技术降低数据处理量，实现目标点快速跟踪，集成数学形态学和椭圆几何属性特征，消除图像边缘检测的非椭圆边缘信息，实现椭圆轮廓的提取，采用最小二乘法拟合椭圆中心实现亚像素定位，快速、准确地实现建筑物健康监测椭圆形目标点的识别与跟踪。

2 影像块提取与跟踪

通常情况下，视频测量获取的影像序列的数据量非常庞大，如果对影像序列中的每张照片进行全区域处理，那么影像序列数据的处理效率将大大降低。影像序列椭圆形目标点跟踪的目的是确定同一目标点在运动过程中不同时刻的位置变化信息，而基于视频测量建/构筑物健康监测的椭圆形目标点在相邻相位影像具有连续性。因此，为了提高视频影像数据目标点识别与跟踪的效率，本文提出采用影像分块技术实现对影像序列的处理，图1是影像块提取与跟踪的流程图。

图1 影像块提取与跟踪流程Fig.1 Flowchart of image block extraction and tracking

具体来说，包括如下5个步骤：

（1）手动获取影像序列初始相位（第一帧立体影像）中椭圆形目标中心点的近似像素坐标I（x，y）。

（2）综合被测物体移动速度、跟踪点标志的大小、高速相机分辨率的大小和视角大小等因素，以I（x，y）为中心点向上下左右4个方向分别扩展n，以确定影像块在影像上的范围［（x－n，x＋n），（y－n，y＋n）］，提取影像块作为影像序列的跟踪区域以实现目标点的跟踪。

（3）自动精确计算影像块中的椭圆形目标点的中心点像素坐标Ib（xb，yb）。

（4）计算影像块中的椭圆形目标点的中心点像素坐标Ib（xb，yb）在原影像中的像素坐标Io（xo，yo），计算方法见式（1）

（5）获取像素坐标Io（xo，yo）的整数部分作为下一相位影像序列椭圆形目标点的初始近似像素坐标，通过步骤（2）—（5）自动循环计算所有椭圆形目标点的像素坐标，从而实现影像序列椭圆形目标点的跟踪。

3 类椭圆边缘轮廓识别

影像块范围较小，类椭圆人工标志与背景对比明显，集成数学形态学和椭圆几何特征属性，可快速、准确实现类椭圆轮廓识别。图2是类椭圆轮廓识别与提取的技术路线图。

3.1 影像块图像增强与边缘检测

由于视频测量中高速相机曝光时间较短，获取的影像序列中的影像成像质量较差，因此本文采用二维离散零均值高斯函数消除噪声（式（2）），增强影像块的对比度，以提高边缘检测的精度。Sobel算子不仅具有较快的检测速度，还有一定的平滑噪声的能力［22］，图像增强后的影像块采用Sobel算子进行边缘检测。

二维离散零均值高斯函数消除噪声计算方法为

式中，d表示影像点到影像中心点像素距离；δ表示高斯分布参数，它决定高斯函数的宽度。

3.2 椭圆几何特征

椭圆几何属性特征是指封闭边缘区域的几何特性，包括边缘周长、区域面积、圆形度和Hu矩等，通过几种几何属性组合可以实现类椭圆的自动识别［18］，特别适用于具有规则形状和大小的椭圆形人工标志点的自动识别与提取。本文提取的影像块中仅包含一个类椭圆标志，且与背景信息对比较为明显，因此，采用边缘周长、区域面积和圆形度3个椭圆几何属性，并结合数学形态学即可提取类椭圆边缘特征。具体实现方法和步骤如下：

（1）椭圆边缘周长是指相邻边缘像素间距离之和，用L来表示，一般来说有两种方法，一种是累计边缘要素的像素的数目，如图3（a）；另一种是累计边缘要素相邻像素中心点的欧氏距离，如图3（b），与前面的方法相比，该方法反映了每个边缘要素的实际距离。本文采用第2种方法。

图3 累计像素数目（a）和欧氏距离（b）示意图Fig.3 Cumulative number of pixel（a）and Euclidean distance（b）for elliptical perimeter

设d表示欧氏距离，则d（fi，j，fm，n）表示相邻像素fi，j和fm，n的欧氏距离，可以用式（3）表示

根据式（3）可以获取影像块中的每个边缘要素的周长，通过设置边缘要素周长最小值Lmin和边缘要素周长最大值Lmax两种阈值，设置判定标准Lmin＜L＜Lmax，则周长大于Lmax和小于Lmin的边缘要素将会被删除。

（2）边缘要素的区域面积S是提取椭圆轮廓的另一个重要属性特征，对于检测出来的影像块中的边缘要素，只有连通的边缘要素才有面积属性，去除通过步骤（1）获取的非连通边缘要素，然后采用数学形态学的闭运算填充连通的边缘要素，得到影像块中边缘要素的面积集合。设Smin和Smax分别是面积阈值的最小值和最大值，则可以通过公式Smin＜S＜Smax消除不符合要求的边缘要素。

（3）采用数学形态学膨胀法对经过步骤（2）获取的区域面积填充的影像进行边缘检测。一幅图像可以定义为是欧氏距离空间的子集E，设F为二进制影像块，B为结构算子，膨胀法边缘Ed（）F，则影像块的边缘信息计算公式（4）为

（4）圆形度C是反映一个椭圆接近圆形的程度的指标，值的范围属于［0，1］，其值越接近于1，表明椭圆越接近于圆形。最常用的表示圆形度指标用式（5）表示

式中，S表示连通边缘要素的填充面积；L表示连通边缘要素的周长。设T表示圆形度的门限值，当边缘要素的圆形度C＞T，保留此边缘要素，删除圆形度小于T的边缘要素。

集成形态学和椭圆几何属性，经过上述算法和步骤即可快速、准确识别和提取影像块中的类椭圆人工标志边缘轮廓。

4 类椭圆中心点拟合

椭圆的表示方法一般有两种，一种是利用圆锥曲线方程的代数形式表示为

另外一种更直观的方式是用平面坐标系的几何参数表示的一般形式，即椭圆中心位置长半轴a和短半轴b，长轴的转角θ。二维平面里的任意椭圆都可以用这5个参数唯一确定，即

当随机误差为正态分布时，最小二乘法是通过最大似然法推出的一个最优估计算法，它可使测量误差的平方和最小，因此也被视为从已知测量值求解未知量的最可信赖的方法之一。类椭圆中心点拟合采用最小二乘法，设M＝［（x1，y1），（x2，y2），…，（xn，yn）］为获取的影像块椭圆轮廓边缘的像素坐标集合，则根据椭圆的一般方程式（7），建立均方根误差方程，即式（8）

5 试验结果

5.1 试验验证

本文选择高速视频测量多层框架结构抗震稳健性振动台试验的影像序列作为试验数据，相机为德国 Mikrotron公司的 MC1362，分辨率为1280像素×1024像素，帧频设为200帧/秒，镜头为AE Nikkor 20mm F2.8D。

图4（a）是多层框架结构抗震稳健性振动台视频测量左侧相机获取的影像序列的第一帧影像，图中矩形区域为选择的影像块数据。图4（b）用宽度为40的像素从原始影像中提取的影像块；图4（c）是采用Sobel算子对影像块进行边缘检测获取的边缘要素数据；图4（d）是根据周长属性删除周长极大值边缘要素周长和极小值边缘要素周长后的影像，门限值分别是10像素和30像素；图4（e）是根据面积属性删除面积极大值边缘面积要素和极小值边缘要素面积后的影像，门限值分别是20像素和50像素；图4（d）是根据边缘要素椭圆度属性检测后的影像，椭圆度阈值是0.9；图4（f）是采用最小二乘法拟合的椭圆中心点在影像块中的位置；图4（g）描述的是根据图4（f）椭圆中心点放大5倍后的影像图，通过图4（g）可以看出已经实现了椭圆的中心点精确拟合。

图4 高速视频测量多层框架结构抗震稳健性振动台试验影像序列椭圆目标点识别和跟踪各个环节影像Fig.4 Images of elliptical targets identification and tracking for the high－speed videogrammetry for multi－layer frame structure shaking table test

5.2 精度验证

集成数学形态学和椭圆几何特征的影像块类椭圆边缘识别和跟踪技术，可以准确获取影像序列中类椭圆的边缘轮廓，采用最小二乘法可拟合类椭圆的中心像素坐标。由图5可知，100张影像中单个类椭圆标志基于最小二乘法拟合中心点像素坐标的RMS残差优于0.025个像素，精度较高，满足视频测量建/构筑物健康监测的高精度要求。

为了验证本文提出的椭圆识别和跟踪算法的精度与效率，本文选择随机Hough变换和模板变换对同一目标点进行识别与跟踪。试验选取100张连续影像，影像块的延伸范围为50个像素，随机Hough变换的搜索半径阈值设定在3个像素和6个像素之间。图6（a）和（b）描述了采用随机Hough变换（RTH）、模板变换（TM）和本文提出的椭圆识别方法（MA）在100张影像中的X和Y方向的曲线变化图。通过图6可以发现随机Hough变换和模板变换获取的椭圆中心点像素坐标与本文提出的椭圆识别方法获取的椭圆中心点像素坐标在在X和Y方向上的坐标差值均小于0.02个像素，又因在视频测量过程中单个像素代表的实际距离一般小于5mm，即实际距离的差值小于0.1mm，因此可以得出结论，通过上述3种方法获取的椭圆边缘拟合中心点坐标的精度具有一致性。

图5 最小二乘法类椭圆中心拟合RMS残差分布Fig.5 RMS residuals distribution of elliptical center fitting using the least square algorithm

图6 RTH、TM和MA方法椭圆检测和拟合中心点在X和Y方向的曲线变化Fig.6 Curve comparison graph of the elliptical fitting center in the Xand Ydirection with the RTH，TM and MA

本文提出的方法的处理对象是椭圆目标点所在的局部影像块，可以降低数据处理总量，提高目标点跟踪的效率。同时，集成数学形态学和椭圆几何属性特征（周长、面积和圆形度），直接消除图像边缘检测的非椭圆边缘信息以提取椭圆轮廓，避免了数据的累计计算和庞大的存储空间需求，因此，可以进一步有效地提高椭圆识别和跟踪的效率。表1描述了采用上述3种方法分别对100张影像中同一椭圆形目标点进行识别和跟踪所耗费的时间。结果显示采用本文提出的基于影像块技术的算法耗时4.787s，远远低于采用随机Hough变换和模板识别算法进行椭圆形目标点识别和跟踪所耗费的时间，跟踪效率提高5倍以上。

表1 采用RHT、TM和MA方法识别及跟踪椭圆形目标点（100帧）所耗费的时间对比表Tab.1 Consumed time of identification and tracking elliptical targets in 100images using the RTH，TM and MA

6 结 论

椭圆形人工标志点识别与跟踪是进行基于视频测量的建筑物健康监测的关键技术环节，准确、迅速地获取椭圆形标志点的像平面坐标直接影响视频影像中目标点三维重建的精度和效率。本文根据建筑物健康监测视频测量的特点，提出了一套基于影像块技术的椭圆形人工目标点快速识别和跟踪的方法。试验结果表明该算法定位精度高，稳健性强，且具有较高的处理效率，对于快速处理基于视频测量的建筑物健康监测的海量视频影像数据具有较高的实效性和准确性。影像序列目标点自动识别和跟踪是视频测量发展的一个趋势，通过试验前获取目标中心点的空间坐标和摄影中心近似的定位参数反求目标点的像平面坐标，可以实现初始相位目标点的自动提取，但是需要借助于全站仪和GPS等相关设备，操作比较复杂。与初始相位目标点人工提取相比，是否能大大提高效率，并未进行试验对比验证，这也是需要进一步研究的方向。

［1］HILLEBRAND M，STEVANOVIC N，HOSTICKA B J，et al.High Speed Camera System Using a CMOS Image Sensor［C］∥Proceedings of the IEEE Intelligent Vehicles Symposium.Dearborn：IEEE，2000：656－661.

［2］MUEHLMANN U，RIBO M，LANG P，et al.A New High Speed CMOS Camera for Real－time Tracking Applications［C］∥Proceedings of the 2004IEEE International Conference on Robotics and Automation.New Orleans：IEEE，2004，5：5195－5200.

［3］REMONDINO F.Videogrammetry for Human Movement Analysis［C］∥Proceedings of the 9th International Symposium on 3DAnalysis of Human Movement.Zurich：Institute of Geodesy and Photogrammetry，2006：25－33.

［4］WANG J B，ZHANG Y，YANG M G，et al.Observation of Arc Discharging Process of Nanocomposite Ag－SnO2and La－doped Ag－SnO2Contact with A High－speed Camera［J］.Materials Science and Engineering：B，2006，131（1－3）：230－234.

［5］FRASER C S，RIEDEL B.Monitoring the Thermal Deformation of Steel Beams via Vision Metrology［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2000，55（4）：268－276.

［6］LEIFER J，WEEMS B J，KIENLE S C，et al.Three－dimensional Acceleration Measurement Using Videogrammetry Tracking Data［J］.Experimental Mechanics，2011，51（2）：199－217.

［7］FU G K，MOOSA A G.An Optical Approach to Structural Displacement Measurement and Its Application［J］.Journal of Engineering Mechanics，2002，128（5）：511－520.

［8］LEE J J，FUKUDA Y，SHINOZUKA M，et al.Development and Application of A Vision－based Displacement Measurement System for Structural Health Monitoring of Civil Structures［J］.Smart Structures and Systems，2007，3（3）：373－384.

［9］LIN S Y，MILLS J P，GOSLING P D.Videogrammetric Monitoring of As－built Membrane Roof Structures［J］.The Photogrammetric Record，2008，23（122）：128－147.

［10］YAN Bei，WANG Bin，LI Yuan.Optimal Ellipse Fitting Method Based on Least－square Principle［J］.Journal of Beijing University of Aeronautics and Astronautics，2008，34（3）：295－298.（闫蓓，王斌，李媛.基于最小二乘法的椭圆拟合改进算法［J］.北京航空航天大学学报，2008，34（3）：295－298.）

［11］LIU Shenghao，ZENG Libo，WU Qiongshui，et al.A Novel Cervical Cell Segmentation Method Based on Ellipse Deformable Template Technology［J］.Chinese Journal of Scientific Instrument，2004，25（2）：222－225.（刘 生 浩，曾 立波，吴琼水，等.一种基于椭圆可变形模板技术的宫颈细胞图像分割方法［J］.仪器仪表学报，2004，25（2）：222－225.）

［12］HOUGH V，PAUL C.Method and Means for Recognizing Complex Patterns：US，069654［P/OL］.1962－12－18.

［13］NIU X，HU Z，YANG S.Hierarchical Ellipse Detection Algorithm Based on Local PCA Hough Transform with Parameter Restraint［J］.Journal of Computer Applications，2009，29（5）：1365－1368.

［14］ZHOU T H，PAPANIKOLOPOULOS N.Enhancing the Randomized Hough Transform with k－means Clustering to Detect Mutually－Occluded Ellipses［C］∥Proceedings of the 19th Mediterranean Conference on Control ＆ Automation.Corfu：IEEE，2011：327－332.

［15］LIU R，SUN H M，WEI J，et al.Ellipse Detection and Fitting Based on RANSAC［J］.Journal of Beijing Institute of Clothing Technology：Natural Science Edition，2012，32（4）：74－78.

［16］DOHI K，HATANAKA Y，NEGI K.Deep－pipelined FPGA Implementation of Ellipse Estimation for Eye Tracking［C］∥Proceedings of the 22nd International Conference on Field Programmable Logic and Application.Oslo：IEEE，2012：458－463.

［17］LI Chang，Researching on Key Technique for 3DAuto－Reconstruction of City Street Elevation［J］.Acta Geodaetica et Cartographic Sinica，2011，40（2）：268－268.（李畅.城市街道立面自动重建关键技术研究［J］.测绘学报，2011，40（2）：268－268.）

［18］XUE Ting，SUN Mei，ZHANG Tao，et al.Complete Approach to Automatic Identification and Sub－pixel Center Location for Ellipse Feature［J］.Journal of Optoelectronics·Laser，2008，19（8）：1076－1078.（薛婷，孙梅，张涛，等.类椭圆特征自动识别及亚像素提取的完整实现［J］.光电子·激光，2008，19（8）：1076－1078.）

［19］QIAO Y，ONG S H.Arc－based Evaluation and Detection of Ellipse［J］.Pattern Recognition，2007，40（7）：1990－2003.

［20］LI Liangfu，FENG Zuren，HE Kailiang.An Improved Algorithm for Ellipses Detection Based on Randomized Hough Transform［J］.Pattern Recognition and Artificial Intelligence，2005，18（4）：459－464.（李良福，冯祖仁，贺凯良.一种基于随机Hough变换的椭圆检测算法研究［J］.模式识别与人工智能.2005，18（4）：459－464.）

［21］PANG Yongjie，LIU Wei.Improved K－RANSAC Method for Ellipse Detection［J］.Journal of Harbin Engineering University，2003，24（5）：487－490.（庞永杰，刘维.改进的K－RANSAC椭圆检测方法［J］.哈尔滨工程大学学报，2003，24（5）：487－490.）

［22］XIA Fei，ZHU Qianghua，JIN Guoqing.Accelerating RNA Secondary Structure Prediction Application Based on CPU＋GPU Hybrid Platform［J］.Journal of National University of Defense Technology，2013，35（6）：138－146.（夏飞，朱强华，金国庆.基于CPU＋GPU混合计算平台的RNA二级结构预测算法并行化研究［J］.国防科技大学学报，2013，35（6）：138－146.）

［23］QU Y D，CUI C S，CHEN S B，et al.A Fast Sub－pixel Edge Detection Method Using Sobel－zernike Moments Operator［J］.Image and Vision Computing，2005，23（1）：11－17.

［24］FANG Liuyang，WANG Mi，LI Deren.A CPU－GPU Co－processing Orthographic Rectification Approach for Optical Satellite Imagery［J］，Acta Geodaetica et Cartographic Sinica，2013，42（5）：668－675.（方留杨，王密，李德仁.基于CPU和GPU协同处理的光学卫星遥感影像正射校正方法［J］.测绘学报，2013，42（5）：668－675.）

［25］KANG Xiaochen，LIU Jiping，LIN Xiangguo.Parallel Filter of Progressive TIN Densification for Airborne LiDAR Point Clouds Using Multi－core CPU［J］，Acta Geodaetica et Cartographic Sinica，2013，42（3）：331－336.（亢晓琛，刘纪平，林祥国.基于多核CPU的机载LiDAR点云并行三角网渐进加密滤波方法［J］.测绘学报，2013，42（3）：331－336.）