基于边缘约束的快速运动物体三维重建算法

王欢，叶玺臣

(滁州学院 电子与电气工程学院，安徽 滁州 239000)



基于边缘约束的快速运动物体三维重建算法

王欢，叶玺臣

(滁州学院 电子与电气工程学院，安徽 滁州 239000)

在手术环境中，医生的头、手等部位遮挡灯光产生阴影，会在一定程度上影响手术质量。为了保证手术质量，就必须检测出这些运动物体，并根据其三维信息进行调光以减弱产生的阴影。本文提出一种快速三维重建方法。该方法采用QT开发环境并结合OpenCV开发，提高了开发效率，可移植性强；运用基于边缘约束的方法，提高了三维重建的速度和精度。实验证明，本文提出的快速三维重建算法动态响应速度快，准确性高，达到设计要求。

运动物体；三维重建；OpenCV

0 引言

三维重建是计算机视觉研究领域的重要课题，其相关技术已在工业、医疗等领域得到广泛应用。三维重建过程一般包括：摄像头标定、图像采集、图像匹配、图像重建等步骤[1]。其中，是否能准确对摄像机内外部参数标定以及立体匹配是三位重建中的难点。

OpenCV是Open Source Computer Vision Library的简称，是一种开源、可跨平台使用的计算机视觉库，已广泛应用于各种嵌入式系统应用中。

在手术环境中，医生的头，手[2]等部位遮挡灯光产生阴影，会在一定程度上影响手术质量，为了保证手术质量，就必须检测出这些运动物体，并根据运动物体的模型对无影灯进行调光。传统的三维重建多针对于静态物体，实时性相对较差，本文提出一种基于边缘约束的快速三维重建方法，提高了开发效率，具有执行速度快、实时性好、可移植性强的特点，便于后期应用于嵌入式系统中。

1 基于边缘约束的快速运动物体三维重建

1.1 摄像机参数标定

本文采用张氏标定法基础上再利用Brown算法进行标定[3]。标定板采用11×10黑白格矩阵形式排列，方格尺寸为20mm×20mm，共选取18对图像进行标定。图1为标定中对标定板的焦点提取图。

图2 重投影示意图

1.2 立体校正

立体校正使得两摄像头所采集图像进行重投影之后所获得的图像的每一像素行精确对准，从而提高立体匹配的可靠性[5]，重投影示意图如图2。

本文使用Bouguet提出极线校正算法对所采集的图像进行校正，结果如图3中所示。

图3 校正结果

图3为左摄像头图像校正结果，可以看出距离图像中心点越远的区域，图像发生的畸变也越严重，校正后产生的边缘缺损，像素点全部置0。

1.3 运动物体提取

为了对运动物体进行三维重建，必须先提取出场景中的运动物体，目前对于运动物体的检测方法可以分为三类：光流法[6]、背景差分法[7]和相邻帧差法[8]。本文采用高斯混合模型的方法提取运动物体，运动物体提取结果如图4所示。

图4 运动物体提取结果

图4为左摄像头中运动物体检测结果，其中图(a)为背景，图(b)为当前图像，图(c)为提取出的运动物体(蓝色小人)，因左右摄像头提取结果类似，这里仅以左摄像头实验结果为例，可以看到提取出的结果与运动物体所在区域基本吻合，符合系统要求。

1.4 立体匹配

得到运动物体区域后，即可进行立体匹配。缩减搜索空间从而提高立体匹配速度，并保证匹配点的准确性，是本算法要解决的核心问题[9]。本文算法在完成提取遮挡物区域后，采用边缘约束法缩减匹配区域，再利用视差约束排除误匹配点，最后采用平滑约束对结果数据进行平滑，减少空洞和噪声，得到最终立体匹配结果。算法流程图如图5。

图5 快速匹配算法流程图

(1)匹配区域缩减

Scharstein[10]的研究提出在某些应用情况下，为了更高的提升立体匹配速度，可不必对目标物体进行稠密匹配，只需对其边缘部分进行匹配即可达到应用目的。因此，本文在检测到运动物体后，采用边缘提取算法，仅保留运动物体的边沿部分，再结合形态学的方法对所得区域进行扩充，避免因待匹配区域面积过小影响匹配结果，最后利用边缘约束排除待匹配区域之外像素点，即得到最终待匹配区域。

图6 深度计算三角原理图

(2)立体匹配

待匹配区域已进行缩减，匹配中只需对图像中的非0像素点进行匹配即可。同时，为了进一步提高匹配速度，缩减匹配计算量，应尽量选择较小的匹配窗口。本文在匹配时，沿极线的方向，采用用3x3的窗口进行匹配，计算出图像对应的视差图。

(3)深度约束

获得视差数据后，根据标定所得摄像头参数集合三角原理计算出运动物体外轮廓像素点三维数据。计算原理图如图6所示。

根据pl、pr的坐标(以左摄像头为原点)分别为(xl，yl)、(xr，yr)，可计算出点P(X，Y，Z)的坐标：

(3)

(4)

(5)

其中，d为左、右图像中同一像素点所对应视差，摄像头中心距b和焦距f已知且不变，由式(3)可得，某一像素点的深度与其视差成反比例关系，故深度约束可近似为视差约束。因此，目标运动遮挡物应满足的深度范围(Ymin，Ymax)(距离摄像头正常距离)可对应视差范围(dmin，dmax)，扫描视差数据，若某点视差数据不在(dmin，dmax)范围之内，则排除此点，同时计数值加1。扫描完毕后，若排除的点个数大于总匹配点个数的5%，则去除不合要求点后，再次匹配。否则，将不合要求的点视差数据置为0，进入下一步。

(4)平滑约束

对匹配区域内已经置0的像素点的所对应的视差数据点作为种子点，对其周围区域的点进行平滑滤波后，得到最终的视差数据。

1.4 三维重建及显示

计算出视差数据后，根据式(3)、(4)和(5)计算运动遮挡物轮廓的三维信息，并进行三维重建。

2 实验与比较

本文在Windows系统下，结合OpenCV、OpenGL库，实现对运动物体的提取及三维重建，实验结果如图8。

图7 三维重建实验结果

图7(a) 、7(b)为背景图，图7(c) 、7(d)为当前图像。图7(e)、图7(f)分别为采用局部匹配和传统半全局匹配方法匹配得到的视差图，图中存在空洞，部分区域无法匹配，且未能排除不满足要求的运动物体。图7(g)为采用本文算法计算得到的视差图，可见，得到的视差图平滑、清晰，且排除了不满足要求的运动物体。图7(h)、7(i)和7(j)为重建结果，重建结果基本与原运动物体相符，符合实验预期。

本文也对各算法匹配时间进行了比较，各算法运算时间如表1所示。

表1 不同算法匹配用时

如表1所示，本文提出的算法，只针对目标运动物体特征点较密集的边缘区域进行立体匹配及重建，相对于传统半全局匹配算法既减少了匹配时间，同时满足了应用要求，达到算法设计预期。

3 结语

本文采用设计的快速运动物体重建算法对运动物体的进行三维重建。实验结果证明本算法可以快速、有效地完成对运动物体的三维重建，重建效果符合预期要求，有一定的实用价值和工程应用意义。

[1] 刘钊．基于计算智能的计算机视觉及其应用研究[D]．武汉：武汉科技大学，2011.

[2] 邢丽冬，钱志余，等．基于图像跟踪的LED无影灯自动调光方法的研究[J]．中国机械工程，2012，23(8)：923-927.

[3] Zhang．A Flexible New Teehnique for Camera Calibration[J]．IEEE Transactions On Pattern Analysis and Machine Intelligenee,2000,22(11) :1330-1334.

[4] 蒋文娟．基于双目立体视觉的三维重建[D].南京：南京航空航天大学．2008．

[5] 王炜强，徐进．基于宽基线立体视觉的远距离三维重建 [J]．浙江大学学报(工学版)，2010(6)：1073-1078．

[6] 朱克忠.基于光流法对移动目标的视频检测与应用研究[D].合肥：合肥工业大学，2007.

[7] Zheng J, David D, Zhang Y, et al. An Algorithm for Video Monitoring under a Slow Moving Background[J].IEEE Proceedings of First International Conference on Machine Learning and Cybernetics，2003(3):1626-1629.

[8] Du Y，Zhou A，Yuan F.Moving Object Detection for Video Monitoring Systems[C].∥Proceedings of The 8thInternational Conference on Electronic Measurement and Instruments. 2007(2): 814-817.

[9] 王玲玲．基于双目立体视觉的水下三维重建[D]．杭州：浙江大学，2011．

[10] D.Scharstein, Stereo Vision for View Synthesis[J]． Computer Vision and Pattern Recognition, 1996(6):852～858.

责任编辑：程艳艳

Algorithm of 3D Reconstruction for Fast Moving Targets Based on Edge Restriction

WANG Huan，YE Xichen

(College of Electronic and Electrical Engineering，Chuzhou University，Chuzhou 239000，China)

In surgical environment，the shadow caused by the motions of doctor’s head, hands and other parts will have influences on the quality of surgery to some extent. In order to solve this problem, the effective detection on these moving targets is necessary, and light-adjusting should be made according to their 3D information to reduce the shadow. This paper gives a fast 3D-reconstruction method, in which QT environment is combined with OpenCV to improve the efficiency of development, having strong transplantable capability; at the same time, a method based on edge restriction is applied to improve the speed and precision of 3D reconstruction. The experimental result shows that the algorithm of fast 3D reconstruction has fast dynamic response speed and high accuracy，meeting the design requirements.

moving target; 3D reconstruction; OpenCV

2016-08-26

安徽省科技厅自然科学研究重点项目(KJ2016A528)

王欢(1986-)，男，安徽滁州人， 助教，硕士，主要从事电子信息方面研究。

TP391

A

1009-3907(2016)10-0027-06