多摄像机视野分界线恢复算法

薛翠红，于 洋，梁 艳，于 明

(河北工业大学计算机科学与软件学院，天津 300401)

0 引言

由于单摄像机存在着视野范围有限和遮挡等一些难以解决的问题，多摄像机的出现缓解了这些问题，因此多摄像机的研究越来越成为一种趋势。然而，一方面多摄像机研究也带来一些问题，多摄像机提供了广阔的视野范围和完整的场景;但同时必须建立多个摄像机视野范围的相互联系。就单摄像机和多摄像机环境下目标跟踪问题而言，单摄像机的目标跟踪重点是解决由于时间的变化每一帧之间的相互联系。而多摄像机的目标跟踪则是要同时解决不同摄像机观测到的目标运动之间的关系。简言之，就是多摄像机的目标交接问题。

多摄像机目标交接技术的关键和前提是摄像机视野分界线的划分，视野分界线是一个摄像机在另一个摄像机视野内的视野范围。划分好每个摄像机的视野有利于目标的一致性标号，为多摄像机的目标交接提供了坚实的基础。

1 Harris角点检测与匹配算法

目前，Harris角点检测是很流行的特征提取算法，因为它具有强壮的旋转和尺度不变性能，可以抑制光照、噪声的影响。Harris角点检测算法是由Harris C G和Stephen M J于1988年提出来的。该算子是在Moravec算子基础上改进的，Moravec算法的基本思想是:计算像素兴趣点，然后在图像局部选择最大兴趣值点(灰度变化明显的点)作为特征点，所谓像素兴趣点是以像素4个主要方向。最小灰度方差表示该像素与邻近像素的灰度变化情况。而Harris角点检测算法的改进在于用一阶偏导来描述亮度变化，并给出与自相关函数相联系的矩阵M。矩阵M的2个特征值是自相关的一阶曲率，如果这2个曲率值都很高，则认为该点是特征点。

Harris检测算子是采用图像灰度的微分表示图像灰度的变化。其算法表达式为:

假设αβ为矩阵M的2个特征值，则根据角点量的公式:

可以得到图像中的特征角点。其中Det(M)为行列式M的值，Trace(M)为行列式M的迹，k是参数，通常取值k=0.04～0.06。由于各向同性，因此M保持了旋转不变性。通过对矩阵M的2个特征值分析，可以得出以下3种情况:

①如果2个特征值都很小，意味着窗口所处区域灰度变化很小，近似为常量。任意方向的移动，函数V都发生很小的改变。

②如果一个特征值很大，而另一个特征值很小，意味着窗口所处区域灰度值呈现为屋脊状，例如边缘。此时，沿着边缘方向移动V的变化很小，而垂直边缘移动V的变化较大。

③如果2个特征值均很大，表明窗口所处区域灰度值呈现为尖峰状，例如角点。此时，沿着任意方向移动V的变化都急剧增大。

根据以上分析可以求解出Harris角点。采用归一化互相关算法(Normalised Cross-Correlation NCC)进行角点的匹配，设图像I1中窗口w和图像I2中对应区域T(w)，基于NCC的2幅图像的相似测度如下:

式中:w(x，y)是定义在窗口W上的权值函数，典型w(x，y)为 1 或是高斯函数;分别为图像 I1，I2所考虑的窗口区域的均值。对于图像I1中的每一个角点p以该点为中心选择一个尺度大小为(2n+1)×(2m+1)的相关窗口，再在图像I2中以与图像I1中的角点p具有相同坐标的像素点为中心选取一个尺寸大小为(2du+1)(adv+1)的矩形搜索区域，然后对图像I1中的角点p与图像I2中搜索窗口区域内的每个角点q之间的给定窗口计算相关系数。

2 单应矩阵的生成

首先，从射影几何知道，如果空间点位于同一平面上且该平面不通过二摄像机的任一光心，那么此时2幅图像的对应点之间存在一一对应关系，且这种一一对应关系可以用一个成为单应矩阵的变换矩阵来表示。求解单应矩阵的算法有点对应算法、利用2幅图像之间的单应关系进行约束的算法以及直线对应算法。基于以上匹配点的计算，采取点对应算法。根据Harris算法获得N(＞=4)对应点，就可以确定2幅图像I1，I2之间的单应矩阵H。

令 (xi，yi)∈ I1，()∈I2为一对对应点，i=1，2，…N。根据场景间图像对应点的单应关系，得到2个线性方程:

式中，h 是矩阵 H 的向量形式，h=(h0，h1，h2，h3，h4，h5，h6，h7，h8)T，于是可以得到 2N 个关于参数 h的方程。要求N≥4的道理也是在于此。写成矩阵形式:

当N＞4时，用奇异值分解(SVD)法求最小二乘解h，由此可以求得单应矩阵H。

3 摄像机FOV分界线的生成

生成视野分界线是通过以下各个步骤的计算，首先图像获取，即图1中有重叠区域的2副图像，然后采用Harris算法进行角点检测提取特征角点，接着对图像进行角点匹配找到一一对应点。由于接下来求单应矩阵需要至少4个匹配点，所以要至少找到2幅图像的4个正确匹配的点，得到各个点的坐标并按照上述的方法求得单应矩阵，最后找到原始图像中的边界点并根据得到的单应矩阵找到图像的重叠区域，即摄像机的FOV分界线。黑色的线条所包围的矩形区域的底边即为求得的视野分界线。底边下面的灰色框区域为摄像机地面的视野分界线，由于视野监控的过程中人走过的只是地面的部分，所以对墙壁的部分可以不生成视野分界线。这样也可以避免黑线的地方由于和地平面不共面，不符合射影变换理论而造成的误差。

4 实验结果及分析

该文使用352*288的图片进行实验，首先使用文献［6］中的方法和该文的方法分别计算一条摄像机FOV分界线(由2个边界点得到射影变换后的2点，由2点确定1条直线，即为1条分界线)，并对结果进行对比，数据比较结果如表1所示。

表1 算法取点比较结果

人工取点的方法计算结果有明显的偏差，而该方法计算的结果更符合实际。因为人走过需要一个过程，走过这个基准不是准确的，所以存在误差。

由射影几何理论以及该文进行的大量实验可知:选择2幅图像中分布范围尽可能大、尽可能多的匹配点计算的射影矩阵更加准确，从而计算的FOV分界线也更准确。如图1所示，其中图1(d)是图1(a)的视野分界线，图1(d)中的黑色矩形区域即为摄像机的视野区域，黑色矩形底边以下的灰色矩形区域即为摄像机的地面区域。该算法对于取到的匹配点的位置也是具有一定的敏感程度，会因为此对结果造成一定的误差，因为实验中能够取到4对较准确的点，所以视野分界线是很精确的。

图1 视野分界线结果图

5 结束语

该文通过利用Harris算法和单应变换来恢复视野分界线，对不同的场景做反复实验，并用多个匹配点进行比较验证视野分界线的准确度，证实了该方法能够正确的实现视野分界线的恢复，并且具有一定的鲁棒性与可靠性。

［1］WANG Jian-hua，LIU Yun-cai.Characteristic Line of Planar Homography Matrix and Its Applications in Camera Calibration［C］∥Proceedings of the 18th International Conference on Pattern Recognition，2006:147-150.

［2］BLACK J，ELLIS T.Multi Camera Image Tracking［J］.Image and Vision Computing，2006，24(11):1256-1267.

［3］HARTLEY R，ZISSERMAN A.Multiple View Geometry in Computer Vision(2nd)［M］.London:Cambridge University Press，2004.

［4］李冬梅，王延杰.基于角点匹配的图像拼接技术［J］.电子器件，2008，31(5):919-922.

［5］陈白帆，蔡自兴.基于尺度空间理论的Harris角点检测［J］.中南大学学报，2005，36(5):751-754.

［6］CALDERARA S， PRATIAROBERTOV， etal.Consistent Labeling for Multi-camera Object Tracking［J］.Image Analysis and Processing-ICIAP，2005，3617:1206-1214.