全景相机与PTZ相机联动监控系统及位置关联模型

凌家曜 钟 平 吴 靖 李志松 苏 舒

1(东华大学理学院 上海 201620)

2(东华大学信息科学与技术学院 上海 201620)

0 引 言

由于社会安全问题越来越得到重视，采用传统监控方式存在大量盲区以及被动监视等问题，难以满足现代社会的需要。利用全景相机视场范围大、监控视野面广、高速球机自动变焦、远距离观测、清晰成像等特点，进行坐标关联及联合控制，可实现大范围监视和指定区域精细观测、分析。尤其是利用折反射全景相机代替传统相机并辅助以PTZ相机的方案，有许多的研究者对此进行了探讨[1-3]。Nayar等[4]提出将折反射全景相机与PTZ相机结合用以检测运动物体。Scotti等[5]在Nayar等的基础上提出了一种可以在PTZ云台以高放大率进行联动监控的方法。Redouane等[6]成功将全景联动系统应用到智能人脸识别系统中。国内浙江大学也在尝试将折反射全景相机与PTZ相机结合用于公共场所的人流量检测[7-8]。然而，采用全景相机与云台相机联动监控时，两者安装的位置关系多种多样，例如文献[6，9]中全景相机与PTZ相机间的位置关系就属于上下垂直放置，而文献[7]中提到的则是两个水平放置的相机。能否建立其统一的位置关联模型，实现相机间对相同观察点的坐标转换及研究联动系统对监视目标的成像质量，具有重要意义。

针对上述问题，本文提出一种全景相机与PTZ相机联合监控系统及位置坐标关联模型，并展示了利用该模型如何实现双相机对监控场景的位置关联。通过实验验证本文方法应用于实际系统两相机坐标的关联关系，其误差优于PTZ相机转动的最小控制精度。

1 联动监控系统及关联模型

本文利用全景相机视场范围大、高速球机自动变焦、远距离清晰成像等特点，构建了一种联合监控系统，并进行坐标关联，以实现大范围监视和指定区域精细观测。所提出的系统主要由以下几个部分组成：折反射全景相机，PTZ相机，硬盘录像机，网络交换机，微型计算机等。由于全景相机和PTZ相机都需悬挂在一定高度进行观察，两者间的相对位置不固定，因此，需要对两者间相对位置不同所导致的位置坐标关联进行推导。

根据折反射全景相机与PTZ相机在实际使用中的相对位置关系，提出了两相机间的统一位置关联模型，如图1所示。

图1 统一位置关联模型

图1中[O0X0Y0Z0][O0X0Y0Z0]代表全景相机坐标系，[O1X1Y1Z1]代表PTZ相机坐标系。两相机光心之间的距离在X、Y、Z坐标轴的投影分别为Lx、Ly、Lz；而PTZ相机坐标系O1X1、O1Y1、O1Z1轴与全景相机坐标系O0X0、O0Y0、O0Z0轴之间的夹角分别为θ1、θ2、θ3；两相机光心间的垂直距离为a；空间点P与O0Z0、O1Z1夹角分别为α、β。两相机之间所处的任意位置关系，均可以通过平移、旋转而达到本文所提出的统一位置关系。如图2所示，对于两相机之间的任何位置关系，通过设置对应的空间平移量Lx、Ly、Lz，以及θ1、θ2、θ3进行平移和旋转操作，可使得系统相机的位置坐标转换采用所提出的统一位置关联模型实现。

(a) 平移 (b) 旋转

对于整个联动系统而言，除了包含全景相机与PTZ相机之间的相对位置关系外，还需要考虑的就是空间物点与全景相机像点之间的映射关系。

1.1 全景相机中像点与物点间的映射关系

如图3所示，在全景相机中一般认为存在两个参考面，即像平面U′=(u′,v′)和传感器平面U″=(u″,v″)。因为传感器CCD成像阵面是由一个个的像素构成，这些像素的形状和排布导致相平面坐标U′=(u′,v′)与传感器平面坐标U″=(u″,v″)之间存在仿射变化的关系:

U″=AU′+t

(1)

式中：A是一个2×2的旋转矩阵；t是2×1的平移矩阵。

图3 全景相机的参考面示意图

此外，相机成像过程中还需引入成像函数g，成像函数规定了全景相机传感器坐标系下点U″和由全景相机视点O发出的指向空间点X的向量p之间的关系。同时考虑到传感器坐标系与像平面坐标系之间的关系式(1)后，可以得到如下公式：

λ·p=λ·g(u″)=λ·g(Au′+t)=PXλ>0

(2)

式中：X是场景坐标的齐次坐标表示，由齐次坐标表示；P为3×4的透视矩阵;λ是比例因子。

g的表达式可以表示为：

g(u″,v″)=(u″,v″,f(u″,v″))T

(3)

f(u″,v″)=a0+a1ρ″+…+aNρ″N

(4)

将式(4)、式(3)代入式(2)可得:

(5)

式(5)实际上是将全景实际图像上的点p(u′,v′,w′)通过映射变换后得到所对应的物点在空间中的相对位置(即反向投影)。但在计算之前，需要对全景相机进行标定，获取必要的内参和外参。

1.2 统一位置关联模型推导

通过图2中的两种位置变换操作，最终可以推导出系统统一位置关联模型。需要指出的是，本文中的平移和旋转变换都是以相机光心为原点所建立的空间坐标系而言，对于实体相机而言存在实际中难以达到的情况。例如对旋转变换而言，两相机光心理论上可以重合，但因为实际中光心多数位于相机内部难以实现两相机间真正的光心重合。本节对模型的推导，忽略相机实体形状对模型的影响。

1.2.1相机位置平移

如图4所示，全景相机坐标系与PTZ相机坐标系之间存在平移关系。

图4 垂直上下放置的联动系统

(6)

1.2.2相机间旋转

如图5所示，PTZ相机相对于全景相机沿同光心旋转。PTZ相机坐标系是由全景相机坐标以X、Y、Z坐标轴为旋转轴逆时针旋转[ω1ω2ω3]后得到，旋转后高速球机的坐标系与全景相机坐标系对应坐标轴夹角分别为[θ1θ2θ3]，如图5和6所示。根据几何理论可以算得：

(7)

(8)

(9)

图5 PTZ相机以共同光心为原点旋转

图6 沿X、Y、Z轴旋转俯视图

当坐标系以图6中Z轴为轴逆时针旋转ω3时，向量P的新坐标表示为：

(10)

当坐标系以Y轴为轴逆时针旋转ω2时，向量P的新坐标表示为：

(11)

同理，当坐标系以X轴为轴逆时针旋转ω1时，向量P的新坐标表示为：

(12)

综合式(10)、式(11)、式(12)，当坐标系以X、Y、Z轴逆时针旋转ω1、ω2、ω3度时，P的新坐标表示为：

(13)

其中:

(14)

(15)

(16)

1.2.3相机间任意位置变化

全景相机与PTZ相机任意摆放，即统一位置关联模型。如图1所示的全景相机与PTZ相机的统一位置关联模型可以归纳为情况一、情况二的综合。统一模型中PTZ相机坐标系可以看作是从全景相机坐标系先经过旋转变换RzRyRx，再经过平移变换[txtytz]T后得到，即：

(17)

1.3 PTZ云台水平坐标与俯仰坐标的确定

通过式(17)获取了空间物点p在PTZ相机坐标系中的坐标[pxpypz]后，可以通过式(18)和式(19)计算所对应的水平和俯仰坐标，水平、俯仰坐标计算如图7所示。

图7 水平、俯仰坐标计算

水平坐标：

(18)

俯仰坐标：

(19)

以上就是统一位置关联模型的完整推导，但是由于全景相机与PTZ相机都具有旋转对称性，导致两个相机在各自方向上建立空间坐标系时都具有等效性，所以可以针对上述推导过程进行简化，即在建立各自相机的空间坐标系时可以始终将两个相机的X、Y轴分别平行建立，即式(14)中的ω3始终为0，这样，式(17)改写为：

(20)

2 联动监控关联实验

2.1 实验装置

根据本文所提出的统一位置关联模型，搭建了联动监控实验系统，整个系统包括：1) 折反射全景相机；2) PTZ相机；3) 硬盘录像机；4) 千兆交换机;5) 微型计算机。其联动监控系统框图如图8所示。

图8 联动监控系统框图

其中所使用的PTZ相机是海康威视DS-2DE7330IWA型300万像素网络摄像机；支持水平360°、垂直0°～90°旋转及20倍变焦。折反射全景相机使用上海臻恒公司ZHP-05HD-S1型300万像素全景相机，水平方向角360°，垂直方向角89.5° (max)/23.5°(min)。两相机间距为600 mm，PTZ相机距地面高度9 865 mm。联动装置室外架安装如图9所示。

图9 联动装置室外安装图

2.2 全景相机的标定

2.2.1相机标定

在全景相机与PTZ相机所组成的联动系统中，全景相机作为大视野传感器，在系统应用之前进行标定。目前已有很多用于全景相机标定的算法和工具[17-18]，主要包括了标定物标定法[19]和自标定法[20]两大类。标志物标定法需要提前知道用于标定的标志物的尺寸和细节信息，而自标定法相对于标志物标定法而言，只需知道相机的相对位移就可以进行标定，但结果相较于标志物标定法而言精确度不够高。本文选用标志物标定法对全景相机进行标定。参考文献[16]中的标定方法，本文使用10×10，边长为55 mm的12张棋盘格进行标定。标定结果如下。

成像函数g为g(u″,v″)=(u″,v″,f(u″,v″))，其中f(u″,v″)=a0+a1ρ″+…+aNρ″N，a0=-6.539 875×10-2,a1=0,a2=6.874 099×10-4,a3=-3.468 707×10-7,a4=3.697 285×10-10；

光轴与图像的交点坐标为：776.837 429，1 029.944 868；

仿射变换参数：0.999 992，-0.000 011，-0.000 059。

2.2.2标定结果检验

对全景相机标定完成后，再对相机的标定结果进行检验。检验方法是在一张1 090×785 mm的黑色纸张上每隔50 mm画一条白色水平线，共6条相互平行的白线。再将纸张沿长边卷起，形成一个高785 mm，半径124 mm左右的空心圆柱。调整全景相机高度位于630 mm刻度位置，对准圆柱中心位置，可以清晰地观察到圆柱内的平行白线，如图10(a)所示。然后垂直升高全景相机高度分别位于640 mm、650 mm处，如图10(b)、图10(c)所示。在图10(a)中选取不同白线的4个点，记录下该4个点的图像坐标；随后在图10(b)和图10(c)中分别找到该4点所对应点的坐标位置。将这12个点在全景图上的坐标代入式(5)，计算出每个点的方位角，然后利用求出的方位角再计算该点距离全景相机视点的垂直距离h0。由于垂直方向的坐标原点位于相机的视点中心，处于相机部不易比较，所以本文分别计算各种情况中相邻两点间的垂直间距Δh0，并与它们之间的设置的标准距离50 mm比较，从而判断标定准确与否。计算后的垂直距离h0记录如表1所示。

图10 标定结果检测图

表1 测试点与全景相机视点的垂直距离

可以算得，在相机高度分别为630 mm、640 mm和650 mm处时，相邻两点高度差Δh0的平均值分别为50.777 2 mm、50.942 9 mm和51.347 5 mm，与它们在空间中设定的检测距离50 mm的误差分别为1.554 4%、1.885 8%、2.695 0%，满足观测精度的要求，从而验证了式(5)以及标定结果的准确性。

2.3 相机位置关联实验及分析

2.3.1位置检测

为了证明本文方法的可行性，采用所提出的统一位置关联模型，从全景图像中的像点计算PTZ相机的水平坐标和俯仰坐标，并与其对应的物点在PTZ相机中所实测水平坐标和俯仰坐标进行对比，以验证所提出模型的正确性。在实验中，从全景图像中随机选取22个特征点，并获取其在全景图上的坐标。同时，对相同的特征点，获取其在PTZ相机中的P值(水平坐标)和T值(俯仰坐标)，记录在表2中。

表2 特征点在两相机中的位置测量值

2.3.2位置关联结果分析

根据表2中所记录的全景图像坐标数据，利用本文所提到的映射关系和统一位置关联模型计算出特征点在PTZ相机下的水平坐标和俯仰坐标，再分别与该特征点在PTZ相机下的实际水平、俯仰测量坐标相比较。

由于本文中两相机属于上下共轴放置，根据统一位置关联模型，可以将式(20)进行简化计算，令ω1=ω2=ω3=0，tx=ty=0，tz=-600,得：

(21)

(1) 水平坐标关联分析。PTZ相机中的P值(或水平坐标)是某一位置相对于参考原点在水平方向旋转的角度。在全景图像中并没有水平坐标的概念，但可以通过在图像中选取某一非中心点作为参考原点，其余点与参考原点相对于图像中心所成的夹角大小等效。

不论是PTZ相机还是全景相机，一般在讨论水平坐标时都需要指明参考原点，但是由于全景相机与PTZ相机同时都具有旋转对称性，在考察PTZ相机水平坐标与全景相机水平坐标的误差时，可以忽略参考原点，只考虑相邻两点间的水平坐标的差值。这里所说的水平坐标的差值，在PTZ相机坐标系中就是相邻两点的P值的差值(称之为实际P值)，而在全景相机坐标系中就是相邻两点与图像中心所成的夹角(称之为计算P值)。

从图11可以看出，不论两点间的水平坐标差值有多大，其计算值与实际值都能较好地吻合。通过计算，两者的误差的平均值为0.520 6°，两者误差的标准差为0.652 9°。由于平均误差小于最小控制精度1°，在实际使用中水平误差近似可以忽略。图12为实验中所获取的联动效果图，可以看出，4个观测点在PTZ相机画面中都处于图像长度的中间位置，说明了由本文提出的统一位置关联模型计算出的水平坐标的准确性。

图11 水平坐标的计算值与实际值

(a) 全景图像

(2) 俯仰坐标关联分析。对于俯仰坐标(或T值)的分析同样采用计算值与实际测量值比较的方法，对表2中22个点利用式(5)-式(21)分别计算它们在高速球机中的T值，再与这22个特征点所对应的真实物点在高速球机画面中的T值相比较，结果如图13所示。将这22个点按与图像中心的距离从小至大排列，可以发现，根据公式计算的T值与实际测量的T值之间存在一定误差。根据公式计算的T值与实际测量的T值之间的误差的平均值为0.610 2°，误差的标准差为0.714 2°。由于PTZ相机转动的最小控制精度为1°，大于误差的平均值，满足PTZ云台沿垂直方向转动控制精度要求。

图13 特征点的实际T值与计算T值

在图12(a)全景图像中选取的4个特征点，可在图12(b)中的PTZ相机图像中找到其对应的点。可以看出，在俯仰坐标方面可以十分接近实际的俯仰坐标，如果不将图像放大至高倍观察很难发现其中的偏差。

3 结 语

本文从理论上，通过将平移和旋转变换相结合，提出了具有普适性的相机间空间位置关联模型，并通过实验验证了模型的正确性。在实际的系统中，利用本文所提出的统一位置关联模型，配合全景相机标定技术可以准确计算全景图像中的像点所对应的真实物点在PTZ相机内的水平和俯仰坐标，其水平坐标和俯仰坐标与其在PTZ相机内的真实坐标的水平误差平均值为0.520 6°，俯仰误差平均值为0.610 2°，均小于云台相机转动的最小控制精度1°，可满足实际的联动需求。