监控摄像机效能三维仿真研究

文/赵兴涛 杜治国 洪卫军

随着我国经济的高速发展，社会治安形势发生了巨大变化，为了维护社会稳定，保障人民安居乐业，公安机关建设了大量的城市监控报警联网系统。这在一定程度上化解了社会治安面临的严峻挑战，有力的弥补了警力资源的不足。据统计，2010年上海市安防监控摄像机安装数量约为20多万台。从2001年至2010年，北京市公共场所安装的摄像机数量超过40万台，基本覆盖了全市重点公共场所、主要交通道路、重点要害单位。截止2011年底，广东省安装的视频监控摄像机数量已经突破了110万台，其中与公安机关联网的将近11万台。然而，在系统的建设和使用过程中也出现了很多新问题[1-4]。例如，很多视频监控系统的设计目的不明确；系统建设缺乏规划，整体布局存在不少问题；各种设备不能达到很好的配合，多数设备（如：前端摄像机、控制云台）都未达到最优配置；安装位置欠妥、拍摄角度狭小、受到障碍物阻挡；成像不够清晰、分辨率不足等。这些都严重影响到视频监控系统在案件侦查中的有效应用。

随着视频图像信息整合与共享工作的进一步开展，针对系统的效能进行研究也变得日益迫切，如系统的建设能否满足用户的业务需求？能否充分发挥系统的技术优势？本文从影响摄像机监控效能的关键指标入手，研究摄像机在理想条件下的成像模型，并借助OpenGL开发工具，设计、实现了监控摄像机三维仿真效能评估平台。该平台能够真实的仿真摄像机的监视场景和成像效果，直观、形象的展现摄像机的防控区域，为视频监控系统的设计、优化、检验和评估提供辅助解决工具。

摄像机仿真模型

摄像机仿真模型解决的是监控场景中摄像机的视域能否恰到好处的覆盖监控区域（参见图 1）。也就是说，监控摄像机能否首先保证监控区域（如出入口、围墙、金库等）位于视野范围之内，其次能否保证识别出监控区域内的主要对象（如犯罪嫌疑人、可疑车辆、可疑物体等），最后能否保证标识出主要对象的突出特征（如犯罪嫌疑人的身体特征、行为动作特点、穿着打扮、携带物品等）。为实这一目标，首先必须理解摄像机的成像过程。其次，还要能真实的模拟这一过程。

图1：监控摄像机的视域及其成像（来源于CCTVCAD）

摄像机成像模型

摄像机的成像受到诸多因素的影响，如三维物体的空间位置、摄像机焦距、镜头的厚度和成像靶面尺寸等，其成像模型的复杂程度也各不相同。为了简化问题的复杂程度，本文以理想情况下的针孔摄像机透视变换模型作为研究的基础，忽略了透镜的畸变与厚度。物理上相当于薄透镜，这种模型可以满足我们对成像精度的要求。

图2：摄像机成像几何关系

图2揭示了摄像机成像过程中世界坐标系、摄像机坐标系和成像坐标系之间的关系。由于摄像机可安装在环境中的任何位置，所以摄像机的中心和主轴等事先都是未知的，摄像机坐标系不能给出空间点的具体坐标值，因而需要一个参考坐标系来描述空间物体和摄像机的位置。这个参考坐标系通常称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R和平移向量T来描述。令空间点P在世界坐标系中的齐次坐标为（Xw，Yw，Zw，1）T，在摄像机坐标系中的齐次坐标是（Xc，Yc，Zc，1）T，则存在如下关系：

其中R是3x3正交单位矩阵，T是3维平移向量，0=(0,0,0)T。

摄像机光轴与成像平面的交点称为图像主点Oi，由点Oi与x、y轴组成的直角坐标系称为成像平面坐标系。将摄像机的光心定义为原点Oc，Xc轴和Yc轴分别与成像平面坐标系的x轴和y轴平行，Zc轴为摄像机的光轴，和成像平面垂直。由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系。空间点P（Xc，Yc，Zc，1）T在成像平面上的投影是直线OcP与成像平面的交点p（x，y，1）T。根据三角形相似原理，可推知空间点P与它的像点p满足下述关系：

在公式 （2）、（3）中，f是摄像机的焦距，表示光心到成像平面的距离。采用齐次坐标表示方法，公式 （2）、（3）可表示为：

但由于摄像机制作的原因，主点Oi一般会偏离图像的中心。并且在实际应用中，计算机以像素为单位处理数字图像。因而可定义图像坐标系u－v，将原点定义为图像中心或者图像的左上角。由于图像坐标系是以像素为单位表示的，而成像平面坐标系是以物理尺度（如厘米）为单位的，因而需要建立图像坐标系与成像平面坐标系的对应关系。在图像坐标系下，若主点的坐标为Oi(x0，y0，1)T，并且每个像素在x轴和y轴方向上的物理尺寸为dx，dy，则两个坐标系的关系为：

结合公式（4）、（5），可得：

综合公式（1）、（6），可得：

通常称f/dx，f/dy称为摄像机在u轴和v轴方向上的尺度因子。矩阵M1只与摄像机内部参数有关，故称为摄像机内参数矩阵。M2由摄像机相对于世界坐标系的方位决定，称为摄像机的外参数矩阵。

OpenGL成像模型

为了将三维场景生成二维计算机屏幕图像，OpenGL主要对三维场景进行视点变换、投影变换和仿射变换，变换过程如图3所示。

图3：OpenGL成像过程

视点变换的目的是设置摄像机的位置和方向，即将世界坐标系转换为观察者坐标系。另外，也可以不改变摄像机的参数，而采用模型变换来实现，即改变三维场景中物体的位置和方向。实际上，OpenGL联合使用视点变换和模型变换，即通过模型视点矩阵（M）生成观察者坐标。例如，空间某点在世界坐标系中的坐标为Qw（X，Y，Z，W）T，通过矩阵的平移glTranslate*()、旋转glRotate*()变换，得到该点在摄像机坐标系中的坐标Qc（Xc，Yc，Zc，Wc）T。此外，也可以通过OpenGL中的gluLookAt()例程设置摄像机的位置和方向。

投影变换相当于选定摄像机的镜头，即指定了视椎体（视域）的形状和方向（参见图4）。投影变换决定裁减掉场景中的哪些物体或部位。另外，投影变换也决定了如何将物体投影到屏幕上，这里主要采用OpenGL提供的透视投影glFrustum()。再经过投影矩阵P（参见公式（8））的透视投影变换执行裁剪操作，得到像平面上的二维投影点坐标Qp（Xp，Yp，Wp）T，之后经过透视投影除法生成归一化的设备坐标Qd（Xd，Yd，1）T。

图4：OpenGL中定义的视锥体

仿射变换是将投影变换之后的二维图像显示到屏幕上的指定矩形区域。相当于对最终的照片进行平移、放大或缩小。OpenGL采用glViewport()得到该点在屏幕上的对应像素坐标Qi（x，y）T。

摄像机成像模型和OpenGL成像模型的一致性

文献编程设定摄像机的内外参数，并采用OpenGL渲染成不同位置的Checker Board图像。之后，利用第三方标定程序包对渲染后的图像进行标定。该研究结果表明，标定值与预先设定的摄像机参数一致，证明了通过设定OpenGL参数可使渲染图像与真实摄像机拍摄结果一致。文献提出了利用OpenGL平台生成空间目标图像的方法与流程，并论证了通过合理设置OpenGL的有关参数，能够仿真出成像系统所观察到的待测目标图像。这些研究证明了，通过合理设置OpenGL的参数，可以真实模拟摄像机的成像空间和成像画面，能够满足效能评估的要求。

摄像机效能三维仿真实现

监控摄像机效能仿真平台的开发框架采用Multi-Gen Paradigm公司的Creator、Vega Prime和开放图形库OpenGL。环境仿真采用Creator建模。摄像机仿真模型采用OpenGL的透视投影模型。透视投影是最常用的一种投影类型，使用这种投影，会使近处的对象看起来比远处的大一些。

摄像机效能指标

衡量摄像机性能的指标很多，如清晰度、最低照度、信噪比和白平衡等。但是用户真正关心的是摄像机的成像质量，实际上就是摄像机的视域和分辨率。

视域或者视角（Field of View，FOV）是指摄像机固定位置时可以成像的区域。视域由镜头的焦距和其图像传感器的靶面尺寸决定。焦距是指镜头中心，或是一个复杂的镜头组件中特定的点，到光聚集焦点（通常是摄像机的图像传感器）间的距离。焦距远小于图像传感器的靶面直径，则视角大；反之，视角小。摄像机的视角定义为2，，其中d是图像传感器的直径，f是镜头的焦距。

分辨率指的是当摄像机摄取等间隔排列的黑白相间条纹时，在监视器(应比摄像机的分辨率高)上能够看到的最多线数。当超过这一线数时，屏幕上就只能看到灰蒙蒙的一片而不能再辨出黑白相间的线条。工业监视用摄像机的分辨率通常在380～460线之间，广播级摄像机的分辨率则可达到700线左右。分辨率是由摄像器件像素多少决定的，即水平像素数×垂直像素数。如：VGA：640×480；SVGA：800×600；XGA：1024×768。

摄像机成像仿真

在三维空间中，摄像机的视场区域是场景中的一个三维椎体。其顶点为摄像机镜头，顶点到锥体底面两条水平边和两条垂直边所称的视角分别为垂直视场角和水平视场角，椎体底面边的尺寸是摄像机图像传感器尺寸的等比放大，比例为视场底面与摄像机镜头的距离与摄像机镜头焦距之比；该椎体再经过前、后两个剪切面的分割，位于这两个面之间的部分就是视锥。

首先，根据视频监控系统场景图建立视景仿真环境，实现不同角度、不同方式、不同速度的漫游，观察防区及周边环境。其次，按照视频监控系统摄像机点位图，设计人员从视频监控系统设备数据库中选择符合要求的摄像机及镜头，在防区的三维环境中实时交互地部署摄像机。设计人员可合理地调整摄像机的安装角度，对准目标或要观察的区域，将安装位置和角度等数据记录到摄像机安装数据库中。摄像机的视场区域仿真如图5所示。系统能根据摄像机的像素比，对三维环境中部署的摄像机所观察的场景成像进行仿真，如图6所示。用户通过观察每个虚拟摄像机防控的区域及其采集的图像，判断是否满足监控目标要求。用户可反复配置不同的摄像机和镜头，调整安装位置和方向，直到得到清晰的目标图像为止。

图5：监控摄像机视域仿真

图 6：监控摄像机成像仿真

结束语

随着城市监控报警联网系统建设的深入开展，视频监控系统在公安侦查工作中所起的作用越来越重要。但是，由于视频监控系统在设计、安装和使用过程中存在的问题，导致最终的视频影像不清晰，难以达到侦查办案的要求。本文首先分析探讨了摄像机仿真成像模型，包括针孔摄像机的成像原理和方法，以及OpenGL的成像模型，并论证了OpenGL模型与针孔成像模型的一致性；其次分析研究了影响摄像机成像质量的关键指标：视域和分辨率；最后利用视景仿真平台Vega Prime和开放图形库OpenGL，设计实现了一套完整的摄像机效能三维仿真系统。该系统可以根据视频监控系统的设计图纸，利用Creator建立三维仿真场景，并可根据监控点位需求在仿真场景中添加摄像机，根据设计要求或者实际参数配置调整摄像机模型，建立各个摄像机模型的视场区域和虚拟成像。通过对摄像机效能进行仿真评估，可以发现视频监控系统是否存在盲区，成像质量是否达到设计要求，提前发现系统漏洞，为侦查办案奠定基础。当然，本文采用了针孔摄像机模型对视频监控系统进行效能仿真研究，没有考虑摄像机镜头的实际物理特性，在未来的研究中将进一步加强。