基于特征点匹配的视频监控图像校正方法

冯清枝苟益博杨洪臣

（1 中国刑警学院 辽宁 沈阳 110035；2 庆阳市公安局刑事科学技术研究所 甘肃 庆阳 745000）

基于特征点匹配的视频监控图像校正方法

冯清枝1苟益博2杨洪臣1

（1 中国刑警学院 辽宁 沈阳 110035；2 庆阳市公安局刑事科学技术研究所 甘肃 庆阳 745000）

针对视频监控图像普遍存在的非线性几何畸变，以实际应用为出发点，结合图像畸变校正原理，提出一种基于特征点匹配的视频监控图像校正方法。与MATLAB软件的图像校正功能相结合，该方法更加实用、高效，适于推广应用。

视频监控 图像校正 特征点匹配 MATLAB

1 引言

鉴于犯罪问题的复杂化与警力资源的有限性，利用视频监控技术处置突发事件、预防和打击犯罪、维护社会稳定成为当前许多国家竞相采取的安全防范策略。视频监控技术不仅能够有效地预防和遏制犯罪行为，辅助警方开展案件侦查工作，提供破案线索和诉讼证据，而且能够汇集犯罪活动信息，为社情分析和科学决策提供重要依据。多年的警务工作实践表明，在倡导信息技术的新时期，视频监控技术与其它侦查技术相互整合，必将在犯罪侦防领域中发挥更大的作用。正因如此，建全视频监控技术的应用机制，克服视频监控技术的瓶颈制约，提高视频监控信息的应用价值是各地公安机关亟需解决的研究课题。从技术层面上分析，受到监控系统的自身性能、安装位置、监控对象的位移等因素的影响，视频监控图像存在着严重的几何畸变，增加了图像判断、内容识别、事件分析等工作的难度，制约着视频监控技术在犯罪侦防领域中效能的发挥。针对视频监控图像存在的镜头畸变、透视畸变和倾斜投影畸变等，利用MATLAB软件的图像校正功能，通过合理地选取特征点的数量、分布，建立畸变图像与参考图像之间的空间坐标变换关系，实现畸变图像与参考图像之间的像素配准，并对校正图像的像素灰度进行插值运算，达到消除监控图像几何畸变的目的。视频监控图像校正的意义在于不仅可以提高监控图像分析的准确性，还原监控现场的真实场景，而且可以与同一场景的不同时空的其它监控图像进行几何配准和复合分析，为事件调查、案件侦查和审理工作提供更准确、更全面的依据。

2 视频监控图像的几何畸变

视频监控系统通过摄像机对特定时空范围内的景物进行拍摄记录，以视频图像形式客观反映景物的特征、状态以及活动轨迹等信息。当摄像光学系统将三维空间的景物映射到二维平面上时，不可避免地造成视频监控图像的几何畸变。几何畸变也称为几何失真、图像变形等，是指摄像光学系统形成的图像像素的几何位置相对于参照系统（地面景物实际位置）发生的伸缩、扭曲和偏移等变形，致使图像景物的几何尺寸、形状和方位等发生变化。

为了获得更大的监控范围，多数视频监控系统采用具有大视场角的短焦距镜头。对于短焦距镜头的几何畸变，主要表现为三种类型的畸变：一是光学透镜加工误差造成的径向畸变；二是光学透镜的不正确组合引起的离心畸变；三是摄像光学系统装配不完善造成的薄透镜畸变。离心畸变和薄透镜畸变都包含有径向畸变与切向畸变。径向畸变是由于透镜的远光轴区域的放大率与近光轴区域的放大率不同，使得图像像素沿着径线方向发生偏移，这种偏移是圆对称的。如果沿着径线向内偏移称为桶形畸变，反之则称为枕形畸变。切向畸变是由于各个透镜的光学中心不能严格共面，使得图像像素沿着切线方向发生偏移。对于短焦距镜头而言，径向畸变对图像几何畸变的影响程度远高于离心畸变和薄透镜畸变。

在理想状态下，光学透镜的物像映射关系符合近似线性的比例规律。然而，视频监控系统的安装位置使得光学镜头的成像平面与景物平面之间存在着一定的倾斜角度和旋转角度，此时，光学透镜的物像比例关系则是非线性的，从而引发透视畸变和倾斜投影畸变。特别是，当监控对象偏离光轴较远时，透视畸变更加明显。究其成因，视频监控图像的几何畸变是镜头畸变、透视畸变和倾斜投影畸变等非线性光学畸变综合作用的结果。

3 图像畸变校正原理

从广义上讲，图像畸变是一种图像退化形式，而图像校正可以认为是图像畸变的复原过程。图像校正包括两个环节：一是空间坐标变换，目的是将畸变图像中发生偏移的像素坐标恢复到正确的位置上；二是像素灰度插值，目的是利用畸变图像上已知的图像数据，推算出更多的图像数据，补偿坐标变换对像素分布的影响，准确地再现真实场景。

3.1 空间坐标变换

空间坐标变换的关键是建立畸变图像与参考图像之间的像素坐标变换关系。参考图像是一幅与畸变图像相对应，用于图像校正时参照比对的基准图像。事实上，参考图像与畸变图像对应的像素坐标是不同的，参考图像的像素分布是等距均匀的，而畸变图像的像素分布是不等距非均匀的。

在数学方法上，对于不同的二维笛卡尔坐标系之间的坐标变换，通常采用二元n次多项式来近似表达：

式中，x，y为参考图像坐标；u，v为畸变图像坐标；aij、bij为多项式系数；n为多项式次数。

二元n次多项式将不同坐标系下的像素坐标联系起来，一旦确定了这个多项式，就可以将畸变图像中的任意像素坐标换算出参考图像中的对应像素坐标，而二元n次多项式的推导则体现在多项式系数的计算方法上。通过在畸变图像和参考图像上对应选取若干个特征点，分别测定这些特征点的像素坐标，建立求解多项式系数的方程组，采用最小二乘法拟合出多项式系数。

在二元n次多项式推导过程中，从提高图像校正精度的角度考虑，需要兼顾如下三方面因素：

一是多项式次数n值的选择，n值与几何畸变的复杂程度密切相关。当n=1时，空间坐标变换为二元一次多项式，可以进行线性坐标变换，用于校正等比例的透视畸变；当n≥2时，空间坐标变换为二元高次多项式，可以进行非线性坐标变换，用于校正非线性的镜头畸变。从理论上讲，n值越大，越适宜校正复杂的几何畸变，但是计算量也相对较大。一般情况下，n值的选择不大于3。

二是特征点的选择，特征点的几何精度直接影响多项式系数的计算误差。通过细致观察，精确比对，在参考图像和畸变图像上对应选取那些易于识别、精准匹配的特征点（如建筑物边缘、线条的交叉点、地面标志物等），并且特征点分布尽量均匀，特征变化显著的部位适当增加一些，使多项式系数的计算尽可能准确。

三是特征点数目的确定。从数学运算上讲，二元一次多项式变换，需要计算6个多项式系数，此时至少需要3个特征点；而二元二次多项式变换，需要计算12个多项式系数，此时至少需要6个特征点。但是在实际应用中，采用最小特征点数目，几何校正效果往往不好，因此在条件允许的情况下，特征点数目要大于最小数目。

3.2 像素灰度插值

经过空间坐标变换之后，畸变图像上每个像素坐标分别置换到参考图像上对应的像素坐标，不再与原来的畸变图像像素坐标完全重合，因此需要对经过坐标变换的像素重新赋予灰度值。因为已知的图像数据是畸变图像的像素灰度值，所以需要利用像素灰度插值方法，由畸变图像的像素灰度值计算出校正图像的像素灰度值。常用的灰度插值方法有最近邻域插值、双线性插值、双三次插值、多项式插值和样条插值等，这些插值方法各有优缺点，适用范围也不同。在实际应用中，可以根据校正精度和校正速度的要求选择适宜的插值方法，对畸变图像进行灰度校正。

4 视频监控图像的校正操作

4.1 MATLAB软件的图像校正功能

MATLAB是Mathworks公司于1984年推出的数学软件，是一种用于科学计算的高级语言。MATLAB最初主要向用户提供一套完善的矩阵运算命令，随着数值运算的演变，它逐渐发展成为数学计算与数据分析、系统建模与仿真、信号处理与分析、科学可视化等研究领域的通用语言。MATLAB提供的图像处理函数，几乎涵盖了包括近期研究成果在内的图像处理的所有技术方法，是从事图像处理和图像分析的技术人员难得的宝贵资料和加工工具。用户可以借助MATLAB强大的数值运算功能，直接调用图像处理函数，编写图像校正程序。

4.1.1 调用cpselect函数手动选择特征点

在交互环境下，用户在畸变图像和参考图像上分别选择一定数目的匹配特征点，cpselect函数依次测定特征点的坐标数值，并保存到MATLAB工作空间中备用。

4.1.2 调用cp2tform函数建立坐标变换关系

用户根据图像几何畸变特征，选择空间坐标变换形式，如仿射变换、投影变换、多项式变换等，cp2tform函数利用工作空间中保存的匹配特征点坐标数组，计算出畸变图像和参考图像之间的空间坐标变换矩阵。

4.1.3 调用imtransform函数完成图像校正

以cp2tform函数提供的坐标变换矩阵为模板，imtransform函数将畸变图像上每个像素坐标分别置换到参考图像上对应的像素坐标，并采用双三次插值方法对经过坐标变换的像素重新赋予灰度值，输出校正图像。

4.2 应用实例

图1为某单位入口上方悬挂的监控摄像机记录的画面。如前所述，在多种因素的综合作用下，图1存在着明显的几何畸变，是一幅典型的畸变图像，画面分辨率为700×525像素。图2为从地面观察者的角度，采用数码相机标准镜头拍摄的监控现场画面，以此作为图像校正时的参考图像，画面分辨率为1530×1150像素。

由于畸变图像和参考图像是在不同时间、不同位置、使用不同设备采集的两幅图像，且二者的分辨率不同，因此两幅图像的画面内容差异显著，这样就需要细致地识别和选择两幅图像上匹配的特征点。特征点数目选定为12，并且均匀地分布在畸变图像和参考图像上，如图3所示。图4为经过校正处理的监控图像。

图2 参考图像

图3 两幅图像匹配特征点的选择

图4 经过校正处理的监控图像

5 结论

本文提出的图像校正方法只是将视频监控图像的几何畸变视为复杂的非线性畸变，而无需考虑视频监控系统的结构和参数等，通过在畸变图像和参考图像之间选定匹配的特征点，利用数学最优化方法拟合出空间坐标变换关系，以像素坐标置换方式达到校正几何畸变的目的。研究表明，该方法校正精度高，有效地校正了视频监控图像普遍存在的镜头畸变、透视畸变和倾斜投影畸变等，能够满足监控图像定量分析的需要，适合在犯罪侦防工作中推广应用。需要指出的是，选定特征点的匹配程度和精确程度是影响校正精度的关键因素，此外，随着选定特征点的增多，矩阵运算较为复杂，计算量大。

[1]Y.No mura，M.Sagara，H.Naruse，etal.Simple calibration algorithm for high-distortion lens camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(11).

[2]杨必武，郭晓松.摄像机镜头非线性畸变校正方法综述[J].中国图像图形学报，2005，10(3).

[3]王学平.遥感图像几何校正原理及效果分析[J].计算机应用与软件，2008，（9）.

[4]常学义，孙秋冬，等.基于MATLAB的图像配准方法[J].上海第二工业大学学报，2006，23（4）.

（责任编辑：孟凡骞）

TP391.4

A

2013-11-18

冯清枝（1969-），男，辽宁沈阳人，中国刑警学院声像资料检验技术系副教授，硕士，主要从事刑事影像技术、数字图像处理等方面的研究。