一种改进的增强现实三维注册方法

魏建平，张景伟，赵红强，张 磊

(空军工程大学信息与导航学院，陕西 西安 710077)

责任编辑:任健男

1 三维注册技术简介

增强现实是一种利用计算机产生的虚拟信息对使用者所看到的真实世界景象进行增强或扩张的技术，实际上就是将计算机生成的虚拟物体或场景叠加到真实场景中，从而实现对现实的“增强”［1］。笔者研发的魔法书增强现实系统就是一个典型案例，使用者用摄像机拍摄一张印有二维图像的纸张，在成像设备上就能出现与真实图像相匹配的三维虚拟模型，而且模型能够跟随图像在屏幕中的运动而运动。增强现实与虚拟现实不同，其最主要区别在于增强现实中要实现虚拟场景与真实场景的准确匹配，匹配的精度和实时性直接影响着一个增强现实系统的优劣。因此，这种匹配的技术，即三维注册技术，是增强现实的关键技术之一。

当前三维注册技术主要有基于跟踪器的注册技术、基于认知的注册技术、基于计算机视觉的注册技术［2］，其中基于计算机视觉的注册技术凭借具有成本低廉、实现方便的特点逐渐受到重视成为增强现实应用系统中一种非常具有发展潜力的跟踪注册技术，其注册精度高，可达到像素级。笔者从基于计算机视觉的注册技术出发，将增强现实系统框架设计如下，如图1所示。

图1 注册算法应用实例

笔者在开发魔法书增强现实系统的过程中遇到了一个矛盾，即张正友的标定算法［3－4］可以较精确地获得摄像机内外参数，但需要获得多幅图像;魔法书增强现实系统为了满足与使用者之间良好的互动性与实时性，需要一幅图像完成标定。考虑到魔法书增强现实系统所使用的摄像机具有照射范围小、拍摄视角小的特点，摄像机移动对内部参数几乎不造成影响，因此笔者针对其特殊应用环境，在传统的线性模型摄像机标定方法的基础上，提出了一种基于特征点识别的线性三维注册算法，将张正友经典算法与改进型线性算法综合使用，解决了上述矛盾。本算法只需要在第一次使用系统时拍摄2幅以上图像初始化摄像机内部参数，之后实时捕捉1幅图像就能完成注册。

本算法运算过程为线性，运算量小，而且只需要检测1幅图像中的4个特征点就能完成标定。与孟晓桥、胡占义的椭圆模板摄像机标定方法［5］相比，不需要使用者所用模板中带有椭圆等规范化图案，大大降低了对标定模板的要求，一定意义上实现了对任意模板的三维注册。

2 注册原理

用针孔模型描述三维空间点到成像平面的映射关系，如图2所示。

图2 摄像机针孔模型

若记某点在图像像素坐标系上的二维坐标为m=(u，v)，其在世界坐标系上的三维坐标为 M=(Xw，Yw，Zw)。根据世界坐标、摄像机坐标、图像坐标之间的转换关系，可用齐次坐标表示空间点与图像点之间的映射关系

式中:dx和dy为每个像素在图像物理坐标系的两个轴方向上的物理尺寸;(u0，v0)为图像物理坐标系的原点在图像像素坐标系上的坐标，f为摄像机焦距。将矩阵合并得到M1和M2。矩阵M1只与摄像机内部参数有关，故将其称为内部参数矩阵。矩阵M2完全由摄像机相对于世界坐标系的方位决定，称其为外部参数矩阵。求解出内外部参数即可完成标定任务。

将式(1)写成

其中下角标i代表第i点位置信息，式(2)包含3个信息

将式(3)做消参处理，一项除以三项，二项除以三项分别消去Zci后，可得2个关于Mij的线性方程

若标定模板有n个特征点，并已知其空间坐标(Xw，Yw，Zw)，则可得到2n个关于M矩阵元素的线性方程，用矩阵形式表示方程组

式中:m34为比例因子，并不影响计算结果，可令m34=1。这样方程的未知数为11个，将其记为11维向量m，式(5)可以写成

式中:K为式(5)左边2n×11维矩阵;m为11维向量;U为右边11维向量。可以看到方程组有11个未知数，但方程个数有12个或者更多的超定方程，利用最小二乘法可得到结果。当2n大于11时，上述方程的最小二乘解为

由此可见由空间6个以上的点与它们的图像坐标可得到M矩阵的解，在笔者所开发的增强现实系统中，通过Direct3D可直接利用M矩阵的运算结果来控制虚拟物体的位置，实现三维注册。实际应用中若增加特征点个数，使方程个数远远超过未知数个数，可增加算法稳定性与精确性，降低特征点被遮挡等原因而造成标定失败的概率。

3 算法改进

由上可见，传统的线性模型摄像机标定方法至少需要6个特征点才能完成标定任务，而在实际应用中，特征点数目的增加势必会对使用者的视觉效果造成影响。对笔者开发的魔法书增强现实系统而言，若能通过识别纸张的4个顶点，就能完成标定工作，而不需设置其他特征点，这将大大提高使用者的体验感。由此思路出发，本文将传统线性算法进行改进，与张正友的标定方法相结合，提出一种基于4个特征点识别的两步摄像机标定算法。

为方便算法说明，这里将成像映射关系分步重新推导，世界坐标与摄像机坐标之间的关系为

将式(8)展开，物体世界坐标与摄像机坐标之间的关系可写成

再根据摄像机成像原理，利用三角形相似的关系，得到图像像素坐标与世界坐标之间的关系为

式中:f为摄像机的焦距(假设摄像机内部参数已知，即焦距已知)，联立两式可知，每一特征点可以确定两个独立的约束方程

显然，由6个特征点可产生12个方程，从而解算出变换矩阵的12个参数。但实际上，如果使用旋转矩阵的规范化正交约束，只需要4个特征点就能解出变换矩阵的12个参数。

将特征点设置在同一平面内，4个特征点的世界坐标设定为 (Xwi，Ywi，0)(i=1，2，3，4)，那么式(11)可以简写为

式中:t3是各参数的比例因子，令其为1，至此式(12)中的参数变为8个，4个特征点可得到8个方程，即可求解出下列8个参数，r31，r32，r11，r12，r21，r22以及t1，t2。

因为旋转矩阵R是正交规范化矩阵，所以存在关系RTR=I，利用此特性可解出如下参数

这样，得到了变换矩阵参数，完成了三维注册任务。

注意到上述算法是在摄像机内部参数已知的假设下完成的，摄像机内部参数的测定方法较多［3，6－9］，本文采用张正友的经典算法初始化内部参数，这里不再赘述。

综上所述，将改进的三维注册的方法总结如下:

1)设计1张具有4个可识别特征点的模板纸(笔者采用纸张的4个边缘点);

2)从不同方位拍摄至少2幅图像;

3)初始化摄像机内部参数，采用张正友标定算法计算摄像机内部参数;

4)已知内部参数利用本文算法得到外部参数，完成三维注册任务。

4 实验结果及分析

本文在理论分析之后通过VC平台对所提出的注册方法进行了实验验证。实验采用简易型CCD摄像机，焦距为25 mm，图像分辨率为640×480，视频采集处理模块采用DirectShow完成，特征点设定为红色半椭圆形，特征点的识别采用中心点拟合的方法。分别采用六特征点与四特征点模板纸张进行传统标定算法与改进后算法的仿真，图3为六特征点模板，图4为2个不同方位拍摄的四特征点模板。

图3 六特征点标定模板

图4 四特征点标定模板

采用传统算法所得到摄像机内外部参数矩阵为

利用张正友标定算法所得摄像机内部参数如表1所示。

表1 摄像机内部参数

将摄像机调整至与使用传统算法测量时相同的位置上，采用改进后线性标定方法所得旋转和平移矩阵为

为方便与传统标定算法进行比较，将改进后算法计算结果化解，m34作归一化处理，得到内外部参数矩阵为

结果表明，改进算法在已知摄像机内部参数的情况下利用4个特征点完成了摄像机的标定过程，所得结果与传统方式标定结果几乎一致，标定方式简单易行、结果准确可靠，可以应用于增强现实系统的三维注册模块中。

5 小结

在笔者研发魔法书增强现实系统的过程中，提出的三维注册方法只需要在第一次使用时利用张正友标定算法从不同方位拍摄两幅以上图像初始化内部参数，之后的使用中即可通过一幅图像完成对摄像机外部参数的计算，从而得到摄像机方位角，完成三维注册功能。该方法能够实时地实现虚拟场景与真实场景的无缝匹配，对于增强现实系统的开发有较高的应用价值。

［1］马松德，张正友.计算机视觉——计算理论与算法基础［M］.北京:科技出版社，1998.

［2］施琦，王涌天，陈靖.一种基于视觉的增强现实三维注册算法［J］.中国图象图形学报，2002，7(7):679－683.

［3］ZHANG Z Y.Flexible camera calibration by viewing a plane from unknown orientations［C］//Proc.7th International Conference on Computer Vision.Kerkyra，Greece:［s.n.］，1999:666－673.

［4］ZHANG Z Y.Camera calibration with one－dimensional objects［J］.IEEE Trans.Pattern Anal.Mach.Intel.，2004，26(7):892－899.

［5］孟晓桥，胡占义.一种新的基于圆环点的摄像机自标定方法［J］.软件学报，2002，13(5):957－965.

［6］朱淼良，姚远，蒋云良.增强现实综述［J］.中国图象图形学报，2004，9(7):767－774.

［7］刘杰才，彭真明，雍杨.基于菱形模板的摄像机标定方法［J］.指挥控制与仿真，2012(4):132－136.

［8］贾云得.机器视觉［M］.北京:科学出版社，2000.

［9］吴福朝，李华，胡占义.基于主动视觉的摄像机自标定方法研究［J］.自动化学报，2002，27(6):726－746.