离轴柱幕投影图像几何校正技术研究

王爱华，韩 成，崔亚芬

0 引言

随着计算机图像处理软硬件技术和虚拟现实应用的快速发展，需要计算的数据规模越来越大，也正是因为数据规模的成倍增长，使得单台PC机的处理能力远远不能够达到实际应用中所期望的性能，不能够满足交互式虚拟现实系统、商业产品演示系统、科学可视化系统等领域对绘制实时性、大场景、真实感等方面的实际需求[1-2]。因此，多通道显示系统在数据可视化方面的应用越来越普遍[3-5]。

目前，多通道柱面投影系统成为科技展示，教学、影院等众多领域中广泛使用的多投影显示系统。当投影机将图像投影到柱面屏幕上后，图像会发生形变，严重影响图像质量。对于多通道柱面投影系统来说，由于使用多台投影机，因此，所有投影机的位置一定不都处于柱幕系统的中心轴上。在这种情况下，解决图像非线性失真是个首要问题，需要通过非线性几何校正技术使投影图像匹配柱面投影幕。目前主要通过昂贵的额外校正设备或采用基于投影面曲率或几何形态的校正方法[6-8]，但校正设备昂贵且不够灵活，校正方法复杂，因此，不适合当前的发展趋势。

在投影机的位置不受严格的限制和不增加任何额外设备的情况下，为了对投影到柱幕上的图像进行畸变校正，本文研究了一种离轴柱幕投影图像几何校正方法，使得柱幕多投影系统的应用更加的灵活，广泛。

1 基于网格的非线性几何校正原理

为了使校正过程不受投影机位置的限制，必须考虑投影机处于离轴位置时的情况。在这种情况下，如果采用固定的公式进行计算会非常复杂[9-10]，因此，本文提出了一种基于网格的非线性几何校正方法。该方法首先生成一幅与投影图像一样大小的网格图像，如图1所示：

图1 原始网格图像

然后将网格图像投影到柱幕上，保证图像能够覆盖全部柱幕，这时会有部分网格图像出现在柱幕的外面；再根据柱幕形状，通过手动调整网格图像的控制特征点，使网格图像恰好能够完全贴和于柱幕，此时的网格图像发生形变。由此可以得到原始网格图像与变形网格图像中对应点的关系，如图2所示：

图2 变形的网格图像

根据原始网格图像与变形的网格图像中对应点的变换关系，四边形区域的变换原理[11]，就可以得到离轴柱幕非线性几何校正矩阵，如图3所示：

图3 四边形区域变换

对每一个四边形区域进行二维变换如公式（1）所示。其中，(x , y)为A、B、C、D中的一个点；(x ', y')为 A '、 B '、C'、 D '中的一个点； c1、 c2、 c3、 c4、 c5、 c6、 c7、c8为计算得到的变换矩阵中的参数值。

2 基于网格的非线性几何校正软件

基于网格的非线性几何校正软件的总体流程，如图4所示：

图4 校正软件的总体流程图

首先从文件中读取网格图像控制点坐标，对柱幕上特征点坐标赋值，计算所有柱幕网格点坐标值，为计算柱幕与图像对应关系所需的对应矩阵赋值，计算对应关系矩阵并通过所计算对应关系矩阵计算对应点坐标值。手动调整相应点的位置并改变特征点坐标值，得到新的对应关系。循环等待键盘响应，当有键盘响应时则读取键盘响应值再次进行坐标变换。完成坐标变换后，得到新的投影矩阵，使用对应的矩阵关系对其他网格点进行变换，得到所有点的对应关系值。

2.1 读取图像控制点坐标

从文件中读取图像控制点坐标，文件中的控制点坐标为已经计算完成的点坐标，各点为网格的平分点，循环所有的控制点，并初始化图像的控制点。

2.2 计算柱幕网格点坐标

定义柱幕控制特征点指针 CvPoint3D32f *control WorldPts，对所定义的8个控制特征点一一循环，以柱幕中心为原点，计算控制特征点的坐标值，并对其赋值，初始化控制特征点的坐标值。

定义柱幕网格点指针、网格的宽、高，以柱幕中心点为原点计算所有柱幕网格点的坐标值，其中纵坐标通过网格点平分得到，横坐标通过角度平分的每点角度与柱幕半径的乘积得到。

找到柱幕网格点坐标后，循环所有的网格点，对相邻的网格点进行连线，从而画出网格图像。

2.3 求解变换矩阵

调整柱幕投影中的控制特征点，将调整前后的控制特征点的坐标数据写入两个矩阵中，得到变换所需的左乘和右乘矩阵，再利用cvSlove函数得到计算后的所需变换矩阵。

2.4 计算图像网格点坐标

通过使用计算得到的变换矩阵和当前网格点的坐标，计算图像新的网格点坐标，得到校正后的图像并将所得的值存入文件中，以待加载其他图像使用。

2.4 键盘响应

坐标点的移动是通过键盘响应来实现的，键盘的响应通过循环等待获取的值变进行响应，e或 E为结束响应，1-8为所需调整点的编号，（从左到右、从上到下依次编号），G，g，B，b，M，m，S，s为每次按键调整幅度分别为 100，50，10和1，L，l，R，r，T，t，D，d分别为调整的方向，左右上下，Q，q，W，w，O，o，P，p分别为窗口的上下左右移动。将变换后的操作值传回到特征点中，改变特征点的特征值，得到新的特征点值，进行新的变换。

3 实验与结果分析

3.1实验步骤

为了验证本文提出的基于网格的非线性几何校正方法的有效性，在长春理工大学仿真实验室，利用现有的柱幕投影系统进行了实验，实验使用的投影机为三菱MD-550X，使用计算机为联系X61。实验的步骤如下所述：

（1）任意选择一个位置固定投影仪；

（2）运行程序，观察得到的网格图像，将网格图像进行投影。

（3）通过控制特征点的手动调整使网格图像完全贴合柱幕，得到对应关系。

（4）通过所得对应关系投影其他图像，观察处理结果。

3.2 实验效果

从生成的网格图像可以看到8个控制特征点由圆圈标记，每个控制特征点都可以单独进行调整，其他的特征点都为使用投影关系矩阵达到连动的效果。将网格图像投影到柱幕上，并通过控制特征点的手动调整可以改变网格形状，并观察其是否能完全镶嵌在柱幕上，直到得到正确的图像，记录下所得的特征点的位置坐标，写入文件后，得到特征点位置的坐标文件，如图5所示：

图5 网格图像变形实验结果图

再将计算得到的变换矩阵加载到的普通图像上进行校正，如图6所示：

图6 校正前的图像

图像经过变换矩阵进行变换后得到了变形图像，如图7所示：

图7 投影校正后效果图

此图像虽然在显示器上显示为扭曲图像，但加载到柱幕上后则为正确的图像。

3.3 实验结果分析

从实验过程来看，实验的效果受到外界环境的影响，比如光照、阴影、拍摄明暗度、物体颜色等，这样会给实验带来很多限制，需要增加一些人为控制及选择因素才能完成实验。

通过对实验结果的分析可知，本方法适用于离轴柱面图像投影的校正中，并且拥有良好的校正效果，可以达到预期的结果。如果投影机的位置固定不动，通过变换矩阵，可以完成所有图像的校正，为视频的实时校正提供了坚实的基础。

4 结论

本文提出的基于网格图像的非线性几何校正方法只需简单的改变控制特征点的位置，就可以适用与离轴柱幕投影图像的几何校正，具有速度快、使用灵活方便、校正效果好等优点。该方法仅仅实现了单通道柱幕投影图像的几何校正，对于多通道柱幕投影系统，还需进行图像拼接和融合等。此外，为了得到更加理想视觉效果，作为后续工作，需要研究图像颜色的适当补偿算法。

[1]项天远. 可扩展的实时多投影增强现实平台[D]. 上海:上海交通大学,硕士论文, 2010.

[2]Tyler Johnson, Greg Welch, Henry Fuchs, Eric Laforce,and Herman Towles. A Distributed Cooperative Framework for Continuous Multi-Projector Pose Estimation[C],proceedings of IEEE Virtual Reality 2009, Mar 14–18,2009.

[3]Michael Brown, Aditi Majumder, Ruigang Yang. Camera-Based Calibration Techniques for Seamless Multiprojector Displays[C]//IEEE Transitions on Visualization and Computer Graphics, 2005.

[4]谢逸群, 王慧雅, 许华虎. 基于视频实时处理的多投影曲面拼接系统的研究[J]. 中国图象图形学报,2009,14(2):286-291.

[5]Nacenta, M. A., Sallam, S., Champoux, B., Subramanian,S. and Gutwin, C. Perspective cursor: perspective-based interaction for multi-display environments.[C]In CHI'06,ACM, 2006, pp. 289-298.

[6]习雅思，魏正佳，张佑生 一种离线的柱幕投影图像校正方案及其实现[J]. 计算机技术与应用进展, 2007,946-949

[7]张号，贾庆轩，孙汉旭，高欣，阮瑞卿 一种多通道曲面系统的几何校正方法[J]. 系统仿真学报,2006,18(suppl.2)493-496.

[8]张杨林,杨红雨,唐荣,邓昌胜.分布式曲面投影系统几何校正算法的研究[J]. 微计算机信息, 2009,25(12-3):174-176.

[9]周海林, 王立琦. 光学图像几何畸变的快速校正算法[J]. 中国图像图形学报, 2003, 8A(10): 1131-1135.

[10]王晓燕，戴青等.360度柱面全景图像的生成[J].微计算机信息.2006,6-1:227-229.

[11]Majumder A, Gopi M. Modeling color properties of tiled displays[J]. Computer Graphics Forum, 2005, 24(2):149-163.