虚拟现实中图像合成信息同步采集方法研究

李 闯

(吉林建筑大学，吉林 长春 130000)

1 引言

虚拟现实技术(人工智能、传感器技术、实时计算等)能够提供更真实逼真的用户体验，为人类在探索和观察世界方面提供了极大的方便[1-2]。而随着虚拟现实技术的不断发展，用户对成像效果要求也越来越高，因此在虚拟现实中图像信息采集也变得尤为重要[3]。

近几年，有专家学者提出了一些相对成熟的图像采集方法，如文献[4]中的多帧图像信息采集处理方法和文献[5]中的图像信息数据高速采集方法。然而上述方法采集到的图像虽能够反映出目标个体的外观和品质，但是存在信息采集延迟的现象，导致采集的同步性较差。

为此，本研究研究了一种虚拟现实中图像合成信息同步采集方法。在拍摄运动物体时，采用多CCD摄像机在不同角度、不同空间位置进行拍摄，并分析相机的高度及光轴大小。通过对虚拟现实的具体情况研究得出，使用四个摄像机能够有效的对图像进行同步采集。同时，为提高摄像机与采集端之间的传输速度，以FPGA技术为图像采集的控制电路，通过PCI总线建立图像采集系统和上位机之间的通信连接，并用PCI9054桥芯片实现PIC与采集端的链接。为增强图像合成的最终效果，对通过遗传算法和Powell算法相结合对采集后的图像信息参数进行优化，完成配准处理。经对比分析可知，与传统方法相比，本文方法的信息采集延迟较短，图像呈现效果更清晰，说明该方法具有较高的应用价值。

2 采集方法设计

本研究采用多CCD同步采集方式，通过将面阵CCD摄相机采集到的图像实时传输到客户端来实现图像传输。在虚拟现实中图像合成信息同步采集过程中，每个单独摄像机具体安装方法如图1所示。

图1 测量系统平面图

然而，随着实际应用对图像同步采集要求的逐步提高，使用传统的单一摄影机已难以满足现实采集需求。为解决这一问题，分别使用多个摄像机在不同空间尺度、不同方位对拍摄目标进行拍摄，然后整理匹配各个不同摄像机的拍摄信息，从而获得全面且完整的视场信息。

CCD摄像机是由彩色和黑白相机两部分组成，彩色摄像模式能够完整的还原拍摄目标的颜色及细节信息，而黑白摄像机则主要用来拍摄色彩信息较简单的目标[6]。分析相机的高度及光轴大小后，本研究决定使用视场角为40度的CCD摄像头。通过对虚拟现实的具体情况研究得出，使用四个摄像机能够有效的对图像进行同步采集，其平面图如图2。

图2 摄像机平面图

图中

(1)

(2)

CB=4×AB=36m

(3)

CCD是一种半导体成像器材，也是一种大规模的集成电路光学器件，核心原件为CCD传感器，工作原理是通过镜头将拍摄目标聚焦在电耦合器上，经过一系列的处理过程进行成像显示，其具体工作过程如图3所示。

图3 CDD工作原理示意图

从图3中可以看出，光线在通过摄像机镜头时发生散射，光经过散射后聚焦在CCD传感器上形成模拟图像信号[7]，模拟信号经模数转换器处理后，获得数字图像信号，最后利用图像处理器呈现出完整的图像信息并且进行储存。图中的感光传感器是通过电荷进行存储转移的，该方法对于人眼识别更为适合。

一般来说，CCD可以分为线阵CCD和面阵CCD，面阵CCD能够精准的拍摄二维图像，并且可以快速成像，显示出拍摄目标；线阵CCD是拍摄一维图像的，通过对图像的扫描，做三次曝光。结合虚拟现实图像合成采集的具体需要，本研究选择面阵CCD。

CCD摄像机由色彩矩阵、水平垂直移位器、输出放大器和A/D转换器几部分组成。各个色彩矩阵中存在红、绿、蓝虑片，当拍摄目标经过这些虑片时会形成像素点，与此同时也会产生相对应的电荷，邻近的移位寄存器就会将形成的电荷储存，然后经输出放大器和A/D转换器输输出图像。而CCD内部像素点的多少会直接影响输出图像的最终效果[8]，也就是说像素点越多，寄存器储存的电荷就越多，那么最终获得的物体影像就越清晰，更接近物体真实状态。

为了保证四台CCD摄像机能够实现同步采集，需要保证四台机器同时触发[9]。因此，构建同步信号电路为摄像机提供同步信号。现阶段大部分CCD摄像机都有内、外同步两种功能，更先进的一些的不仅拥有输出端口还存在外同步输入端口来实现摄像机的同步触发。

当对静态物体进行拍摄时，只需要一台摄像机，所以不需要输入同步触发信号，只要将输出线和对应的采集系统直接连接即可获得既定图像。而当对运动物体进行拍摄时，由于需要使用多个摄像机来确保够能够准确捕捉到运动物体完整的运动状态，摄像机没有同步启动就会导致画面独立。因此，在这种情况下就要通过摄像机的外同步端口进行连接，通过同步触发信号对摄像机进行控制以达到精准的同步拍摄。外同步连接示意图如图4所示。

图4 外同步方式连接示意图

传统的图像采集控制电路有以PC为核心、以DSP信号为核心、以FPGA为核心等。近几年，随着人们对FPGA的不断深入研究，FPGA技术[10]成为了较为常用的图像采集系统的解决方案。其较为典型的系统框图如图5所示。

图5 典型的FPGA采集系统框图

图像缓存的主要过程如下：首先两片SDRAM通过双时钟FIFO有效的实现数据接收，为使采集更具有效性，使用乒乓操作[11]对两片SDRAM进行处理。图像缓存结构如图6所示。

图6 图像缓存处理模块结构

采用PCI总线建立图像采集系统和上位机之间的通信连接，该方法可以同时控制多个外围设备，数据传输能力较强，反应较快，适合数据量较大数据传输，同时通过PCI9054桥芯片实现PIC与采集端的链接。则系统的总体结构如图7所示。

图7 图像合成信息同步采集系统框架

3 虚拟现实图像信息配准

为能够更好地实现图像合成，对采集到的虚拟现实图像进行图像配准，其流程如下：

1)对图像进行特征提取获得特征点，找到提取后的特征点对；

2)对特征点对进行匹配，获得与之相应的图像空间坐标参数；

3)通过图像参数进行图像配准。

在虚拟现实图像中，SURF特征点[12]包含位置、方向、尺度等图像信息，具有较高的独立性和鲁棒性，所以本研究将SURF作为特征提取目标。设图像I(X)中的任意特征点为X=(x，y)，则积分图像I∑(X)为

(4)

则尺度为σ的图像信息矩阵H(X，σ)为

(5)

式(5)中，Lxx(X，σ)、Lxy(X，σ)、Lyy(X，σ)是对二阶导数和图像卷积的描述。

以此为基础建立图像金字塔，在各个尺度上对特征点进行定位，即可获得较为稳定的特征点。

若联合概率使用联合直方图来表示，则图像A、B的归一化信息可以表示为

(6)

式(6)中，H(A)、H(B)为图像A、B的熵，H(A，B)为联合熵，则H(A)、H(B)可以定义为

(7)

(8)

式中，PA(i)为A的概率分布，PB(j)为B的概率分布，若PA，B(i，j)表示A、B的联合概率，N表示直方图级数，则通过联合概率PA，B(i，j)可求得

(9)

图像信息配准需要使用多参数优化算法在多维数空间搜索到最优的多个配准参数，目前基于图像配准的优化算法有很多，考虑到虚拟现实对算法的需求，模拟图像亚像素精度平移，对PV和HPV差值在x、y轴方向的合成信息曲线进行考察如图8所示。

图8 图像合成信息平移量曲线

遗传算法的核心是随机产生不同个体并将其组成不同种群，然后按照自然淘汰、基因变异等顺序不停优化，最终获得最优参数值。该方法能够在全局范围内搜索极值，但是不能进一步细化搜索，所以其局部优化能力较弱。Powell算法能够进行多尺度、多方向的搜索，其局部寻优性能较强，但是该方法依赖于起始点的选择，如果没有准确的选择起始点，则会造成搜索结果存在误差等问题。

综上所述，将两种方法结合既能够更好的进行全局化搜索又能在极值点范围内进行更完善的细化搜索。在寻找全局极值点的过程中，使用较为简易的PV差值法进行搜索，在细化搜索的过程中使用HPV差值法对搜索到的全局信息进行优化。使用结合算法的具体配准过程如下：

a)用PV差值算法计算虚拟现实图像合成信息，利用遗传算法初步搜索优化参数。

b)将优化的参数作为Powell算法的起始点，使用HPV差值算法对合成信息进行计算，并且进行细化搜索。

c)获得配准的最优参数。

d)完成信息配准合成全过程。

4 实验与结果分析

为证明所提的虚拟现实中图像合成信息同步采集方法的有效性，设计对比实验加以验证。所用的对比方法分别为文献[4]中的多帧图像信息采集处理方法和文献[5]中的图像信息数据高速采集方法。

首先，为判断本文方法的时效性，以图像采集延迟为检验指标，在不同的采集间隔时间下，对分辨率不同的单幅/多幅画面进行采集，统计本文方法的采集延迟时间，结果如表1所示。

表1 图像采集延迟测试

根据表1数据可以看出，图像采集过程的延迟量除了受分辨率和画面数影响之外，还收到采集间隔时间的影响。当间隔时间为1秒时，图像采集过程最多会有179毫秒的延迟；当时间间隔为5秒时，图像采集过程最多会有54毫秒的延迟；当时间间隔大于10秒时,,图像采集过程最多会有0.14毫秒的延迟，此时，延迟时间可以忽略不计。

此外，不论是单幅画面图像还是多幅画面图像，尽管图像分辨率和采集间隔时间不断发生变化，但应用本文方法后， 图像采集延迟始终较小，均处于200毫秒以下。这是因为本文方法以FPGA技术为控制电路，通过摄像机连接接口将图像数据传输至FPGA缓存模块中，再通过PCI接口传输到计算机内，简化了以往复杂的传输步骤，从而有效减少了图像信息采集过程的延迟。

为进一步验证本文方法的图像采集性能，将本文方法与2种对比方法进行性能对比分析。

实验的硬件环境如下：Intel(R)Core(TM)2Duo 2.20GHz处理器，内存为512MB，硬盘空间为10GB。软件环境如下：Windows XP操作系统，网络协议为TCP/IP。利用不同方法采集同一场景中的信息，得到对比结果如图9所示。

图9 不同方法采集结果

根据图9可以看出，利用文献[4]方法采集到的图像噪点信息明显，而文献[5]方法采集到的图像对比度偏低。而利用本文方法采集到的图像清晰度明显，且图像平滑度较高。综上可知，本文方法有效提高了图像信息的采集效果，也充分证明了本文方法的可行性和有效性。

5 结束语

为更有效地采集图像合成信息，本文提出虚拟现实中图像合成信息同步采集方法。并通过实验结果表明了该方法的适时性能较高，采集效果更好，具有较高的应用价值。