虚拟成像动态演示系统

陈培宏， 梁佩莹， 曹 辉， 叶嘉权， 罗梦婵

(佛山科学技术学院 光信息工程系，广东 佛山 528000)



·专题研讨——虚拟仿真实验(36)·

虚拟成像动态演示系统

陈培宏， 梁佩莹， 曹 辉， 叶嘉权， 罗梦婵

(佛山科学技术学院 光信息工程系，广东 佛山 528000)

通过LabVIEW程序自动实现对物体的原始图像采集、图像处理、视频投影源制作，并通过投影屏幕将投影数据源投射到金字塔投影膜中，实现物体的虚拟成像功能，通过手势控制平台对虚拟像进行转动控制，使系统拥有较高的人机交互性和可操控性。由于系统是由LabVIEW程序完成所有功能，无需人工操作，大大提高了系统的效率；同时系统采用单一摄像头完成投影图像的采集，具有造价低、性价比高、成像效果好的优点。可应用于产品展示、影视播放、游戏动画人物制作等领域，应用前景广泛。

虚拟成像； 动态演示； 手势控制

0 引 言

虚拟成像技术是将实际物体的虚拟像呈现在由金字塔投影膜组成的成像系统中，三维立体图像比传统的平面图像更加逼真，能够给人带来不同的视觉感受，能够拉近我们与实际物体间的距离，营造一个亦真亦幻的显示氛围[1]。虚拟成像技术广泛运用于产品展示、影视演出、游戏动画制作等领域，其独特逼真的显示效果能够给各个应用领域的发展起到一定的推动作用[2]。传统的虚拟成像系统是需要先对物体进行360°外观图像采集，然后由人工完成视频投影源的制作，最后将制作好的投影数据源通过显示屏幕进行投影。这一繁杂的人工制作过程造成时间和人工成本浪费，无法实现对物体的快速成像，同时由于缺少系统的人机交互功能，使系统缺少人机交互性，降低系统的市场价值[3-4]。本系统通过单一摄像头对物体进行原始图像采集，并通过LabVIEW软件进行图像处理和投影数据源的制作，达到一体化虚拟成像的效果，并设计出手势控制平台，通过手势控制平台对虚拟成像进行转动控制，实现系统的人机交互性和可操控性。

1 系统原理

虚拟成像动态演示系统是通过对物体进行360°外观图像采集，并通过计算机自动实现图像处理和投影视频数据的制作，通过投影屏幕将投影数据投射到金字塔投影膜中，从而在金字塔投影膜中实现虚拟成像，并通过手势控制平台，对虚拟像进行转动控制，从而实现虚拟成像动态演示功能。

1.1 虚拟成像原理

虚拟成像技术是光学成像技术中的一种，是一种利用镜面反射原理将物体的三维画面呈现在投影膜中的成像技术。虚拟成像技术能够实现画面的空间感，增加用户体验。与我们观看3D电影不同，虚拟成像技术不需要佩戴偏光眼镜，就可以观看到物体的三维画面，让我们更加真切地感受到三维成像效果[5-6]。

虚拟成像技术是通过投影屏幕和金字塔投影膜来实现成像的，投影屏幕放置在金字塔投影膜的正上方，同时金字塔投影膜的塔尖刚好与投影视频源的中心对称点相重合，并且使金字塔投影膜的四个底边刚好与投影屏幕的四个边相平行，用投影屏幕将投影数据源投射到金字塔投影膜中，我们能够在金字塔投影膜中看到物体的虚拟像[7]。

1.2 投影数据源制作原理

我们将物体放置在由步进电机带动旋转的平台上，并通过摄像头与步进电机协调配合，实现步进电机每转动0.9°摄像头拍摄一张图片的功能，当完成360°的旋转时，摄像头刚好采集到400张图片，同时这400张图片就包含被测物体360°外观信息。步进电机相对摄像头向左转动，由于400张图片代表了物体360°的外观信息，则每间隔100张图片，就相当于拍摄角度间隔90°，所以我们利用单一摄像头采集到的400张图片可以转化成不同拍摄角度下的物体的图像序列。采集到的第1张图片对应0°拍摄角度下的采集图像，则第101张图片则对应90°拍摄角度下的采集图像，第201张图片则对应180°拍摄角度下的采集图像，第301张图片则对应270°拍摄角度下的采集图像。单一摄像头实现四角度拍摄示意图如图1所示。从而第1张到第400张、第101张到第400张和第1张到第100张、第201张到第400张和第1张到第200张、第301张到第400张和第1张到第300张这四个图像序列实际上相当于四个摄像头分别从0°、90°、180°、270°四个拍摄角度对被测物体进行拍摄得到的序列图像。我们将划分出来的四组序列图像按照拍摄角度的角度间隔依次分布在投影屏幕中的相应位置，并且呈现中心对称，从而实现投影数据源的制作。

图1 单一摄像头实现四角度拍摄示意图

1.3 手势控制原理

系统的手势控制功能模块是通过手势控制平台和辅助光源来实现功能的，手势控制平台由三个光敏探测模块组成，辅助光源架设在手势控制平台的正上方，当操作者的手不在光敏探测模块上方时，辅助光源提供的光照的亮度超过光敏探测模块的亮度阈值，当操作者的手在光敏探测模块上方时，辅助光源提供的光被操作者的手挡住，从而进入光敏探测模块的光照的亮度没有超过光敏探测模块的亮度阈值，可以根据光敏探测模块的输出信号来判断出操作者的手是否在该光敏探测模块的上方，还可根据三个互相间隔15 cm的光敏探测模块的信号输出，得到操作者的手在每一个光敏探测模块上方的时间，从而根据这个时间先后顺序来得到操作者的手的滑动方向。根据操作者的手的滑动方向来控制投影屏幕的图像播放顺序，当探测到操作者的手是向左滑动时，图像播放顺序是以当前播放的图像为基准，并根据实现虚拟像向左转动所需要的图像播放顺序来进行图像播放的顺序调整，从而达到虚拟像向左转动的目的；当探测到操作者的手是向右滑动时，图像播放顺序是以当前播放的图像为基准，并根据实现虚拟像向右转动所需要的图像播放顺序来进行图像播放的顺序调整，从而达到虚拟像向右转动的目的。当手在三个光敏探测模块的某一个上方停留的时间超过设定的阈值时间时，启动暂停转动命令，从而使投影屏幕在当前播放界面下进行暂停操作，等到手离开光敏探测模块上方时再继续播放图片，从而实现静止观看[8]。

2 系统总体设计

本系统是由原始图像采集功能模块、投影源制作功能模块、虚拟成像功能模块和手势控制功能模块组成。原始图像采集功能模块是通过图像采集装置对物体进行图像采集，并将采集到的图像进行队列保存。投影源制作功能模块是将采集到的图像进行图像滤波、角度旋转、图像显示位置调整等一系列操作，最终实现投影源的制作。虚拟成像功能模块是由投影屏幕和金字塔投影膜组成，通过投影屏幕将投影源投射到金字塔投影膜中，从而在金字塔投影膜中呈现虚拟像[9]。手势控制功能模块是通过光敏探测模块与辅助光源相配合，从而探测出操作者的手是否在光敏探测模块的上方，并根据操作者的手在三个光敏探测模块上方的时间，来判断操控者的手的滑动方向，从而根据操作者的手的滑动方向来对投影源的播放顺序进行调整，从而实现虚拟像的转动控制[10]。系统的总体结构框图如图2所示。

图2 系统的总体结构框图

3 系统硬件设计

3.1 图像采集装置设计

图像采集装置是由摄像头、步进电机、平台、背景屏幕、辅助光源等组成的。步进电机与平台相连，通过步进电机带动平台水平旋转，从而放置在平台上的物体也随之旋转，摄像头放置在图像采集装置的正前方，步进电机每旋转0.9°，摄像头采集一张图像，当步进电机转动400个0.9°时，物体刚好旋转360°，摄像头采集到的400张图片刚好包含实际物体的360°外观信息[11]。图像采集装置外观图如图3所示、图像采集装置内部图如图4所示。

图3 图像采集装置外观图

3.2 投影系统设计

投影系统是由投影屏幕和金字塔投影膜组成，投影屏幕倒放在金字塔投影膜上方，将投影视频源投射到金字塔投影膜中。金字塔投影膜是由顶角为70.5°的四个相同等腰三角形构成，将这四个相同的等腰三角形进行拼接，实现金字塔构造。将金字塔投影膜的四个底边分别与投影屏幕的四个边平行，并使金字塔投影膜的塔尖与投影屏幕的中心点相对应，并调节好金字塔投影膜塔尖到投影屏幕之间的距离，实现最佳的投影效果[12]。投影系统实物图如图5所示。

图4 图像采集装置内部图

图5 投影系统实物图

3.3 手势控制平台设计

手势控制平台是由三个光敏探测模块和辅助光源组成的。辅助光源放置在光敏探测模块的正上方，辅助光源将光投射到手势控制平台上，手势控制平台上的光敏探测模块根据接收到的光照亮度是否超过亮度阈值，来进行相应的信号输出。通过调节，使光照投射到手势控制平台上时，光的亮度刚好超过光敏探测模块的阈值，当我们用手在手势控制平台上方挡住光线时，进入光敏探测模块的光的亮度在阈值之下，所以我们可以根据光敏探测模块的输出信号来判断操作人员的手是否在光敏探测模块的上方。通过对三个光敏探测模块进行排序，从而得出操作人员的手在手势控制平台上的滑动方向，并根据手的滑动方向对虚拟像进行转动控制[13]。手势控制平台实物图如图6所示。

图6 手势控制平台实物图

4 系统软件设计

系统软件设计是基于LabVIEW软件进行设计的，LabVIEW是一款图形化的编程软件，拥有高效的数据采集、运算功能，能够实现系统所需要的图像采集、图像处理、手势控制等要求[14]。系统软件设计是先对系统各个功能模块进行设计调试，并将所有的功能模块进行整合调试，从而实现系统的整体功能。

4.1 原始图像采集

将被测物体放在旋转平台上，步进电机每旋转0.9°后摄像头采集一张图片，直到步进电机旋转了400个0.9°，则整个系统完成原始图像的采集[15]。采集的400张图片保存在事先选定好的文件夹中，每张图片的保存名称从0开始，依次递增。原始图像采集及队列保存程序框图如图7所示。

图7 原始图像采集及队列保存程序框图

4.2 图像角度转换

由于投影视频源所需要的图像是物体四个摆放角度下的图像，所以需要对采集到的400张原始图像进行角度转换，由于我们采集到的图像中物体的摆放角度为0°，所以我们需要将原始图像分别转换成90°、180°、270°的图像。首先我们从保存原始图像的文件夹里面找出第一张图片，并对这张图片进行90°的旋转，接着将该文件夹内的其他图片同样进行90°的旋转，并将所有旋转了90°的图片保存在指定的文件夹中；同理将原始图像转换成180°和270°的图像，并将这两组经过角度转换的图像分别保存在相应的文件夹中，供下一步操作进行调用[16]。图像角度转换程序框图如图8所示。

4.3 投影画面调整

通过物体的四个拍摄角度下的图像进行拼接，并调整每个图像中物体的摆放角度来实现投影数据源的制作。四个投影画面在投影屏幕中是中心对称的，从而与金字塔投影膜的四个面相对应，使投影到金字塔投影膜的投影数据能够在投影膜中形成虚拟像。我们通过调整每个画面在显示屏幕中的位置来实现四个显示画面的中心对称。

4.4 手势控制平台程序设计

手势控制平台是利用三个光敏探测模块进行设计的，我们通过探测光敏探测模块的输出数据来对当前操作者的手是否在光敏探测模块的上方进行判断，并结合三个光敏探测模块的输出数据，对操作者的手出现在三个光敏探测模块上方的时间先后顺序进行探测，从而根据手出现在每个光敏探测模块上方的时间先后顺序来判断出手的滑动方向，从而根据操作者手的滑动方向来进行下一步操作[17-18]。手势控制平台程序框图如图9所示。

图9 手势控制平台程序框图

4.5 图像转动播放程序

当要对虚拟像进行转动时，我们要相应地改变每个拍摄角度下的物体的图像的播放顺序，当虚拟像的转动顺序向右时，每一个角度下的物体的播放顺序都是向左的；当虚拟像的转动顺序向左时，每一个角度下的物体的播放顺序都是向右的。每一个角度下，播放顺序是按照往后递增或者往前递减来进行循环播放的，当改变转动方向时，播放的图像要根据之前播放到的图片的张数进行相应的处理，从而实现在原来基础上进行方向的改变。图像转动控制程序框图如图10所示，投影屏幕界面图如图11所示。

图11 投影屏幕界面图

5 系统整合调试

通过将系统各个功能模块进行整合调试，系统能够自动完成图像采集、图像处理，并自动完成投影数据源的制作，同时通过投影屏幕将投影数据源投射到金字塔投影膜中进行虚拟成像，并通过手势控制平台实现虚拟像的转动控制。系统成像效果好、手势控制稳定高效。系统成像效果图如图12所示、系统手势控制效果图如图13所示。

6 结 语

本系统是利用LabVIEW程序对物体进行原始图像采集、图像处理、投影视频源制作、投影数据源播放控制、手势控制平台控制等操作，从而实现物体的虚拟成像动态演示功能。系统可以对物体进行一体化成像，避免了由于原始图像的人工采集和投影视频源的人工制作所造成的人工成本和时间成本的浪费，大大提高了系统的效率，并通过手势控制平台实现虚拟像的转动控制，提高了系统的人机交互性和可操控性，系统使用单一摄像头实现投影视频源的图像采集，避免了由于使用多摄像头图像采集所带来的设备浪费，系统制作成本低、性价比高。系统可以用于产品展示、影视播放、游戏动漫人物制作等领域，应用前景广泛。

图12 系统成像效果图

(a)手势控制前(b)手向左滑动时(c)手向右滑动时

图13 系统手势控制效果图

[1] 曲国军.浅谈虚拟成像技术在2013年央视春晚的应用及灯光设计应对[J].演艺科技,2013(9):13-16.

[2] 田岸婷.幻影成像在博物馆陈列设计中的运用[J].艺术科技,2014(10):55.

[3] 许秀文,薄建业,杨 铭，等.浅析3D、全息、虚拟现实技术[J].中国教育信息化,2011(13):85-86.

[4] 余春娜.新媒体语境下3D动画结合幻影成像系统的媒介融合实践与智能推介研究(一) [J].影像技术,2012(6)：59-60.

[5] 陶 涛,郭红卫,何海涛.镜面反射面形光学三维测量技术综述[J].光学仪器,2005,27(2):90-95.

[6] 姬广建.镜面反射特性在艺术创作中的运用[D].杭州:中国美术学院,2013.

[7] 姜晓鹏,马纯永,陈 璐，等.360°全息幻影系统的开发与实现[J].计算机工程与设计,2014,35(12):4268-4272.

[8] 王松林.基于Kinect的手势识别与机器人控制技术研究[D].北京:北京交通大学,2014.

[9] 张济民,张义伟.基于机器视觉的产品瑕疵识别系统设计[J].工业控制计算机,2014,27(3):58-59.

[10] 黄 建.3D全息投影技术发展应用[J].演艺科技,2015(1):45-47.

[11] 李 艺.基于单摄像头的三维扫描系统的设计与实现[D].北京:北京交通大学,2013.

[12] 张晓媛.裸眼立体显示技术的研究[D].天津:天津理工大学,2006.

[13] 陆建敏.光敏传感器的应用——声光控开关电路[J].企业科技与发展,2012(18):36-39.

[14] 张 伟.基于LabVIEW的智能温度测控仪表的设计[D].武汉:武汉理工大学,2009.

[15] 秦益霖,孔 峰.基于LabVIEW的单目视觉灌装桶口自动检测与定位[J].实验室研究与探索,2012,31(2):204-207.

[16] 丁 晟,蒋晓瑜,汪 熙.基于LabVIEW的图像处理技术研究[J].微计算机信息,2010,26(29)：204-205.

[17] 张克剑,王思雨,张秀峰.基于光敏传感器导轨磨耗检测系统的研究[J].电子制作,2013(5):31.

[18] 周 波,杨京玲.人机交互技术在现代展示设计中的应用[J].包装工程,2011,32(20):46-49.

Dynamic Demonstration System by Virtual Imaging

CHENPei-hong，LIANGPei-ying,CAOHui,YEJia-quan,LUOMeng-chan

(Department of Photoelectric Information and Engineering，Foshan University, Foshan 528000， China)

A LabVIEW based system which has the functionality of image acquisition and image processing is discussed. It also has the ability of video source producing, and projects the video source to pyramid projection film via projection screen so that virtual imagination could be realized. The whole system is implemented by using LabVIEW platform, and it is fully automated. i.e., no manual judgment or operation in the whole process, This much decreases the process cost that contains human resource cost and time cost which are mostly caused in image acquisition and video source producing stages, and it also increases the system efficiency greatly. Due to the fact that this system uses single camera to acquire images, it also saves the cost than a multi-camera system. So in overall, the system designed has the advantage of low cost, high performance and very good imagination, it could be widely adopted in many application areas such as product exhibition, video re-playing, gaming animation etc.

virtual imaging; dynamic presentation; gesture control

2015-09-17

国家自然科学基金项目(61275214);2015年度广东大学生科技创新培育专项资金项目;2014年度国家级大学生创新训练项目(201411847004);广东省公益研究与能力建设专项资金项目

陈培宏(1993-)，男，广东潮州人，本科生，主要研究方向为光电信息处理技术。

梁佩莹(1975-)，女，广东佛山人，讲师，主要研究方向为光信息处理，光学检测与传感器。

Tel.：0757-83961169；E-mail：13450809109@163.com

TP 391.98

A

1006-7167(2016)08-0085-06