基于虚拟现实技术的三维影像智能显示系统嵌入式设计

陈琳+李洁

摘 要： 以往的三维影像智能显示系统体积大、精度差，显示效果和同步性不能满足用户需求，针对这种现象，设计基于虚拟现实技术的三维影像嵌入式智能显示系统。虚拟现实技术使用OpenGL和3ds MAX开发系统的数据采集与调试模块，使用VC++ 6.0开发显示模块，实现人与自然、人与人的视觉交互。对数据采集与调试模块的FPGA进行嵌入式设计，通过FPGA采集三维影像进行色彩调节，以压缩形式传导给显示模块的HI1257B芯片进行解码、去噪、画质增强和显示。实验结果表明，所设计的智能显示系统拥有显示效果逼真、同步性好的特点。

关键词： 虚拟现实技术； 三维影像； 智能显示系统； 嵌入式设计

中图分类号： TN911?34； TP391.9 文献标识码： A 文章编号： 1004?373X（2017）08?0100?03

Design of 3D image embedded intelligent display system based on

virtual reality technology

CHEN Lin1， LI Jie2

（1. Chengdu Agricultural College， Chengdu 611130， China； 2. Sichuan University， Chengdu 610065， China）

Abstract： The display effect and synchronization of previous 3D intelligent image display system can′t satisfy the user demand due to its large volume and poor accuracy. Therefore， a 3D image embedded intelligent display system based on virtual reality technology was designed. The virtual reality technology uses the OpenGL and 3ds MAX to develop the data acquisition and debugging module， and employs VC++ 6.0 to develop the display module， so as to realize the visual interaction of human and nature， as well as human and human. The FPGA embedded design was performed for the data acquisition and debugging module. The 3D image is acquired through FPGA for color adjustment， and transmitted to the HI1257B in the display module in the compressed form for decoding， denoising， image quality enhancement and display. The experimental result shows that the designed intelligent display system has the characteristics of vivid display effect and high synchronization.

Keywords： virtual reality technology； 3D image； intelligent display system； embedded design

伴隨着电子信息时代的来临，影像智能显示系统得到了长足发展。受限于电子显示设备体积大、建模精度差等原因，三维影像智能显示系统往往无法获取逼真的显示效果和良好的同步性[1]。就以上问题提出嵌入式设计方法，提升系统模块之间的关联性、缩减系统体积，达到优化系统同步性的目的，并采用虚拟现实技术开发系统模块功能，优化系统显示效果。

1 三维影像嵌入式智能显示系统开发流程

虚拟现实技术是一种模拟人体对自然界视觉、触觉、嗅觉等感知能力的计算机成像技术，其编制并调试出虚拟环境信息，给人一种切身位于特定自然环境的逼真感觉[2]。对所进行的三维影像智能显示系统嵌入式设计而言，虚拟现实技术的主要作用是通过模拟视觉感官为系统带来逼真的显示效果，因此，使用OpenGL、3ds MAX和VC++ 6.0进行系统开发最合适不过，不仅开发难度低，而且对影像细节处理的掌控能力强，在系统的运行和功能更新环境的开发上均存在优势[3]。

图1是基于虚拟现实技术的系统开发流程，OpenGL和3ds MAX开发出数据采集与调试模块，VC++ 6.0开发显示模块。接入监控现场的实景照片和重点事物图纸，通过OpenGL进行图形编程、着色。实景照片使用高清数码相机拍摄，依据照片类型存储在不同的文件夹中。根据系统显示目标的不同，3ds MAX对不同类型的目标特征分别建模，对重点事物下达LOFT放样指令。3ds MAX通过布尔运算达成事物逻辑推理，构建逼真的自然场景轮廓和自然场景的上下层位置关系。VC++ 6.0编程中，红绿三维投影专业性不强，三维影像显示效果失真率远高于双通道三维投影，但由于不用进行色度与亮度均衡，所以成像时间短，可供非专业人士和紧急情况下使用。

2 三维影像智能显示系统嵌入式设计

根据第1节的描述，虚拟现实技术开发出的三维影像嵌入式智能显示系统由数据采集与调试模块以及显示模块组成，下面对两个模块的重要组成以及功能进行设计。

2.1 数据采集与调试模块设计

在数据采集与调试模块中，FPGA是进行三维影像数据采集与调试的功能实现者，采用嵌入式开发手段将FPGA烧制在基于虚拟现实技术的三维影像嵌入式智能显示系统中[4?5]，在FPGA上进行软件与硬件的功能协同设计，利用虚拟现实技术正确控制硬件配置，达成系统嵌入式设计。FPGA的嵌入式结构配置图如图2所示。

由图2可知，FPGA在数据采集与调试模块中安置了2个处理器组实现模块与系统的嵌入式连接，采用150 MHz时钟进行三维影像数据触发。由OpenGL开发的数据接口采用双全工同步的高速串行外设接口（Serial Peripheral Interface，SPI）协议，其在进行单项数据传导时，数据位宽度为2 b，做到了简单易行的高同步通信[6]。此外，FPGA还拥有色彩调节器、显示驱动和处理器控制端等硬件。

SPI数据接口有两种传导模式，分别是主控模式C和从控模式S，两种模式不可独立控制数据传导。从控模式S将三维影像数据的串行规格改变成8位并行规格，与主控模式C进行数据交接。主控模式C完全依照系统管理者设置的控制方案进行三维影像数据传导，实施控制前需提取控制指令，并发出控制状态流程提醒信号。FPGA时钟频率比SPI数据接口传导频率高出3倍，利用FPGA时钟同步SPI数据接口频率，将SPI协议逻辑导入FPGA时钟的工作频率中，可稳定系统同步性。

图3是FPGA从控模式S的登记转换等级（Register Tranfster Level，RTL）视图，从图3可以精密地观察从控模式S的逻辑结构。从控模式S使用两段式代码编码方式，对控制指令实施计数和搬迁，从处理器组1采集控制指令进行计数和数据封装，获取色彩调节器的调节指令[7]。将指令搬迁到主控模式C中，由处理器组2进行三维影像智能调色和压缩，随后驱动显示模块进行下一步工作。

2.2 显示模块设计

由数据采集与调试模块中FPGA传导到显示模块的三维影像是压缩数据，显示模块的HI1257B芯片对压缩数据进行解码、去噪、画质增强和显示[8]，将三维影像智能传导到显示器上进行高清显示，实现虚拟现实技术对自然界的视觉感知。

HI1257B芯片的解码线程如图4所示，使用的是先入先出法，通过辨别三维影像压缩数据中的码流，利用解码库进行码流解码，通过VC++ 6.0为高清晰度多媒体接口设计控制指令进行显示。图5是HI1257B芯片硬件结构图，SPI接口引进压缩数据进行解码，视觉识别器接收三维影像中的视频数据，拥有嵌入式的内存处理单元，可对三维影像视频进行降噪、光线调控、色彩度加深、模糊点锐化等校正。麦克风接收三维影像中的音频数据，模糊音色可利用喇叭额外收音，支持16路音频收音和4路音频输出。麦克风与喇叭通过集成电路内置音频总线在HI1257B芯片中进行音频嵌入式交接。两个双倍速率同步动态随机存储器分别存储视频数据和音频数据，由无线网络汇聚数据进行统一编码，传导给显示器显示由虚拟现实技术采集到的三维影像。

3 实验分析

三维影像智能显示系统的实验平台需要进行系统显示效果和同步性的对比分析，对三维影像的观察和数据处理是必要的，因此，实验平台的硬件组成主要包括三维裸眼眼镜、数据处理器、天线和双目相机。令本文设计的基于虚拟现实技术的嵌入式系统、流媒体显示系统和机器视觉系统，使用双目相机在相同的目标区域内同时采集自然场景三维影像，采用数据处理器转换三维影像，显示在各自的显示器上，保持三个显示器输出相同的影像规格。显示效果是个抽象定义，不同的人通过三维裸眼眼镜观察到的显示效果不能确保完全一致，需要将显示效果数据化。用表示三维影像智能显示系统中显示器的响应能力，满足：

式中：是的校正函数；是显示器亮度；和是顯示器的输入和输出逻辑值，如表1所示。

表1 显示器输入、输出逻辑值

实验中的本文系统、流媒体显示系统和机器视觉系统，为了确保显示效果，必然会对显示器的响应能力进行校正。实验给三个系统提供了相同的值，。根据以往的经验，当时，系统显示屏的灰度减弱，物理明暗度适中，可得到最逼真的显示效果[9]。表2是的校正值统计表，能够看出本文系统所得的校正值与2.2非常贴近，显示效果逼真。

表2 的校正值统计表

伽马曲线可表现出显示器的亮度调节规律，在伽马值由1～10的变化过程中，显示器亮度也发生改变，伽马曲线出现浮动。调节三维影像智能显示系统的伽马值，记录系统显示器伽马曲线的浮动持续时间。如果浮动持续时间能够立即对伽马值的调节交接做出反应，表明系统同步性良好。图6是同步性对比分析曲线，能够看出本文系统的浮动持续时间曲线紧紧跟随伽马值调节交接曲线的变化，而做出几乎相同的反应，同步性良好，而流媒体显示系统和机器视觉系统的浮动持续时间曲线反应混乱，同步性不好。

4 结 论

本文提出采用嵌入式方法、基于虚拟现实技术设计三维影像智能显示系统，达到优化系统显示效果和同步性的目的。系统由数据采集与调试模块和显示模块组成，两个模块的核心硬件分别是FPGA和HI1257B芯片。HI1257B芯片接收FPGA传导数据进行三维影像智能显示。实验借助显示器的响应能力校正和伽马曲线浮动分析出本文系统的显示效果逼真、同步性良好。

参考文献

[1] 李力.基于虚拟现实技术的工程机械三维装配培训平台设计[J].湖南工业职业技术学院学报，2016，16（1）：20?21.

[2] 隋德志，兰磊.基于Skyline的房地产三维虚拟系统的研究[J].测绘与空间地理信息，2016，39（6）：85?87.

[3] 王莉丽，宋小芹.基于嵌入式的智能电气节能控制研究[J].科学技术与工程，2016，16（19）：255?258.

[4] 李辉.基于虚拟双目视觉的玉米叶片三维重建方法[J].科技通报，2016，32（5）：96?101.

[5] 宋中越，马姣姣，甄冬，等.基于流媒体技术的风力发电机全景监测虚拟现实系统研究[J].计算机测量与控制，2016，24（7）：247?248.

[6] 张璐琪.基于三维虚拟视觉的产品交互设计平台的开发与实现[J].现代电子技术，2016，39（8）：118?121.

[7] 毕卫云，陈迪，李朗，等.虚拟现实技术在神经外科医师培训中的应用[J].中华神经外科疾病研究杂志，2015，14（2）：167?169.

[8] 朱维，刘永春.嵌入式智能数字机顶盒系统设计[J].现代电子技术，2016，39（14）：53?56.

[9] 唐朝飞，李晶，张利锋，等.基于虚拟样机的引纬机构的结构优化[J].西安工程大学学报，2016，30（4）：416?420.