基于视景仿真技术的虚拟激光投影动态交互方法

张 颖

(文华学院城市建设工程学部,湖北 武汉 430074)

1 引 言

随着科技的不断发展,科技的应用范围不断扩大,多媒体技术逐渐融入人们的生活,成为人们学习工作的重要组成部分。多媒体一般来说就是将电视格式的视听传播能力与计算机[1]交互控制能力有效融合,从而创建出新型的信息处理模型,该模型将声、像、文、图集成于一体,使计算机在具备数字化动态功能的同时,还具备视频播放、编辑等多项功能。多媒体技术的出现极大改善了人们信息交流形式。激光投影[2-3]交互作为多媒体的重要组成部分,是信息多媒体化的关键,并在近年来成为国内外争先研究的重要技术。

文献[4]提出基于稀疏编码特征融合的交互行为识别。该方法通过Canny算子提取图像边缘特征,基于二值模式算子完成图像纹理特征的采集,并使用光流法对图像整体特征展开描述；再通过加权融合方法对提取的相关图像特征实施加权融合；最后使用金字塔匹配模型完成图像的动态融合,实现最终的交互。文献[5]提出基于Lattice Server中间件的束流光学参数测量。该方法基于光源需求,完成了LatticeServer中间件的设计,过程中利用Python语言设计了中间件相关参数,并基于确定的相关参数确定中间件结构；最后通过设计好的中间件实现信息的动态交互。文献[6]提出多通道时空融合网络双人交互行为识别。该方法依据视角不变性完成特征提取,并建立时空融合网络模型对提取的特征开展特征融合；再基于多通道融合网络完成特征的交互识别,并将其共享在各个通道中,实现交互任务。

上述方法中由于未能利用视景仿真技术对交互效果实施加强,导致上述方法在动态交互时,易用性差、交互性低、鲁棒性低。为解决上述信息动态交互过程中存在的问题,提出基于视景仿真技术的虚拟激光投影动态交互方法。

2 激光投影视频图像采集与预处理

由于激光投影笔在实施交互过程中,需要通过摄像头采集大屏幕图像依据计算机的计算处理,获取激光投影点详细坐标位置,再经由坐标的转换获取投影屏幕坐标,依据相关技术实现交互,过程中交互屏幕过大会导致激光投影点模式特征不明显,易受噪声影响。因此虚拟激光投影交互前,需要对视频实时采集并去噪处理,从而消除交互时的噪声影响。

2.1 基于VFW的视频图像采集方法

视频采集就是将视频从虚拟格式转换成数字格式。VEW是关于数字视频的软件开发包,基于软件形式对虚拟视频源的数字视频信号实施采集。VFW视频采集技术主要是通过MSVIDEO、MCIAVI等组件间的协同操作完成数字视频编辑、播放、视频捕捉以及管理等处理。具体采集流程如图1所示。

图1 视频图像采集流程图Fig.1 Flow chart of video image acquisition

2.2 预处理过程

激光投影视频图像采集后,为规避虚拟激光投影点的定位误差,需对采集的视频图像中存在的噪声进行去噪[7-8]处理。

2.2.1 基于加权平均法的图像背景去噪

设定原始噪声图像为g(i,j),图像邻域像素点坐标位置标记X,坐标数量标记Y,以此获取视频图像的邻域平均图像[9],过程如下式所示:

(1)

式中,h(i,j)表示图像的邻域平均结果。依据上述计算结果,设定图像的噪声矩阵为J,表达形式如下式所示:

J=M⊗(h(i,j)·g(i,j))/M⊗h(i,j)

(2)

式中,M表示图像的卷积模板;h(i,j)表示邻域平均图像;g(i,j)表示原始图像。

最后通过建立的图像噪声矩阵完成视频图像的背景噪声消除。

2.2.2 图像灰度转换

基于红绿蓝三原色建立视频的RGB彩色空间模型[10],设定模型中的任意光配色系数为A,获取过程如下式所示:

A=r[R]+g[G]+b[B]

(3)

式中,r[R]、g[G]、b[B]分别表示三原色的配色占比。由于图像灰度值能够将图像像素点信息量化表达,所以设定采集视频图像的像素占位字节为3,图像灰度值即为视频图像的彩色像素亮度,由此对采集视频的图像像素实施转换[11],转换过程如下式所示:

C=0.011R+0.59G+0.3B

(4)

式中,R、G、B表示视频图像的各个颜色分量;C表示图像灰度值。

2.2.3 图像的阈值分割

图像转换成灰度图像后,虽然能够缩减图像中的无效信息,但图像中仍存在相关无效信息,为降低激光投影点的目标检测误差,需对灰度图像开展阈值分割[12]。

首先对灰度图像二值化处理[13-14],设定图像二值化系数为E(i,j),获取流程如下式所示:

(5)

式中,T表示图像的二值化阈值;g(i,j)表示灰度图像(i,j)位置的像素点灰度值;E(i,j)表示图像二值化结果,范围在[0,255]之间。基于上述获取的灰度图像二值化处理结果,使用最优阈值分割算法对灰度图像展开阈值分割处理,从而提升图像的正确分割效率,使分割效果能够达到最优状态阈值。

在原始视频图像中加入一组高斯噪声[15],使原始视频图像成为加性高斯噪声图像,设定图像的背景概率密度为σμ(z),目标概率密度标记ση(z),以此获取图像的混合概率密度Q(z),过程如下式所示:

(6)

式中,λμ表示图像背景的均值方差;σμ表示平均灰度值;Qμ表示灰度值先验概率;λη表示图像目标的均值方差;ση表示平均灰度值;Qη表示灰度值先验概率。

基于上述计算结果,设定图像概率为Qμ+Qη=1,且ση≥σμ,依据制定的固定阈值,完成图像的像素分割。设定图像像素划分的错误概率为θ(T),计算流程如下式所示:

(7)

式中,θμ(T)表示图像背景划分错误概率;θη(T)表示图像目标的划分错误概率;dz表示像素尺度。利用获取的图像分割误差对固定阈值开展求导,从而确定图像的最优阈值,过程如下式所示:

(8)

式中,T表示获取的图像最佳分割阈值。最后基于上述图像处理结果,完成激光投影点图像去噪[16],无用信息剔除等处理。

3 虚拟激光投影的动态交互

基于上述的图像预处理结果,获取激光投影的中心点位置距离,最后通过对中心位置的映射,实现虚拟激光投影的动态交互。

3.1 虚拟激光投影中心点位置获取

依据图像的处理结果,设定图像的目标跟踪窗口为P×Q,以此获取图像当前帧激光投影的目标中心坐标,过程如下式所示:

(9)

式中,(ΔM,ΔN)表示激光投影的中心点位置;G(i,j)表示图像灰度值;P表示跟踪窗口的m方向像素原数;Q表示n方向像素原数。

3.2 激光投影的中心点映射

3.2.1 中心点误差校正

由于确定投影中心点过程中,摄像机存在畸变,所以需要建立径向畸变模型,校正中心点位置误差[17],过程如下式所示:

(10)

式中,φ表示建立的径向畸变模型;(m,n)表示原始图像激光投影中心位置;(cm,cn)表示光学中心;(m″,n″)表示校正后的投影中心点位置;r表示图像像素点至摄像头之间的距离;s表示校正参数;σ表示定位误差。

3.2.2 虚拟投影中心点映射

在虚拟激光投影交互过程中,摄像头与投影幕布之间的距离、方位都会影响交互结果出现透视现象,所以要建立相应的变换方程,以此解决图像位置的透视缺陷,过程如下式所示:

(11)

式中,(mx,nx)表示透视畸变图像的像素位置;(ax,bx)表示未透视图像的像素位置;dx、fx、gx、hx、jx、kx、lx以及ox分别表示透视变换参数。

在上式中可知,确定透视变换参数时,需要不少于4组参考坐标,设定透视畸变图像的坐标分别为(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4),实际坐标位置标记(a1,b1)、(a2,b2)、(a3,b3)以及(a4,b4),通过计算建立激光投影图像的透视变换矩阵,获取交互过程激光点位置与鼠标位置之间的映射关系[18],从而实现激光投影的动态交互。具体过程如下式所示:

φ(ax,bx)=[-(ax,bx)]×[dx,fx,…,ox]

(12)

式中,φ(ax,bx)表示获取的映射变换关系。

3.3 视景仿真

虚拟激光投影完成交互后,使用PC通道渲染交互场景,完成交互内容的视景仿真,从而提高激光投影的交互效果。

设定PC通道主控节点至从属节点的通信时间为S,交互场景渲染时间为Sx,节点数量标记ρ形式,通过计算获取PC通道从属节点的利用效率,过程如下式所示:

ξ=Sx/2ρS+Sx

(13)

式中,ξ表示计算出的节点利用效率。视景仿真流程如下:

(1)启动视景仿真系统。初始化PC通道节点参数,完成激光投影主机与系统之间的连接。

(2)进入仿真循环,接收渲染场景信息。

(3)解析PC通道通信信息,启动渲染获取交互场景的视景图像。

(4)将视景图像反馈至主机中,替换交互场景图像,完成交互效果的增强。

4 仿真实验分析

为了验证本文提出的基于视景仿真技术的虚拟激光投影动态交互方法的整体有效性,需要对此方法进行仿真测试。

4.1 实验结果及分析

分别采用基于视景仿真技术的虚拟激光投影动态交互方法(所提方法)、基于稀疏编码特征融合的交互行为识别(文献[4]方法)、基于Lattice Server中间件的束流光学参数测量(文献[5]方法)、多通道时空融合网络双人交互行为识别(文献[6]方法)测试；

在动态交互过程中,可以通过对交互方法易用性、交互性以及鲁棒性测试,检测交互方法的交互效果。采用所提方法、文献[4]方法、文献[5]方法以及文献[6]方法开展动态交互时,测试上述4种交互方法的交互性能。

在测试过程中,需要选取适当的激光投影仪器以及激光交互笔,以此缩减测试过程中仪器不同带来的影响,选取仪器如图2所示。

图2 选定的激光投影设备Fig.2 Selected laser projection equipment

通过选定的激光投影设备进行虚拟激光投影动态交互,如图3所示。

图3 虚拟激光投影动态交互Fig.3 Dynamic interaction of virtual laser projection

4.2 易用性测试

随机挑选50名人员,分成五个小组教授激光投影仪器使用方法,通过使用过程,开展百分制的交互性评分,依据评分结果,检测交互方法的交互性,评价分数越高说明交互方法的易用性越好,反之则越差。测试结果如图4所示。

图4 不同交互方法的交互性测试结果Fig.4 Interaction test results of different interaction methods

分析图4测试数据可知,组别之间的测试时结果均不相同。所提方法测试出的易用性是4种交互方法中评价分数最高的,文献[4]方法测试结果仅次于所提方法,文献[5]方法低于上述两种方法测试结果,文献[6]方法测试结果最差。由此可证明所提交互方法的易用性能高。

4.3 交互性测试

选取交互时间为交互方法的交互效率测试结果,采用所提方法、文献[4]方法、文献[5]方法以及文献[6]方法开展动态交互时,测试4种交互方法的交互效率,结果如表1所示。

分析如表1可知,随着检测次数的增加,4种交互方法的交互时间都呈现出不断上升趋势。但是所提方法的测试出的动态交互时间持续低于其他三种交互方法的测试结果,这主要是因为所提方法在交互时,通过视景仿真技术对交互场景图像实施增强处理,所以该方法动态交互时的交互时间短,侧面说明了该方法的交互性好。

表1 不同方法的交互效率测试结果Tab.1 Interaction efficiency test results of different methods

4.4 鲁棒性测试

开展交互仿真时,空间距离的长短能够直观影响交互方法的鲁棒性能。采用所提方法、文献[4]方法、文献[5]方法以及文献[6]方法开展动态交互时,对三种方法的鲁棒性展开测试,测试结果如图5所示。

图5 不同交互方法的鲁棒性测试结果Fig.5 Robustness test results of different interaction methods

分析图5实验数据可知,本文方法的虚拟激光投影动态交互鲁棒性最高可达100 %,是4种方法中最好的,证明所提方法在动态交互时,交互效果优秀,该方法具备有效性。

5 结束语

随着激光投影的使用范围越来越广,提出高效的虚拟激光投影的动态交互方法就变得尤为重要。针对传统激光投影动态交互方法中存在的问题,提出基于视景仿真技术的虚拟激光投影动态交互方法。该方法依据获取激光投影中心点位置,完成激光投影的中心位置映射,实现虚拟激光投影的动态交互。由于该方法在提取图像灰度值时存在些许问题,今后会针对该项问题,继续优化该交互方法。