基于多传感器的户外体感交互研究

王树辉

（长春工程学院 计算机技术与工程学院，吉林 长春130012）

因虚拟现实技术的不断发展，各种交互方式也随之层出不穷，其中最符合人的自然属性交互模式当属体感交互。体感交互往往让人们不由自主的将娱乐动作在交互过程中体现出来，所以是非常受大众喜爱的。目前虚拟现实和其交互技术在电子娱乐，互动教育，机械视觉，传媒广告等实际应用中越来越被重视和应用。《中国广告方式调查报告》显示，在中国有21.86%的受众群体中明确表明喜爱虚拟现实。

1 目前广告互动方式

目前的商品广告为了提升公众的参与度，已经开始越来越多地向借鉴新媒介相关技术，其中虚拟互动技术的出现使得广告商的原有格局发生了变化，现在的广告不仅有美观性，还增加了互动内容，但是目前的互动仍然是网页和线上互动最多，近年来倾向短视频植入广告的方式也仍然是给个链接而已。广告的互动方式和交互度急需改变。而广告的载体在户外基本都是以LED 大屏的方式出现，价格和技术因素让特大尺寸的高清LED和彩色LED 随处可见，在户外目前所见的各种LED 大屏内的广告均为视频广告，这些户外的广告方式也亟需改变。

2 现有体感交互手段

如果将体感交互技术与户外广告结合，就可解决上述问题。目前最常用的体感交互技术手段有两种：

第一种是ccd（成像）为基础的体感交互，市场上常用的设备有微软的KINECT，北京的VIRTOUCH, 以及leap 公司的leapmotion。这种一般都以摄像头为采集装置，人类或动物只要在摄像头前做相应动作，一般将视频分解为多个连续照片，再通过对照片的相同颜色或者相同明度的像素进行处理，进而捕获关键部位的位置变化，再对这些变化进行处理，分析。用种种手段分析出用户的动作行为并将其转化为输入指令，与虚拟现实内容互动。其优点是不需要穿戴任何外置设备，视频采集设备也非常便宜。但这种技术对计算量要求大，对计算机硬件要求高，同时受外界环境影响大，比如环境光线昏暗、背景杂乱、有遮挡物等情况下不适用。

第二种是利用深度相机作为采集装置，深度相机如果按技术原理分类，一般可分为三类：结构光、双目视觉和TOF 飞行时间法。目前最主流深度感知方案是结构光，根据结构光投射器向被测物体表面投射可控制的光点、光条或光面结构的信息，并结合图像传感器获取到的图像，利用三角原理以及系统几何关系，通过计算得到物体对应的的三维坐标。其优势是深度图像的分辨率比传统设备采集到的更高。其劣势是根据折射光的落点位移来进行位置计算，所以此项技术对识别的距离有严格的要求，同时不能计算出精确地深度信息，因此响应速度慢。

3 多传感器实现交互

针对现有常用户外体感交互手段的缺点，查询了资料，发现目前有利用红外与激光融合手段来识别目标的方法[1]，受此启发，通过对激光雷达作为传感器与红外线矩阵传感器的实验，验证了多手段融合作为户外无感交互传感器的可行性。首先激光雷达优点是数据为深度数据，不需要进行视频灰度化和降维处理，仅用数据融合就可以实现数据的提取，通过机器学习方法处理数据就可获取交互物体的轮廓和运动向量。其次利用红外线点传感器矩阵，直接判别人体和车的区别，不需要像视频采集那样再配一个红外摄像头。获得到的直接就是人体轮廓信息。其实现方式如图1 所示。

图1 实现方式

4 激光雷达数据的采集

激光雷达的数据均为深度数据，但是人体的体感交互需要的是轮廓数据，目前常用的CPD 算法可以将人体外轮廓点进行匹配[2]。CPD 算法实际是将雷达的相邻深度数据定性为两个有关联的点，利用混合高斯模型将这两个点建立一个分类，分配一个高斯模型的中心，例如有人体进入雷达区域后，先通过红外矩阵识别人体，启动雷达探测，雷达所获得的人体域附近的值就有明显变化，其变化的相邻点如果定义为△P1…，这些变化的点，就分配一个高斯模型的中心点，将这些高斯模型的所属概率计算出来，就可以用此概率反推其它所有的点的概率，如果概率大于刚才计算出来的概率，则点是人体的轮廓，反之就不是人体的轮廓，高斯模型如公式（1）所示。

公式中的ω 是人为设定的权重参数，这个参数大，则人体轮廓的点集合就小一些，反之就大一些。由于户外交互并不像室内交互那样识别精准的手指动作等，只是识别大体的人体运动所以，点集合多一些少一些仅仅影响多人交互时候的人与人重叠的部分多少。

雷达的分辨率越高，人体的轮廓信息越明显，即可以从屏幕采集的人体轮廓矩阵来看越像人形，但代价是人形越明显就越贵。在户外广告交互中的应用来说，受众看到的应该是商品，例如人向左移动，LED 户外大屏上的某品牌矿泉水向左移动。所以没有必要必须完整人形全部采集出来，经过试验得到的数据当人形低于50%数据时，广告商品出现位移不平滑，有跳的表现。所以在户外广告实现过程中，雷达分辨率的选择只要在设定距离内采集轮廓矩阵保持50%以上，最后再执行多个雷达的数据融合[4]。

5 红外线干扰的去除

红外线矩阵如果用红外线摄像头，价格过于昂贵，利用单点式红外线矩阵可以很容易的采集到交互人群是否进入指定区域，红外线矩阵的间接决定了改红外线矩阵数据的大小，根据测验，单点红外线传感器距离为成年人肩宽平均值以下即可。此时的红外线除了外界干扰外（例如热的汽车尾气等）还要考虑的就是红外线不是激光，距离会造成多个红外线数据的互相干扰。目前常见的红外线数据的这种干扰避免有发射层叠法和长距离法。由于长距离法需要采集成年人的肩宽等数据，所以无法采用长距离法，只能用层叠法。层叠法本来是指把红外线的发送器和接收器每一层换向安装，例如第一层发射器在左，接收器在右，第二层发射器在右，接收器在左，对于本文所需要的红外线矩阵来说，不能使用接收器式红外线，使用的是TOF类型的红外线，所以利用层叠法的思想，并参考了无线电波干扰的处理方法[3]进行了改造，将每相邻的红外线进行分组，每个矩阵中心点为奇数组，矩阵边为偶数组，将红外线的奇数组和偶数组间隔打开，目前常用的可编程控制器能做到每隔多少秒轮换打开，这样就实现了红外线传感器的另一种层叠，大大减少了红外线传感器数据的交叉干扰。

6 结论

本文提出的可附加在户外LED 大屏的户外体感交互系统，利用先进的计算机技术，将户外交互技术、虚拟现实技术和传统广告融合创新，通过户外交互实时渲染实现广告内容互动、优惠券的发布、各种商品的植入、顾客信息的采集、功能商品信息的读取和推荐等。首创提出多传感器融合的技术和激光雷达分层次读取，并附加机器学习手段实现户外交互，提高了户外广告的受众关注度。