提升交互投影一体机的交互性能及用户体验

2019-04-11陈晟

科技与创新 2019年6期

陈晟

（麦克赛尔数字映像（中国）有限公司，福建福州 350014）

具有人机交互功能的大屏幕显示设备广泛应用于会议或教学系统。随着技术的发展，在交互式电子白板之外，出现了交互平板一体机和交互投影一体机等新型交互设备。

交互式电子白板和交互平板一体机分别是多种精确定位技术与大屏幕投影技术或大屏幕平板显示技术的结合。在专用程序的支持下，两者都可以构造出一个大屏幕、交互式的协作会议或教学环境，可以利用特定的定位笔取代键盘和鼠标来实现与计算机的人机交互。但两者都需要配置成本高昂的专用交互屏幕，而且现阶段热门的交互平板一体机难以实现超大面积的显示和交互操作。

交互投影一体机则是将大屏幕投影技术与数字视频图像处理技术相结合，采用低成本图像传感器实时采集投影大屏幕的图像信息，并通过图像处理技术实现定位笔精确定位。该技术无需搭配专用屏幕，甚至可以利用普通墙面来实现大画面投影显示和交互操作。

评估交互投影一体机性能的优劣，除了投射距离、尺寸、亮度和对比度等普通短焦投影机的性能指标以外，主要侧重于评估其与交互性能相关的定位精度、响应速度和耐外光干扰性等指标。本文将详细阐述如何提升交互投影一体机的交互性能，并对提升用户交互体验的方法进行初步探讨。

1 提升定位精度

交互投影一体机通常在短焦或超短焦的投射镜头附近内置一个摄像头，摄像头的拍摄区域覆盖投影机的投射区域，如图1 所示，投影机倒装在屏幕上方的使用场合。

投影机根据其显像器件物理分辨率的不同，在屏幕上投射特定横纵比例（通常有4∶3 或16∶10 等）的矩形画面。由于投射画面的上下两边距内置摄像头的距离不同，摄像头拍摄到的投影画面近似于梯形（物远像小），如图2 所示。成像梯形内的图像传感器像素与投射画面像素之间形成了映射关系，由图2 可知，梯形上部的图像传感器单个像素对应的投射画面像素的数量较梯形下部的要多些，即上部像素映射率的数值较大。梯形以外的图像传感器像素没有对应的投射画面像素。当定位笔的移动光点在投影画面内出现时，光点实时位置将对应一个图像传感器的像素位置，并映射到投射画面的一个像素点或像素区域，从而实现投射画面上鼠标或笔画的定位。当投影显像器件（如LCD 或DMD）的物理分辨率确定时，定位精度与摄像镜头的参数和图像传感器的物理分辨率相关。

图1 摄像区域与投射区域

图2 拍摄到的投影画面呈梯形

1.1 摄像镜头的设计

设计或选择摄像镜头的透镜组，以满足高解像度、低F值、最优化的视角和像角为目标。交互投影一体机内置的摄像镜头为定焦镜头，其光轴中心到画面边缘的解像度可以用MTF 值来表征，MTF 值越接近1，表示镜头品质越高，具有较佳的反差和分辨率。图像传感器分辨率越高，要求的镜头分辨率也越高。为了满足投射不同画面尺寸的需求，安装交互投影一体机时，机体与屏幕的间距可以在一定范围内调节，因此要根据景深范围设计恰当的F 值。同时要求根据图像传感器的尺寸设计恰当的镜头倍率，以便即使在最恶劣的装配公差情况下，视野也能恰好覆盖不同尺寸的投射画面，成像不允许出现遮角。摄像镜头优化设计后应满足成像梯形的面积占比尽量大，并确保有一定的调整余量。另外要求摄像镜头具有稳定的光轴，以避免装配调焦后产生光轴偏离。段差式镜筒设计是比较好的解决方案，镜筒中除了螺纹部分外，还在镜筒两端设计了防止光轴偏离的阶段，可以有效地控制光轴偏离。

摄像镜头的安装位置及角度也需要正确设计。一般来说，为了使成像梯形左右对称，从而获得投影画面左右同等的定位精度，我们推荐将摄像镜头的位置设计在投射镜头的正上方。摄像镜头的安装角度与投影机的投射比（投影距离与画面的宽度之比）相关，投射比越小，摄像头的安装仰角越高。为了提升定位精度、降低成像梯形上部水平方向的像素映射率，摄像镜头仰角理论上应尽量低。但是为了取得稳定的梯形（相对于装配公差）和较低的上下部失真率，又要求成像梯形居于图像传感器中央。在实际应用中，摄像镜头的安装角度需要根据要求进行权衡考虑和调整。

1.2 图像传感器的选择

通常选择集成度、性价比高的CMOS 图像传感器来替代应用设计复杂且昂贵的CCD 图像传感器。在短焦或超短焦投射镜头附近拍摄投影画面（4∶3 的画面），可以得到扁平化的成像梯形，如采用宽屏的图像传感器将有助于提高传感器像素的利用率。当投影显像器件的物理分辨率确定时，图像传感器的物理分辨率越高，则像素映射率越小，定位精度越高。如果像素映射率小等于1 时，理论上可以实现“点对点”的0 偏差精确定位，但因为成像失真、补偿算法误差等原因难以实现或实现成本高昂。当前交互投影一体机的定位精度在1～5 点，即当交互笔尖触碰到屏幕上某个显示像素时，通过系统定位的鼠标图标或描画笔画可能产生1～5个显示像素的偏离。

2 提升响应速度

选择高分辨率的图像传感器，有利于提升定位精度。但不利之处是需要处理的图像数据量将倍增，可能导致系统响应延迟（如笔画滞后甚至断续等），从而影响用户交互体验。我们可以从硬件选择和软件优化这两个方面提升交互响应速度。

2.1 硬件选择

通过选择高速DSP 器件，可以有效地提高数据处理速度。选择高速图像传感器，并选择恰当的数据流输出格式，比如RAW，将提供高速率的数据读出。同时，高帧率图像传感器有利于连续、快速地捕捉高速移动的定位笔光点轨迹。推荐采用帧率达720 P@120 FPS 或以上的图像传感器。另外，通过增大定位笔光点亮度，从而减少曝光时间等方法也有助于提升系统响应速度。

2.2 软件优化

成像梯形以外的图像传感器像素没有对应的投射画面像素，屏蔽这些无用区域，将大大减少数据处理量。其次，通过设置恰当的光点阈值，仅传送超过阈值的有效数据，可以减少因光噪声等引起的无用数据处理量。另外，对串行数据进行处理，即在存储1 帧的图像数据之后才执行光点信息标签化处理，优化为在获取图像数据的同时，并行地进行光点信息标签化处理，将大大改善系统的响应速度。

3 提升耐外光干扰性

在交互投影一体机的使用场合中，有时会有强光（如日光）照射在投影屏幕上，有时现场还会有其他红外光源（如教师使用的红外麦克风）干扰内置摄像头，从而造成系统定位错误，出现不受控制的鼠标移动或紊乱笔画。下面将详细说明如何提升交互投影一体机的耐受外界光源干扰的能力。

3.1 滤光片设计

交互投影一体机通常采用红外摄像头捕捉定位笔的红外光点位置。但是，为了实现定位的自动校正，摄像头还要能拍摄可见光的校正画面。因此需要设计可切换IR 滤片和可见光滤片的电子快门。IR 滤片波长的选择，首先要考虑各类光源的光谱构成，如图3 所示。地表上太阳光在940 nm波段的强度是850 nm 波段的一半左右，因此交互系统中的IR 滤片带通中心和红外定位笔波长可选择940 nm，以减小外光的影响。可见光滤片如果选择通过红色可见光则较为理想，有利于减少与红外光的像差。

图3 各类光源的光谱特性

3.2 红外同步控制

如何进一步地避免使用940 nm 波长的其他设备的干扰？一种有效的方法是对定位笔发出的红外光进行调制。如图4 所示，连续发光的定位笔红外光与外界干扰光难以区分。如果定位笔红外光与图像传感器帧率同步，每隔1 帧闪烁一次，那么相邻的帧图像数据相减，结果为0 的是外界干扰光，不为0 的则是定位笔红外光。需要注意的是，为了获得与连续发光方式同等的响应速度，同步闪烁方式时图像传感器的帧率需要倍增。为了实现定位笔红外光与图像传感器帧率同步，需要用无线的方式来控制移动中的定位笔。一种解决方法是在定位笔笔尖附近设置红外接收器，接收交互投影一体机向屏幕方向发送的与帧率同步的红外信号。

图4 同步闪烁方式控制定位笔红外光

3.3 软件去除外光干扰

因为现场人员佩戴的反光物品（如手表）的晃动反射强光，或物体快速移动时对强光的遮挡等，有可能使得捕获图像的相邻帧相减结果不为0.另外，快速放大缩小的光斑也会造成类似问题，从而导致系统误判。为了应对此类同步控制无法解决的问题，需要对光点进行定义，并设定恰当的判定阈值，在此基础上利用软件处理去除外光干扰。光点的定义可以包含光点大小、横纵比、圆度、空心率等。实际应用中完全消除外光干扰几乎是不可能的，但通过以上软硬件的改进对策，可以大大减少外光干扰引起的误动作。

4 提升交互体验——手指触控

交互投影一体机如果能使用手指触控替代定位笔触控，操作将更加便捷，将有利于提升用户的交互体验。

4.1 实现方式

通常红外激光二级管可以输出指向性良好的点状光束。该光束从顶端照射到反射圆锥体上时，可以形成扇型光面，利用这种光面可形成平行地覆盖于屏幕之上的激光光幕。也可以选择用激光束照射光学导光圆柱体或波浪镜片，同样可以形成激光光幕。

当手指或教鞭等物体接触屏幕时，激光幕被遮挡反射，形成与定位笔类似的红外光点，即可实现手指触控的互动操作。激光幕发生器通常安装在屏幕上方，并且具有可以调整光幕与屏幕之间距离和角度的机构。

4.2 耐外界强光干扰

为了提升手指触控系统的耐外光干扰能力，并在远离激光幕发生器的屏幕边角处获得更佳的触控效果，可以加大激光二级管的功率，但有时产品会受到激光功率分类的限制。一种解决方法是将两个或两个以上的激光二级管形成的多个激光扇面拼成一个激光幕。适用于红外定位笔的抗外光干扰的对策，也同样可以应用于手指触控。交互投影一体机可以将图像传感器的帧同步信号，经由USB 线缆输出到激光幕发生器，实现激光幕的同步闪烁。