智能网联汽车人机交互手势识别设计

刘华仁，陈效华，纪明君，朱赛春 Liu Huaren，Chen Xiaohua，Ji Mingjun，Zhu Saichun



智能网联汽车人机交互手势识别设计

刘华仁，陈效华，纪明君，朱赛春 Liu Huaren，Chen Xiaohua，Ji Mingjun，Zhu Saichun

（北汽集团新技术研究院，北京 101300）

以车内驾乘人员多屏信息共享为目标，介绍人机智能交互设计中手势交互的关键技术及具体应用，提出基于具体场景的手势识别设计方法，并在试验模拟台架上对操控便利性及操控识别率进行验证。试验结果表明，该设计能大大减少界面误操作，并提高手势识别成功率，在未来智能网联汽车人机交互界面上有较好的应用前景。

手势识别；人机交互；智能网联车

0 引 言

随着汽车智能网联功能发展日益完善，人们在车内时间越来越多，对于车内信息的需求度越来越高，分散屏幕间的信息交互获取问题不容忽视。欧哈德·因巴尔（Ohad Inbar）等人进行一项研究，除与驾驶相关的操作控制外，乘客可以与驾驶员共享系统的控制权[1]。将智能网联功能和多屏人机交互系统有机结合起来可以形成更好的人机交互体验，基于手势控制的智能人机交互设计可以使驾驶员及乘客轻松把握汽车屏幕间功能信息切换，让驾乘人员在安全驾驶的基础上拥有良好的交互体验。另外，相比传统的触摸等物理操作方式，手势交互被认为是一种比机器或计算机更自然的交互方式[2]，通过这种方式能有效减少驾驶者的视觉分心而不影响对人机交互的体验[3]。

1 系统要求分析

手势交互要尽量使用更多接近用户自然行为、轻便有趣且容易记忆的手势动作，如果手势动作过多，人们需要花费时间学习和记忆一系列模式，以人为本，简化交互过程[4]。人车交互尽量接近日常生活的交流形式，让人与车之间的交流变得不易觉察。因此，手势控制要化繁为简，用自然流露的手势和体态在最具优势的方面发挥作用；同时手势类型不宜复杂、过多，手势动作需要有明确的差异，避免用户混淆。

1）简单单一的手势控制，很容易产生误操作，例如屏幕移动最容易想到的动作是挥手操作，通过手的左挥、右挥实现屏幕的左右移动切换，但是这个动作很容易产生误操作，当驾驶员的手不经意划过手势传感器的时候，会误认为驾驶员的意图是移动切换屏幕内容。

2）利用手势移动的速度来区分正常操作还是无意识操作，速度控制的范围越小，越能减少误操作的影响，但是如果速度范围过小，会增加手势操作的难度，操作者很难把握手势移动的速度，特别是初学者不能很快掌握控制的手势。

3）还有一种策略是利用开始手势开启手势控制，例如手势在手势控制器的正上方悬停3s作为手势开始的标志，接着通过挥手动作实现屏幕移动。这种方式排除手势误操作，但是效率降低，用户必须先开启手势控制，才能实现手势控制。

由于手势交互能减少驾驶员视觉分心和认知负担，手势交互逐渐成为汽车人机交互界面研究设计的重要方向。随着汽车逐步成为一个集合信息获取、传递、交流和娱乐的交互式空间[5]，未来汽车人机设计的核心是尽量减少不必要的视觉内容，弱化视觉形式，减少驾驶员在开车过程中的信息负荷和干扰。目前来说，手势交互运用在汽车里最大的优势在于，动作是相对的，无需精准操作（精准操作不仅用手，还要靠眼睛寻找，很危险）。传统的手势控制很容易产生误操作及干扰，利用连续的组合动作，在不影响手势控制效率的前提下，可以消除误操作的干扰。手势处理模块采集到手势后，判断是否为手势控制的起始手势，如果是起始手势，再判断接下来的手势是否为预期手势，通过组合手势联动有效减少手势操作的干扰及误操作。

同时，联动手势如果是比较难操作的生僻操作，那么不利于用户记忆与操作，所以尽量创造符合用户操作习惯的手势组合，减少用户学习时间，降低用户的操作难度。在屏幕间功能交互时通过两个手势与一个动作的组合，过滤掉手势操控过程中的干扰动作，不影响操作效率，防止误操作发生，提高手势识别准确率，提升隔空操作用户体验，智能化程度高。

2 手势识别技术分析

手势是指具有信息含义的人手姿态或动作，一般分为静态手势和动态手势[6]。手势控制分为场感应与摄像头识别2种方式；场感应方式只能判断手的运动趋势，不能判断手势类型，目前主要是开关类型应用；摄像头识别方式通过图像处理可以同时识别出手势类型以及手势运动趋势，用于识别驾驶员的操作意图，所以设计采用基于摄像头的手势识别技术。

手势控制采用多个摄像头成像技术，通过将不同角度的2个或多个固定摄像头得到的图像或视频流进行对比，根据摄像头的角度偏差和图像间差值计算出目标物体到摄像头中心点的距离；通过内置的定制光路摄像头采集手部图像信息，通过算法判断出手部不同姿态信息（Hand Posture）和不同手指的三维位置（3D Position）及运动轨迹（Motion Trail），再对应到相应的控制命令，技术原理如图1所示。

注：Xl、Xr为目标点在左、右两幅视图上成像的横坐标；d为视差；f为焦距；T为摄像头中心距；Z为目标点到成像表面的距离。

3 手势识别设计方案

手势识别模块在高精确度和高跟踪帧率下工作，实时获取位置、手势和动作。手势数据的内容主要分为手掌基础数据和手运动关联数据。手势帧数据提供一些属性反映被检测到的手的物理特征，包括手掌坐标（Palm Position）、手掌速率（Palm Velocity）、手掌标准（Palm Normal）与手掌所形成的平面的垂直向量（向量方向指向手掌内侧），手的运动通过当前帧与之前特定帧对比得到。采用2个连续手势与一个动作的组合，不但大大提高手势识别的准确率，而且符合用户操作体验，可以很快上手。手势识别分为手掌进入、手掌变握拳及拳左右平移3个步骤。手掌变握拳动作作为移动开始的标志，可以把用户无意识的手势干扰过滤掉，手掌变拳动作符合用户抓取东西的习惯，容易理解记忆。握拳移动实现屏幕区域左向、右向移动，符合日常生活中对物体拖动的习惯。

手势识别算法流程如图2所示，接收到手势帧后，对手势进行识别。当识别出手掌以后，再判断接下来的手势类型；当判断为拳头后，可以断定手势由手掌变为拳；然后再分析拳的移动，如果拳的移动在左右方向达到一定的距离，则判断握拳发生位移。手势设计与其他流程不同之处在于，每个分叉都有无数种手势可能，以及手势出入设备识别范围，需要对手势的种类、有无、停留时间等作出适当规范，以便获得准确的反馈。

图2 手势识别算法流程图

4 交互数据设计

通过5根手指的Proximal与Metacarpal关节夹角判断手指是否握拳，如图3所示，5根手指识别处理算法具有相似性，以中指为例进行关键算法分析。

手势识别关键算法为：

1）手指弯曲角度计算

通过中指Proximal与Metacarpal关节计算中指弯曲角度，当角度小于10°时，认为中指是伸直状态，当角度大于80°时，认为中指是弯曲状态。

2）握拳、手掌判断

当全部手指的弯曲度大于80°时，判断为握拳；当全部手指弯曲度小于10°时，判断为手掌。

3）握拳移动

移动信息获得是通过移动事件获取，需要设定引起手移动事件的最小距离，当手移动到这个距离后会发生中断。

握拳移动处理的流程为：

（1）移动事件发生；

（2）判断是否为手掌移动事件；

（3）判断左移还是右移。

当手势发生所设定距离的移动时，引起手移动事件，判断此时的手势是否为握拳，如果是握拳，再判断发生左向移动还是右向移动，最后针对左、右移动事件进行屏幕移动处理。

5 结束语

通过模拟台架试验，手势操作很好地实现盲操作，提高驾驶安全性和人机交互的乐趣。试验表明，手势操作成功率可达95%，可以有效防止手势控制误操作，对于未来智能网联车人机交互是一种切实可行的设计方案。

[1] Inbar O，Tractinsky N. Make a Trip an Experience：Sharing In-car Information with Passengers[C]// CHI’11 Extended Abstracts on Human Factors in Computing Systems.ACM，2011：1243-1248.

[2]Akyol S，Canzler U，Bengler K，et al. Gesture Control for Use in Automobiles[C]// Iapr Conference on Machine Vision Applications. DBLP，2000：349-352.

[3]Ohn-Bar E，Tran C，Trivedi M. Hand Gesture-based Visual User Interface for Infotainment[C]// International Conference on Automotive User Interfaces and Interactive Vehicular Applications，2012：111-115.

[4]冯志全，杨波. 三维自然手势跟踪的理论与方法[M].北京：清华大学出版社，2013.

[5]Krum D M，Faenger J，Lathrop B，et al. All Roads Lead to CHI：Interaction in the Automobile[C]// CHI '08 Extended Abstracts on Human Factors in Computing Systems. ACM，2008：2387-2390.

[6]赫文强. 动态手势的识别及在PPT播放当中的应用研究[D]. 南宁：广西大学，2013.

2017-05-15

1002-4581（2017）05-0016-04

U469.72

A

10.14175/j.issn.1002-4581.2017.05.005