美军人机交互研究和应用综述*

靳慧亮，刘立辉，张 波

（中国电子科学研究院，北京 100041）

0 引言

人机交互（human computer interaction，HCI）是一门研究面向自然人用户的交互式计算系统及其相关主体的设计、评估和应用的学科。人机交互系统存在于各类武器装备中，并在武器装备全生命周期中发挥着关键性的作用。如P51 战斗机在二战中是美军最成功的主力战机之一，除本身出色的气动性能外，P51 对于飞行员友好而易用的座舱交互系统也使得其广受欢迎。相对同时期的英国战斗机，P51 战斗机飞行仪表系统的布局更加规整，操作功能区更加简洁易用。

在二战之前，武器研发的常规思路是训练人员学习装备操作、适应装备特点。二战后受实战教训的启发，在装备研制领域开始推广人因工程学（ergonomics）思想。人因工程学奠基人之一阿尔方斯·查帕尼斯（Alphone Chapanis），通过分析多起B17 轰炸机坠毁案例，发现在高强度工作时，飞行员会搞混飞机的襟翼控制旋钮和释放起落架旋钮，因为两个按钮的距离靠近且外观相近，但二者的功能却完全不同，容易发生误操作而坠机。因此，他仅通过将起落架释放按钮改为圆形，将襟翼控制按钮改为三角形，就有效解决了误操作问题［1］。随着计算机系统的应用，出现了真正意义的人机界面。

麻省理工大学为美国海军开发的旋风（Whirl-Wind）轰炸机乘组训练模拟系统，是世界上第一批使用计算机实时模拟的系统，也是较早使用CRT 显示器的信息化装备。旋风掀起了20 世纪60 年代的计算机微型化浪潮。如半自动地面环境（semi-automatic ground environment，SAGE）系统是美国空军开发的追踪、拦截敌方轰炸机的自动控制系统。SAGE 引入了基于调制解调器（modems）的实时通信和计算技术，并首次使用激光笔代替了机械按键作为交互介质。1970 年，SAGE 使用了斯坦福研究院Engelbart 发明的鼠标代替了激光笔［2］，具有了现代武器交互系统的雏形。

计算机技术的深入应用将人因工程的研究范围扩展到了人机交互，人与机器之间的交互界面也从机械按钮的排列组合演变为数字化的现代界面。人机界面如同计算机系统的“艺术作品”，无法简单评价人机界面的优劣，好的人机界面始终处于不断演进中，而有缺陷的人机界面可能引发致命性灾难。1988 年两伊战争结束前，一架载有290 名乘客的伊朗客机被美军“文森号”宙斯盾导弹巡洋舰错误击落，机上乘客全部遇难。经过调查引起这个悲剧的直接原因是宙斯盾系统界面设计的两个细微缺陷，导致宙斯盾操作员将处于爬升状态的客机误认为是处于俯冲攻击状态的伊朗空军F-14 战机，进而发出错误的击落指令。宙斯盾系统的显示屏显示雷达探测到的实时目标信息（包含速度、距离和高度），却不包含目标的高度变化率，操作员需要手动记录不同时刻的高度，并使用计算器计算目标高度的变化以判断目标是在爬升或者下降。在研发时，设计师曾提议在软件中增加自动计算目标高度变化的功能，在屏幕上通过标签实时显示目标是在爬升或者下降，但被项目组以屏幕空间不够、用户没有提出这个需求为理由拒绝。当事故发生时，“文森号”处于高度戒备状态，操作员在高强度压力下对飞机的高度计算出现了错误，得出了与实际相反的致命结论［3］。

计算机系统的人机交互分为人机界面设计、交互设计和信息呈现设计［4］，美军早在20 世纪90 年代就编制了全军武器装备人机界面的设计指南［5］。指南中详细规定了对车辆、航空器、导弹系统甚至单兵等各类装备的人机界面设计规范。并针对性地给出了对触屏、头戴式显示器、常规屏幕等不同的交互媒介的设计准则。

本文通过查阅美军人机交互相关的研究论文和公开文献，提炼出美军人机交互研究和应用的4个主要方面：认知系统工程、交互可用性、VR/AR 交互和人-无人机交互，并依据实际案例论据论证美军在相关领域的研究理念和应用方向。

1 认知系统工程

1.1 技术认知

认知系统工程（cognitivesystemsengineering，CSE）指的是在计算机系统的设计/变更过程中，应用认知科学理论，增强用户的认知能力（如决策、推理等）。在CSE 的应用过程中，需要结合计算机技术、人类认知过程以及认知任务分析技术（cognitive task analysis），评估系统对用户完成认知过程的支持能力。人类认知要素包括注意力、记忆容量、态势评估和作出正确决策的能力等，CSE 理论可以指导软件功能界面设计过程，通过制定规则检验一套界面是否能够降低记忆负担，能够使用户保持专注等来评判界面的交互是否有效，而非仅仅评价单纯的界面功能完成度。

1.2 应用案例

美军从20 世纪60 年代开始大批量装备搭载复杂计算机系统的军事装备，如E3、E2 预警机等。90 年代美军已经发现老旧的计算机系统难以应对日益复杂的情报处理压力，急需进行更新，但全系统更新需要高额的军费支撑。军方需要有更加高效、经济的方法针对性地重构优化现有系统。因此，有学者提出了应用人类认知学理论和人机交互技术的新进展，通过优化人机交互系统来提升操作员的认知交互能力。并以预警机上战勤人员为研究对象，开展了优化工作，分析战勤操作员在作战场景下的典型感知、决策、行为特征，为人机交互优化提供准确参考。

预警机是一种类似空中交通管理中心的现代化军事装备，但与民用航空空管不同，预警机操作员的工作压力更大，如图1 为E3 预警机的操作员台位。操作员需要同时关注数百架飞机的飞行数据，以便从中发现存在敌意的飞机，除了管控空中飞行以及判别目标飞机意图，预警机操作员还需要监控6 个通信频段。任务紧张时，需要在拥挤的机舱内工作15～18 h，而且在执行任务中飞机还可能面临被击落风险。在这样的工作环境下，操作员的认知压力极高［6］。

1.3 发展趋势

研究人员利用认知系统工程中的认知任务分析方法，聚焦操作员的目标判定、决策以及问题解决3 个流程，并基于研究结论对现有系统的认知过程进行了改进［7-8］。如将预警机屏幕外的实体菜单改为屏幕内常用菜单，菜单的内容能够动态变化，始终与当前用户的操作相关，以使用户关注的操作能显示在当前的视域范围内，让操作员尽可能保持专注。此外，将操作员关注的航迹信息以简表的形式显示在屏幕下方，让用户更加直观地关注目标。改进后的系统虽然保留了全局可扩展菜单，但为了避免菜单遮挡态势，设计时增加了切换按钮，不使用时可以一键收起菜单，并且按照使用频率的高低对菜单进行了重新排列。通过将CSE 方法应用到预警机软件的优化过程中，在不作出大幅度变更的情况下，有效地降低了预警机操作员的认知负担，提升了操作员的认知能力。

2 交互可用性

2.1 技术认知

可用性（usability）是美军军事任务软件系统的关键质量属性，交互可用性指标衡量交互系统是否有用的、高效的、易用和易学的，能够满足用户期望，可用性低的系统会引起用户的排斥和抵触［9］。军事应用软件设计时，为了应对战场中的意外情况，会提出比通常的可用性评价指标更高的要求。ISO9241-11 标准定义可用性为“用户在特定条件下，使用特定产品完成特定目的时的效能、效率和满意度的程度”［10］。效能（effectiveness）指用户完成特定目标时的准确率和完成度，效率（efficiency）指用户达成目标时所消耗的附加资源。可用性的核心是用户体验（user experience，UX），UX 概念起源于1986 年由美国认知心理学先驱唐纳德·诺曼（Don Norman）教授提出的用户为中心的设计（user-centered design），他在书中写到：“人类虽然具备通过努力学习、克服困难来掌握一个产品的操作或适应其操作习惯的能力，但好的设计师应该努力降低甚至消除用户的学习负担以让产品更加适应用户。UX设计优秀的案例，如智能手机、Google 搜索或者手枪扳机等都有一个共同点，他们的交互设计（或人机功效）让用户感觉是“直观的”，用户可以凭借直觉（intuitive）操作，而不必翻看说明书。

2.2 应用案例

美军在1980 年也开始了UX 的研究并且启动了“人系集成项目（MANPRINT）”。MANPRINT 项目聚焦将用户的思想应用到系统集成开发过程中，提出“以士兵为中心的设计”理念：在设计过程中，就要士兵参与进来，并收集他们的使用输入和反馈，以便于改进设计［12］。MANPRINT 起初并没有达到预期的效果，因为国防部在早期项目立项时，没有将UX 的要求贯彻到合同中，导致合同研制方选择性忽略了UX 的设计。

2.3 发展趋势

美军在近年来已经作出实质性改变，在国防顶层架构层面，用户可用性被美军应用在国防力量向能力为中心的转变过程中。美军2014 年针对C4ISR（指挥、控制、通信、计算机、情报及监视与侦察）系统提出了能力工程（capability engineering）的概念［11］，强调发展“系统之系统”，提升任务完成过程中人、过程以及要素的重要性。如文献［13-14］中美军以C4ISR 系统为研究对象，开展了用户可用性评估研究，目的在于提升在复杂战场环境下士兵与系统的交互体验。帮助美军装备研发时提升“以用户为中心”的迭代设计能力，提升最终交付装备的用户体验。美国防部在C4ISR 的升级版框架DoDAF 中，增加扩展了人员视角，用于描述在任务达成过程中人员的表现能力，衡量和规范态势感知、高强度工作、任务完成以及训练过程中人与系统交互能力的发挥情况。通过优化融合人、过程和技术3 种要素，弥补了C4ISR 系统交互过程中的人-机鸿沟。

在装备研发方面，美军先进野战炮兵数据系统项目AFATDS 和战术情报数据存储节点系统TITAN 项目中，都将UX 条款写入了研制总要求中，并形成了相关军标［15］。UX 专家在军队（特别是空军）中也担任了更加具有影响力的职位，空军在2019年任命柯尔特（Colt Whittal）担任了首位首席用户体验执行官，并组织建立了一个空军内部的线上平台，允许用户开放性提交反馈意见、交流使用经验。MANPRINT 项目提出的核心理念：给士兵装备武器，而非给武器配备士兵，在美军方机关、研发部门和作战部队中，也已经深入人心。

3 虚拟现实/增强现实交互

3.1 技术认知

1962 年美国摄影师莫顿（Morton Heiling）发明了一套多传感器的娱乐设备Sensorama，通过3D 视频、音效、震动甚至气味等给用户构建沉浸式的环境，Sensorama 被认为是世界上第一套VR 系统。从20 世纪80 年代开始，计算机生成的模拟训练环境在军事领域的应用快速发展，为用户提供安全、受控的训练环境，而虚拟现实VR 的出现将这一应用场景提高到了一个新的层次。VR 构建了全沉浸式环境、多人共同训练场景，使得训练更加真实和直观，通过逼真地模拟不断变化的外部场景，让受训者能够达到更好的训练效果。VR 在美军的飞行训练、虚拟演习等军事领域中均有应用。此外，在装备生产过程中，结合数字建模技术和VR 呈现技术，装备设计人员、用户可以在装备进入实际生产之前，就进入虚拟装备内部，并进行相关的操作、演练，以提前暴露问题、修订需求，加快整个装备的研制周期的同时也提高了最终交付装备的交互效能［16］。

3.2 应用案例

美国第4 代战机F22 就采用VR 技术实现了3D 数字化设计和生产，缩短了50%的研发周期，节省了可观的研发费用。美军下一代核动力航母项目CVN21 是第一艘完全采用全虚拟环境设计的军舰，通过虚拟建模技术，构建了全舰的数字化模型，并可实现虚拟组装，降低了成本和研制风险。在作战指挥领域，美军也一直在探索将VR 应用在其联合模拟仿真系统中，用于支撑大规模演习。但是在实际作战领域，由于VR 的全沉浸式特性，限制了其只能应用在有限受控环境内，如图2 所示。

图2 配戴VR 眼镜的训练者Fig.2 Trainer wearing VR glasses

AR 增强现实技术利用在现实世界中叠加数字实体的技术，给用户呈现虚实结合的场景，在城市反恐作战中，佩戴AR 眼镜的士兵在不遮挡外部环境视野的基础上，可以获得更好的态势感知［17］。2002 年美国海军开始资助研发一项战场增强现实系统（battlefield augmented reality system，BARS）。该系统假设在城市作战中，使用AR 技术辅助士兵在复杂而多变的城市作战场景下，如何与位于视距范围外的队友进行协同作战。BARS 系统建立了一个数据中心，支撑作战小队和指挥所之间的实时数据共享。队员可以随时将实时数据上报到数据中心，或者同步数据中心最新数据（如攻击路线信息、集结地信息等），指挥所和作战小队间能够实现实时的战场协同标绘，以最大化优化统一战场感知效果。基于BARS 项目构建的软硬件基础设施，在美军后续的AR 增强项目中发挥了奠基性的作用，衍生出许多不同应用领域的项目。

3.3 发展趋势

美国空军已经将VR/AR 应用从单纯的飞行员训练推广到飞机维修和保养工作中。创建于1996年的美空军模拟和仿真训练局（air force agency for modeling and simulation，AFAMS）致力于通过模拟仿真技术，解决在实际的空对空演习中，美军现有的蓝军飞机装备性能已经大大落后于实际的“对手”飞机性能的问题。AFAMS 将VR/AR 作为下一代技术的重点方向加紧研发，不仅因为VR/AR 能提升训练效率，节省大量军费，更因为VR/AR 在实际训练中体现出的优秀效能。美空军第7 轰炸机联队使用了混合显示（mixed reality，MR）技术来改进维保工作的效率和安全性。MR 眼镜代替了传统的人员随身携带的手持平板或者厚重的维保手册，基于同步定位与建图（simultaneous localization and mapping，SLAM）技术，可以在维修对象上叠加说明，甚至实现远程专家实时协助。此外，在一些存在危险性的工作环境，通过MR 眼镜，可以识别危险源识别并对佩戴者发出强提示信号，以防意外事故的发生［18］。

4 人-无人机交互

4.1 技术认知

近年来，以无人机为代表的无人装备逐渐成为战场的绝对主力，2005 年在伊拉克和阿富汗战场，美军无人机总共飞行时间超过了100 000 h。截止到2014 年1 月，美军装备了包括MQ1“捕食者”无人机、MQ9“死神”无人机等共10 691 架各型无人机［19］。美军早在2010 年发布了无人机2035 路线图［20］，其中明确提到未来会使用无人机代替士兵执行侦察、监视、远程打击等任务，以减少士兵的伤亡。2011 年美军训练的无人机操作员数目首次超过了战斗机、轰炸机飞行员的总和。与有人装备不同，无人装备的智能化程度更高，无人机飞行员相较传统飞机飞行员，其更关注监控飞行状态和任务执行状态，而非飞行本身。飞行员所在的物理空间也从飞机内部变成了地面办公室，不再受到飞机震动、击落风险、光照变化等的影响，但需要面临新的人机分离等问题。因此，传统的交互设计理论和技术无法直接应用于此类系统的人机交互设计，针对无人机系统的交互被称作HDI（human drone interaction），已经形成新的研究领域，2014 年谷歌学术搜索HDI 的研究只有2 篇论文，2018 年已经有180 篇［21］。

4.2 应用案例

北约早在2003 年就发布了STANAG 4586 标准，规定了无人机控制系统与无人机互操作性的标准接口，其中，定义无人机人机界面要具有的功能为：采用图形化界面（GUI），辅助操作员操作不同的无人机及机上任务载荷，以及接收、处理和甄别无人机传感器载荷产生的数据、执行规划任务等。

无人机操作员没有坐在真实飞机中，只能通过面前屏幕显示的机载摄像头视频流查看飞机位置，通常画面视角范围较小，并且受限于带宽、外部干扰等会导致刷新率降低甚至视频短暂中断的情况，操作员非常容易产生空间迷失，增加事故风险。通过分析“捕食者”无人机操作员的数据，发现在持续飞行8 h 以上后，操作员的反应时间由7.1%增加到17.8%，超过92%的操作员表示长时间操作会产生厌烦情绪［22］，说明人类本身不善于执行长时间保持高度警戒的任务。因此，空间迷失、操作延迟、人机分离、长时间工作等特点都需要考虑到无人机交互系统的设计中。

4.3 发展趋势

鉴于上述特点，人-无人机交互更适合采用更加自然的交互形式，即采用手势、眼控、触控、语音甚至脑机的多模态交互手段，综合构建自然人机界面（nature user interface，NUI）。自然人机界面可以让新手用户通过更短时间的训练后快速掌握无人机操作技能，降低操作时的任务负荷，以及减少坠机事故的发生。传统的无人机交互是操作员通过操作界面、摇杆控制无人机的飞行，自然化交互手段更加符合人的交互特点，如操作员可通过语音向无人机发出指令“跟踪监视目标、飞往地点XX”等，即可实现无人的自主飞行和自主完成任务。文献［23］中构建的无人机地面站基于卡内基梅隆大学提供的语音识别系统，实现了语音控制无人机，包含一个15 种命令的语音字典，并支持扩展。语音命令为三元组命令词的形式，可以通过语音合成提供操作反馈。用户调研证明大部分用户认为语音交互是非常积极的，能够让操作无人机更加简单易上手。此外，脑机交互（brain computer interaction）可以通过脑电波测量操作员的精神状态，在探测到操作员认知负荷增强时，能够自动调整操作界面的内容或布局以降低负载。

5 结论

人机交互是典型的交叉学科，是哲学、心理学、计算机科学、人工智能等学科知识的融合，从工业革命开始的人-机交互（human machine interaction，HMI），到计算机时代的Human Computer Interaction，再到人工智能时代的人机协同交互（human computer collaborative interaction，HCCI）和人与无人机交互（human drone interaction，HDI），交互对象随着技术的进展在不断演化，但人始终是主体，交互媒介的革新、交互技术的演进始终是围绕为”人”提供更好的交付体验。在军事领域，作战装备技术提升了人在战场中的感知能力、生存能力，同时也对武器装备的交互设计提出了更高的要求。在新时代强军思想指导下，我国相关领域的研究也正在发展［24］，但与美军在系统性、规范性、专业性等方面的差距还比较明显。本文回顾了美军从二战以来的典型人机交互应用研究的部分内容，并展望了美军人机交互研究领域的发展方向，可以看出当前新的交互形态正在经历快速变革，需要深入研究军事装备人机交互技术，以实战需求引导交互技术的发展，才能实现我国军事技术和装备战斗力的持续提升。