作战飞机智能座舱研究

殷春霞，陈晓刚

(航空工业第一飞机设计研究院，陕西 西安 710089)

飞机座舱是飞行员执行飞行任务时的主要活动场所[1-2],依靠飞机系统获取各类飞行信息，通过座舱内的各类控制器操纵和控制飞机。在高度紧张的情况下,飞行员往往只是把直观知觉到的显示信息作为认知判断和操作的基础。为了改善飞行员在复杂情境中对自身状态、飞机状况和周边事态的充分了解和整体把握，增强飞行员的情境意识能力，有效的信息显示方式和控制方式是关键。因此，航空领域掀起了智能座舱的研究热潮。

智能座舱技术就是采用有效组织管理信息的手段，向机组人员提供可参考的策略，高效地实现人机交互，将驾驶员从烦琐的常规任务中解脱出来，降低机组人员工作负荷，克服人为的判断失误、决策不当和时机延误等方面的问题，提高机组人员态势感知、规划和决策的自动化和智能化程度，提高生存概率和作战效能。

智能座舱的典型特点如下。

① 在适当的时间以正确的方式提供正确的信息；显示最少的数据，获得最多的信息。

② 运用视觉、触觉、听觉等多种技术实现机组人员与各系统交互，减轻飞行员的信息感知和操作负担。

阐述了作战飞机座舱的发展历程，针对当前座舱人机交互存在的主要问题，提出适应未来立体作战的智能座舱需求。阐述了智能座舱内涵以及急需研究的4个关键技术：支持沉浸感知的超宽屏四维大态势显示技术、支持武器即插即用的人机交互界面技术、减轻机组操作负担的多通道人机控制技术和顺应未来机组习惯的“APP+”人机交互界面技术。最后，展望了智能座舱的研究方法。

1 作战飞机座舱发展

目前，飞机座舱的演进大致经历了3个阶段。

(1)“驾驶舱1.0”阶段。

20世纪70年代以前沿着从简单到复杂的道路发展，座舱内的各类仪表和开关不断增多，且渐趋饱和，如图1所示。“驾驶舱1.0”传统座舱特点：使用种类繁多的“表”和“操作开关”向飞行机组传达和交互信息，即由系统(表)提供原始数据给飞行机组，然后由飞行机组整合数据变成机组可用的关于飞机、环境和任务等有关的信息，机组人员脑力工作负荷很大。

图1 “表、开关”座舱

(2)“驾驶舱2.0”阶段。

70年代末期开始，随着航空电子技术的不断发展，座舱开始由复杂趋向简明，90年代玻璃座舱达到全盛时期，如图2所示。“驾驶舱2.0”玻璃化座舱特点：使用多功能显示器和综合化控制组件，使机组获得信息融合后的综合信息，在一定程度上降低了飞行机组的工作负荷。

图2 “玻璃化”座舱

传统座舱显控存在的主要问题有5个。

① 飞行员需花费大量时间和认知资源来关联不同显示器的各种信息，信息感知、评估、决策环节花费时间长，无法满足当前和未来的复杂空战需求；

② 机组需要烦琐的思维转换才能将显示的态势信息转换成真实的战场态势，延迟了决策时间，可能错失有利战机；

③ 武器攻击画面种类繁多，飞行员武器攻击时思维切换负担重，飞行员心理压力大，难以满足未来挂载多型武器复杂空战时的从容应战需求；

④ 人机控制通道单一，声控精度不高，飞行员指尖操作负担重，难以满足未来飞行员在复杂对抗环境下舒适性作战需求；

⑤ 未来飞行员是使用智能手机长大的，传统的人机界面设计风格难以满足其个性化需求。

早在1990年，美国提出了“大图像”智能座舱概念[3-4]，大图像技术的主导思想表现在两个方面：① 采用大尺寸显示器显示全局战场态势，增强飞行对战场态势的情景感知；② 采用多种控制手段，如握杆操纵控制、触敏控制、声音控制等。

2011年，泰雷兹航展上展示了全景概念座舱，如图3所示。

图3 2011年泰雷兹航展全景概念座舱

2017年，美国陆军协会博览会展示了贝尔V280原型机全景驾驶舱，如图4所示。

图4 2017年V280原型机全景驾驶舱

(3)“驾驶舱3.0”智能座舱的概念阶段。

“驾驶舱3.0”智能座舱特点归纳如下：以机组为中心，以智能界面为特征，优先考虑态势感知，并做到任何特定瞬间的信息都能够被飞行员所接受，支持武器即插即用，支持多通道控制，具有类似于人的推理能力[5]，能对外界环境做出反应，缩短机组思考时间，引导机组安全操纵和正确对抗，减轻机组工作负荷，辅助机组完成任务。

2 智能座舱

2.1 未来复杂作战环境

未来空战环境的复杂性使得飞行员瞬间会接收到大量的作战数据，而飞行员必须快速完成对战场态势以及任务系统的判断。飞行员受限于生理、智力以及心理极限，难以在短时间内完成对“爆炸”信息[6]的正确理解和判断。

因此，未来智能座舱应成为机组人员的“智能助手”，能够不断地启发和引导机组人员，座舱显示清晰可辨、所见即所得，交互风格顺应未来飞行员的使用习惯，将飞行员时间和精力聚焦于任务本身，支撑安全、高效地完成飞行和作战任务。

2.2 智能座舱内涵

“智能”座舱内涵为：以机组为中心，优先考虑态势感知，并做到任何特定瞬间的信息均能够被飞行员所接受，支持武器即插即用，支持多通道控制，具有类似于人的思维推理能力，能对外界环境做出反应，必要时辅助飞行员决策，缩短机组思考时间，引导机组安全操纵和正确对抗，减轻机组工作负荷，辅助机组完成任务，从而将自身的角色转变为“智能副驾驶”，实现人机关系的质的飞跃[1]。

① 依托声控、触控等多样控制形式，减少硬开关数量，支撑大尺寸显示器布置，无缝沉浸呈现全景态势、飞机状态、防御攻击等信息，飞行员无需逐个系统定位信息，信息获知效率高。

② 依托DAS传感器以及后端图像融合和拼接，借助全景显示技术，机组透视近距4Π空域态势，辅助昼夜起降、低空突防、受油和防撞，沉浸感知来袭导弹和激光威胁，支撑飞行安全及对来袭威胁的敏捷对抗。

③ 依托“3D+4Π空间”立体告警，增强机组对来袭导弹、敌辐射体等高实时威胁的反应速度，增强机组对飞机关键故障的快速确认，提高飞机生存机率。

④ 依托态势融合、航路规划[7]、电子战规划[8]、攻击占位规划[9]等后端智能算法，过滤、关联和统一复杂作战环境下的“爆炸”数据，建立一致的战场态势，聚焦显示机组当前关注的任务信息，飞行、态势、防御对抗、武器攻击等显示信息所见即所得，辅助机组防御、对抗和攻击决策，高负荷作战环境下机组人员的脑力负担轻，支撑我方作战环路快速收敛。

⑤ 依托武器“即插即用”显示技术，武器攻击和引导人机界面统一。一方面，机组学习武器人机界面的成本低，武器攻击时机组思维切换负担轻，支撑任务军官高效聚焦战场任务本身；另一方面，无需重新设计和开发针对新增武器的人机界面，支撑新增武器快速形成战斗力。

⑥ 依托“大数据”挖掘技术，从各类任务场景大数据中挖掘任务执行过程中决策操作的顺序和时机，自适应作战任务，当飞行员决策和操作失误时及时提示和告警，进行智能补救。

⑦ 依托电子飞行包技术，减少座舱纸质手册和文件，信息查询和故障排查效率高，座舱简洁舒适，支撑“轻装上阵”高品质飞行。

⑧ 依托“APP+”显示机制，顺应未来飞行员使用“智能手机”和“平板”APP的个性化需求，机组人员凭身份调显个人风格的人机画面，支撑机组舒适性应战。

2.3 急需解决的关键技术

为满足未来复杂空战的座舱人机交互需求，急需研究智能座舱的4个关键技术：支持沉浸感知的超宽屏四维大态势显示技术、支持武器即插即用的人机交互界面技术、减轻机组操作负担的多通道人机控制技术和顺应未来机组习惯的“APP+”人机交互界面技术。使得面向未来的作战飞机座舱以机组为中心，能够真正成为机组人员的“智能助手”，减轻机组人员在复杂空战时的生理、智力和心理负担轻，引导机组人员从容决策和对抗。

(1)支持沉浸感知的四维大态势显示技术。

在敌我战场环境中，只有我方快速收敛作战环路才能赢战，而对战场态势的迅速精准感知是快速收敛作战环路的关键起始点。

战场态势[10]通常是战场空间中兵力部署、战场环境的当前状态和其发展变化趋势的总称。

真实的战场态势存在于四维空间中，但用以表示战场的传统态势图却是二维显示的。二维态势是将四维场景的高度维坐标信息和随时间的态势趋势去除，然后将所有目标映射在地面上的投影作为目标的坐标进行显示，需要机组依据数据表格提供的目标类型、高度信息和未来趋势，结合主观思维，将标绘有不同类型目标的二维平面态势图，思考后通过对照表格信息转换成四维的实际态势。二维态势的抽象表达增加了机组人员大脑的思考和转换过程，视点和视角的固定使机组人员无法从多种角度观察和理解战场环境，从而限制了对战场环境的感知能力[11]，而战场决策指挥又建立在正确的态势评估基础之上，导致杀伤链环路过长，难以应对未来复杂的空战需求。

相较于二维的态势显示，四维态势显示技术更能够启发和引导机组在未来密集威胁和复杂作战环境中快速精准感知战场态势和其他飞行作战信息，支撑安全、高效完成作战任务。因此，四维态势显示技术能够更加适应未来战场的立体作战方式，代表着今后态势显示技术的发展方向。

(2)支持武器即插即用的人机交互界面技术。

即插即用(Plug and Play，PnP)[12-13]原本是一项用于自动处理PC机硬件设备安装的工业标准，由Intel 和Microsoft 联合制定。即插即用的提出使得硬件设备的安装极大简化，系统的PnP管理器可以自动检测到设备的接入，并自动为其分配所需资源。通用串行总线USB设备正是基于PnP 的思想而得到广泛的应用[14]。

工业领域中即插即用体系的特点和功能，正能适应未来新一代飞机机载武器管理的需要。

武器管理系统的即插即用技术，是指在应用层面的即插即用，要求系统能够自动识别接入的导弹武器，自动建立与用户在应用级别上的联系，使接入的导弹武器能够实时地从武器管理系统获取所需要的信息支持服务，飞行员在作战时只需根据目标情况确认武器管理系统的辅助决策结果发出相应的导弹控制指令，武器管理系统便自动执行作战流程编程，辅助飞行员控制导弹武器的使用。美军正在全面推行“通用武器接口”(UAI)标准[15]，极大地提高了不同型号机载武器在飞机上的系统集成效率，如GBU-38 JDAM与F-15E飞机进行系统集成时，通过配置核心数据文件，仅用几天时间即完成飞机作战飞行软件的开发与更新，使军机集成新型机载武器并形成战斗力的时间周期和成本均缩短85%以上。基于武器即插即用技术在实现作战任务的实时性、灵活性和精确性，目前美国空军拟在MQ-1C无人机、F-35战斗机、B-2、B-52轰炸机平台上全面推广和应用武器即插即用技术[14]。

国内军用航空领域也掀起了对武器即插即用技术的研究热潮，但目前处于起步阶段。

目前面临一型武器一型攻击画面的窘境，研究通用的武器攻击人机交互界面设计技术，当战机挂载种类繁多的武器时，减轻飞行员空战时的思维转换负担，引导任务军官高效聚焦战场任务；通用的武器攻击人机交互界面设计技术支撑新增武器的即插即用，即无需重新研制新增武器的人机界面，缩短新型武器形成战斗力的周期。因此，支持武器即插即用的人机交互界面技术是智能座舱的代表特征。

(3)多通道人机控制技术。

声控典型的机载应用，国外有F-35、F16、欧洲“台风”等战机，国内有J20、J15D和J16D。但在机载环境下，飞行员口音和模糊音的声控精度仍不能满足飞行作战使用要求。目前，国内外航空业正在寻求机载环境下自适应语音差异的高精度声控方法。

手势交互和眼控交互[16-17]目前仍没有机载型号应用，其自然[18]、简洁和便捷的人机交互特征引发了航空领域的研究热潮。

机载座舱采用声音控制、触摸控制、手势控制[19-20]、眼控[21-22]和按键控制等多维度控制，提高飞行员实施控制的自由度和舒适性。

(4)顺应未来机组习惯的“APP+”人机交互界面技术。

智能手机“APP设计”的本质是“以用户为中心的设计”[23-24]，与座舱显控“以机组为中心的设计”理念不谋而合[1]。

未来飞行员是在智能手机和平板的伴随下长大的，“APP”[25-26]应用充斥他们的生活。研究“APP+”人机交互机制，“智脑”记忆和学习飞行员使用人机画面的风格和习惯，凭飞行员身份调显“智脑”记忆的飞行员个性化人机界面，支撑未来飞行员对人机界面的个性化定制需求。因此，基于“APP+”的机载座舱显示技术是未来智能座舱的发展趋势。

3 结束语

智能座舱应成为机组人员的“智能助手”，能够不断地启发和引导机组人员，座舱显示清晰可辨、所见即所得，交互风格顺应未来飞行员的使用习惯，将飞行员时间和精力聚焦于任务本身，支撑安全、高效地完成飞行和作战任务。

通过基于超宽屏的四维战场大态势显示技术研究、支持武器即插即用的人机交互界面技术研究、多通道先进人机控制技术研究和支持“APP+”的人机交互界面技术研究，搭建一个“人机共栖”的全景智能演示验证座舱，以典型作战环境为牵引，结合人机工效评估手段[27]，验证智能座舱关键技术点在支持武器即插即用、减轻飞行员工作负荷、降低人为操作失误、提高飞行员战情态势感知、快速收敛作战环路等方面的有效性和未来可实施性，为未来智能座舱人机交互设计技术提供科学的决策依据。针对这4个关键技术，接下来开展的具体研究方法如下。

① 基于超宽屏的四维大态势显示技术研究：研究四维战场态势的组成元素[28-29]，研究战场态势显示的沉浸感知特征，确定支撑复杂态势清晰显示的显示资源指标，确定后端态势融合的显示指标，在此基础上形成四维战场态势显示的表征形式，最后通过模拟的战场环境验证超宽屏四维大态势沉浸显示的合理性。

② 支持武器即插即用的人机交互界面技术研究：研究美国武器即插即用的发展路线和技术特征，研究各类武器攻击引导的共性和个性差异，在此基础上研究基于发射管道的攻击引导人机界面的表征形式，最后形成支持武器即插即用的人机交互界面设计方法，并通过模拟武器源验证该方法的可行性和合理性。

③ 多通道人机控制技术研究：捕获声控、触控、手势控、眼控和硬控的特点，形成多通道控制特征矩阵，以此形成控制分工策略和控制余度策略；征集至少50人的语音，训练声控神经网络模型；构建手势数据库，研究深度图序列的手势分解算法；研究差异性眼动识别算法；最后形成一套完整的多通道人机控制方法，并通过模拟座舱对其进行验证和评估。

④ 支持“APP+”的人机交互界面技术研究：前往APP研发机构(如奇虎360互联网公司)调研，研究智能手机和平板APP应用的体系架构和显示机制，构建适用于飞机座舱环境的“APP+”人机交互架构和设计方法，以典型作战场景为牵引，设计和开发攻击引导APP、战场态势APP、姿态APP、导航APP、雷达探测APP、光电探测APP、武器管理APP等，最后通过模拟座舱验证和评估“APP+”人机交互机制在机载环境下的适用性和合理性。

⑤ 支持统一态势、武器即插即用、多通道控制的辅助决策技术研究。研究构建统一战场态势的航迹融合[30]和图像融合技术[31]，支持飞行员沉浸感知真实战场；研究通用武器发控流程和通用的发射包线解算算法，以支持新增武器的即插即用；充分利用飞行员在座舱的历史操作数据，研究构建多通道控制特征矩阵的智能算法，以减轻人工负担；最后通过模拟座舱对构建的算法、模型的正确性进行验证和评估。