APP下载

军事领域中的人机协作研究综述

2023-05-28钮建伟安月琪李晗高炜峰焉正权董铭宇

包装工程 2023年10期
关键词:人机无人协作

钮建伟,安月琪,李晗,高炜峰,焉正权,董铭宇

军事领域中的人机协作研究综述

钮建伟,安月琪,李晗,高炜峰,焉正权,董铭宇

(北京科技大学 机械工程学院,北京 100083)

对军事领域中人机协作的应用现状和理论现状进行归纳与分析,指出未来的发展趋势,旨在为人机协作军事系统的技术发展和设计研究提供理论方向。以无人机系统、无人车系统、无人艇系统的实际应用场景为代表,分析人机协作的军事应用现状;剖析军事背景下国内外人机协作任务分配、人机交互方式、人机交互界面设计、人机协作效能评估的研究进展;综合前人的研究现状对未来的研究发展趋势进行总结。根据国内外研究的现状、热点与趋势可知,人机协作的任务分配需综合考虑人员行为和任务时序等因素,以提高人机协作效率,探寻更优的分配模式;多模态智能交互将成为未来人与无人集群交互的主流形态,多通道结合的信息交流将改变操作员与指控系统互动的方式,实现人与无人集群的高效交互;态势认知是未来智能战场面临的挑战,人机协作为智能态势认知领域的研究奠定了基础。

军事;人机协作;人机协同

随着战场信息化趋势的发展,现代化战场的整体规模不断扩大,战场要素也愈加复杂,涉及多目标任务和多资源的体系化作战成为了主要的战争形态。人机协作是指发生在人和自动化之间的协同交互,通常被称作Human-Agent Teaming或者Human-Automation Collaboration[1]。在军事层面,庞大的有人/无人协同系统会参与到信息化战场的协同作业中,复杂的操作任务和作战资源需要作战体系具备规划任务和自主完成目标的能力[2]。因此,在复杂多变的战场环境下,自主规划系统及监督指挥人员的协同作业显得至关重要[3]。人机协同作战一直是军事领域的研究热点,是指将无人系统与有人系统进行有机融合,基于共享任务或信息的形式完成共同目标,这是智能化战争中具有代表性的作战方式之一[4]。基于对相关领域的研究及应用资料的调查,美军于2003年的伊拉克战争中首次实现了有人/无人机协同作战,通过有人机指挥“MQ-1捕食者”无人机发射导弹,实现作战目标物的发射打击任务[5]。当前,国内外对无人机领域的人机协作应用研究愈加广泛。为实现资源的最大化利用,通常采用单一操作员监督多个无人机的作战模式,但这种方式往往会增加人机系统的总体操作负荷[6]。例如,美国在2018年的“拒止环境下无人机协同作战CODE”项目中采用单一操作员控制多架无人机的模式,执行侦察、打击等作战任务[7]。随着未来作战化的趋势向协同一体化的方向发展,在操作者层面和武器平台层面,实现资源的合理利用及充分配置是人机协同作业的重要目标。

随着人工智能、大数据等技术的发展,智能计算等高新技术广泛应用于军事领域中的指挥控制系统、无人作战系统及辅助决策系统等自动化系统[8]。上述系统注重人工智能技术的应用,突破了战场环境下人类生理疲劳等方面的限制,通过与人类合作来执行作战任务,形成人机协同作战系统。人机协同作战主要有以下三种类型:第一种是智能化无人系统指引有人系统实施作战;第二种是智能化无人系统辅助有人系统实施作战;第三种是智能化无人系统掩护有人系统实施作战[4]。在人机协作系统中,智能系统运行速度快,适用于执行规范化的繁杂任务,而人担任监督规划的角色,通常在指定或突发阶段,与智能系统联合完成协同作业[3]。然而,值得注意的是,虽然当前的自动化系统能够在一定程度上实现智能化任务,但是在态势感知及知识理解等方面仍存在固化思维,难以完全替代人类[9]。例如,在指挥控制系统中,人类可以发挥态势感知的能力优势,分析敌方的作战意图,合理地分配作战任务。而自动化系统主要是程序化的定量感知,对动态的战场环境感知的灵活度较低[10]。总体来说,智能化作战系统距离全自主性仍有较大差距,需要和操作人员联合完成作战任务。

综上所述,人和智能系统相互配合、执行任务,可以发挥各自的优势,提高作战效率。人机协作过程涉及任务分配、人机交互、效能评估等诸多方面,只有实现各层面的高效融合和技术突破,才能达到理想的协同作战效果。然而,在动态、大规模的作战环境下,受限于智能技术的发展程度及未知的战场态势等因素,人机协同技术仍处于探索阶段,有许多工程技术方面的难题需要解决,比如如何实现合理的协同任务分配、如何实现灵活的人机交互等问题。因此,现阶段的研究重点是探究如何将人的经验知识与机器智能高效融合,最大化地发挥人机协同作战系统的效能。

1 军事应用现状

随着顶尖科学技术在军事领域的加速应用,智能无人系统已成为现代战争的重要组成部分,世界各大军事强国高度重视智能无人系统技术在军事领域的应用。根据智能无人系统作用的空间范围,可以划分为无人机系统、无人车系统和无人艇系统[11]。

1.1 无人机系统应用现状

无人机系统(UAS)由无人机(UAV)、地面控制站、数据链和回收与发射系统组成。无人机是自主制导、远程控制的军用飞机,它携带传感器、目标指示器、进攻性弹药和电子发射器。无人机不受机组人员、生命支持系统和有人驾驶飞机的设计安全要求的影响,可以提供比同等有人驾驶系统更长的航程和续航时间。

1916年,皇家飞行队的拉斯顿普洛克特制定了空中目标击毁计划,他们的概念是研制一种非常简单的小型飞机,在飞机上装满炸药,然后引导它飞向指定的目标[12]。1916年9月12日,休伊特-斯佩里公司自动飞机进行了首次飞行[13]。这两种飞机被认为是今天无人机的起源。在第二次世界大战中,美国陆军、空军和海军提出了更多无人机鱼雷概念。基于同样的无线电控制原理,许多飞机被改装成飞行炸弹,其中包括PQ-8、PQ-14、B-17和B-24。冷战期间,军事学家发现,似乎用无人驾驶飞行器收集信息更安全、更高效。1946年,为了收集核试验数据,几架B-17被改装成无人机[14]。随着技术的改进,其他侦查无人机也出现在世界舞台上:Boeing YQM- 94 B-Gull(见图1)、D-21无人侦察机(见图2)。

目前,无人机在军事领域主要执行侦察和攻击任务。以MQ-9死神无人机为例,如图3所示,MQ-9“死神”无人机的主要目的是发现、跟踪、摧毁陆地和海上目标。这种无人战斗飞行器的翼展可达20 m,长度为11 m。最大起飞质量为4 763 kg,对外可承载1 361 kg。在起落架上,机身内部装载量为386 kg。驱动使用了霍尼韦尔TPE331-10涡轮螺旋桨单元,使这款飞行器的最大速度达到445 km/h,在空中可续航36 h,高度上限为15 240 m[15]。

图1 波音YQM-94 B型海鸥

图2 D-21无人侦察机

图3 MQ-9死神无人机

由于人的精力有限,做不到精准控制无人机,因此,人与无人机的协作方式,可以分为两种,人通过遥控器控制无人机飞行(见图4),以及无人机自主飞行(见图5),这两者之间的本质区别在于人是否在工作环中。由此也引发出了无人机的三种工作模式:自主(自动)模态、人工干预模态和人工操纵模态,这3种模态的使用是由人(操作员)设置与选择的。人可以通过制定规则和策略管控无人机,无人机按规则和策略自主生成控制指令控制飞机的飞行;当无人机在飞行过程中出现与人的设想不一致的结果时,人可以进行适当的干预;若飞行出现应急情况且干预无效时,人可以直接操控飞机[16]。

图4 人遥控无人机

图5 无人机自主控制

MQ-9“死神”无人机配备了现代化管理系统和自动驾驶仪,如图6所示。在整个任务过程中,飞机可以在没有飞行员的情况下完全自主操作,因此可以在没有人类飞行员干预控制的情况下起飞、飞到任务目标、返回和安全着陆。这样的管理需要对飞机的整个任务进行仔细的编程,以便能够完全自主飞行。而操作员可以在任何时候介入控制并取得控制。在自主模式下,飞机从地面控制站接收命令信号。为了实现对飞机更加全面的控制和管理,在大多数情况下都需要使用卫星通信系统。

图6 MQ-9死神无人机控制面板

在现代化战争中,有一个明显的特点就是无人机的大量使用。2020年3月,在伊德利卜和土耳其的春季盾牌行动中,土耳其武装部队大规模使用了无人系统,包括作战任务和其他作战手段,比如火炮合作,极大地提高了土耳其武装部队的活动效率。在纳戈尔诺-卡拉巴赫地区控制权的战斗中,阿塞拜疆使用武装无人机获得了对亚美尼亚的重大优势[17]。据报道,2021年以色列国防军使用无人机向被占领的约旦河西岸的抗议者投掷催泪瓦斯,而哈马斯则向以色列发射了所谓的“神风”无人机[18]。2022年俄乌战争爆发,俄军先后使用察打一体无人机对乌克兰武装据点、指挥所等高价值军事目标实施打击,获得了较好的效果,而乌克兰在冲突爆发伊始就将无人机作为空袭作战的主力,主要依靠“旗手”TB2察打一体无人机较低的雷达探测性实施低空突防,在俄军野战防空系统拦截距离外发射精确制导弹药,对俄军燃油车、地面输油装置、弹药补给车等后勤保障节点实施打击,从而减缓其进攻节奏。

1.2 无人车系统应用现状

无人车(UGV)也被称为自主控制机器人,是一种与地面接触、在无人驾驶的情况下运行的车辆,在军事领域发挥着重要作用。无人车可以更有效地打击恐怖主义和远程作战,无人车在战场上可以提高士兵的存活率。无人车可以分为轻型机器人战斗车辆(RCV-L)、中型机器人作战车辆(RCV-M)和重型机器人作战车辆(RCV-H),其中,轻型机器人战斗车辆在步兵和工兵之间运行,携带补给品和重型武器,主要用于运输和侦查,而中型机器人作战车辆(RCV-M)和重型机器人作战车辆(RCV-H)会与主战坦克和步兵战车并肩作战[19]。

轻型机器人战斗车辆如图7所示,是一种专门制造的紧凑型柴电混合动力无人地面战车,该车辆质量为3 855.53 kg,最高时速为64.37 km/h,载重量为3 175.14 kg,由混合动力发电机驱动,该发电机由高压电池供电,有助于实现静音监视和类似隐身的功能[20]。战车配备了25 mm主炮的遥控炮塔、高分辨率360°态势感知摄像机、传感器和导航设备,还可以安装无人机系统,这是一种小型无人机系统,可以在车辆保持安全距离的同时进行。在武器方面,可装备50口径机枪或MK19手榴弹机枪和一枚标枪导弹。

图7 轻型机器人战斗车辆

中型机器人作战车辆(RCV-M)如图8所示,是专为战斗设计的军用机器人。它是一种快速、敏捷的机器人,可用于执行各种任务,包括侦察、战斗支持和后勤。它被称为“战争的未来”,将永远改变战争的面貌[21]。这款无人驾驶车辆配备了各种传感器、摄像头和装甲,可以保护其免受轻武器火力和火箭弹的伤害。还配备了一个导弹发射器、一挺30 mm机枪和无人机,使其具备一定的摧毁目标的能力。2021年,美国陆军进行了首次RCV-M实弹测试,开始使用XM813主炮和M240机枪进行实弹测试[22]。

重型机器人作战车辆(RCV-H)如图9所示,具有更加实际的利益,因为这种级别的无人地面车辆可以在战场上提供真正的战术优势,与轻型UGV相比,其有足够的火力进行激烈的战斗,并能携带更大载荷的物资[23]。RCV-H是三类无人车中体型最大、性能最强大的,可能会配备装甲以抵御机枪火力和火炮弹片。它可以安装链炮和更重的反坦克导弹,例如即将推出的联合空对地导弹(JAGM)。RCV-H最常与M1艾布拉姆斯主战坦克和M2布拉德利步兵战车并肩作战。

图8 中型机器人战斗车辆

图9 重型机器人战斗车辆

2017年,美国陆军提出了《机器人与自主系统(RAS)战略》,为开展无人作战能力建设提供了顶层规划[11]。制定RAS战略的主要目的是提高陆军与无人车之间的协作能力,其目标可以分为五点:第一,增强态势感知,借助无人车可以到达有人系统无法到达的地方,从而增加了防区外距离、生存能力和指挥官反应时间;第二,减轻士兵负荷,自主系统减轻了装备负荷,可以有效提高士兵的机动性和耐力,与此同时,RAS通过收集、组织和处理数据来促进决策制定并提升作战机动性;第三,提高运输能力,无人驾驶车辆可以将物资运送到最紧迫的需求点,为作战人员提供后勤保障;第四,提高部队机动性,陆军使用RAS可以扩大作战区域的覆盖范围,并对敌人的行动作出反应,扩大了陆军作战时间和空间;第五,保护士兵,RAS可以通过收集到的信息,计算出安全区域,在行动期间,可以将更少的士兵置于危险之中来提高士兵的生存能力[24]。

1.3 无人艇系统应用现状

水面无人艇(USV),是一种无人操作的水面舰艇,主要用于执行危险以及不适于有人船只执行的任务,配备先进的控制系统、传感器系统、通信系统和武器系统,可以执行多种战争和非战争军事任务。水面无人艇的发展相对其他无人系统平台来说较为滞后,但自主程度在不断提高,全自主型无人艇的实现还处于研究探索阶段,主要是因为一些关键技术尚需进一步提高,如智能优化技术、路径规划技术等。无人艇的出现,使人员免于现场操作,而由无人系统去执行各种危险任务(如扫雷、海盗监视和深海勘测)。因此,这些系统确实可以挽救生命。

以海上猎手(Sea Hunter)为例,如图10所示,是一种自主无人水面航行器(USV),于2016年作为DARPA反潜战连续跟踪无人船计划的一部分推出。它是一种双螺杆无人驾驶自航船,由两台柴油发动机提供动力,最高时速为50 km/h,质量为135 t,包括40 t燃料,足以进行70天的航行[25]。

现有的USV有不同程度的自主权。在最基本的层面上,USV是手动控制的,由操作员连续输入。由于USV能够自主执行基本的导航和碰撞躲避,因此,一个操作员可以同时控制多个USV。经过计算,将路径点分配给每辆无人艇,而操作员监视任务结果,并在需要时进行交互,操作员只在任务级别上工作[26]。通常来说,人类对无人艇的控制框架可以划分为三层。第一层是远程操作层,它将人类操作员的命令传递给USV。第二层是自主任务层,以碰撞物躲避任务为例,人类往往不会参与决策,由无人艇自主完成,因此,无人艇需要一些特定的算法去生成指令。第三层是任务分配层,将任务拆解成具体指令,由无人艇执行操作[27]。

2022年10月29日,在俄罗斯入侵乌克兰期间,乌克兰武装部队对塞瓦斯托波尔海军基地的俄罗斯海军舰艇进行了多艘USV攻击。俄罗斯国防部称,在八架无人机的支持下,七艘无人水面艇参与了这次袭击。这是无人水面舰艇首次在海战中使用。新闻报道称,被小型USV击中的两艘军舰、一艘俄罗斯护卫舰和一艘扫雷舰都没有受到损坏。然而,此次军事行动并非真的毫无影响,它使俄罗斯海军进入保护模式[28]。

2 理论研究现状

近年来,在人和军事系统协作的相关研究领域,国内外学者从理论研究视角出发,对人机协作问题进行了多角度的深入探索和剖析。本文通过查阅有关领域的参考文献,归纳总结出军事领域人机协作的主要研究方向,主要包括人机协作任务分配、人机交互方式、人机交互界面设计、人机协作效能评估四方面的研究内容,如图11所示。

2.1 人机协作任务分配研究

随着信息技术及智能技术的发展,人机协作任务显著增长并愈加复杂,人机任务分配成为了人机交互领域的重要研究内容。在军事领域中,人和智能机器需要相互配合、共同完成复杂的作战任务。在人机协同完成任务时,通常将复杂任务拆分成子任务,将各个子任务划分给人和机器,并确定子任务执行的优先级[10]。由于军事指挥系统等各类人机协同系统具有复杂性,人的认知负荷、人和机器的组合方式等都会对任务完成度和完成时间产生影响[10]。为了实现协作任务的最优分配方式,使人机协同系统达到最优协作效能,首先需要从人和机器的角度,分析两者的工作特点及适合的任务种类。

由表1可以看出,人和机器在可靠性、可持续性、灵活性、感知能力、准确性等方面均有不同之处,人和机器的工作特点直接影响了任务分配方式。通过对人和机器的工作特点进行对比,结合机器的稳定性和可持续性,以及操作者的认知能力和灵活性,归纳出人和机器分别适合的任务种类,以发挥人和机器的最大操作优势,结果如表2所示。

表1 人机工作特点对比[10]

Tab.1 Comparison of working characteristics between human and machine[10]

表2 人和机器适合的任务种类[10]

Tab.2 Types of tasks applicable to human and machine[10]

近年来,国内外研究者通过分析人机协作系统中人和智能机器的功能特点,依据分配原则或数学模型将系统中的协作任务合理地分配给人和智能机器,进而准确划分人和机器的分工。人机协作任务分配领域的代表性研究进展见图12。

图12 人机协作任务分配领域的代表性研究进展[29-30,32,34]

国外部分学者依据自动化控制程度设计了人机协作任务分配模式,并在无人机等军事系统中进行了应用和评估。Bevacqua等[29]构建了应用于搜救任务场景的人和多无人机协作系统,并设置了手动控制、混合主动和完全自主控制模式对系统性能进行评估,多机器人和单机器人监控系统见图12a。Schmitt等[30]针对飞行员的状态变化,建立了规范策略模型,将多车辆规划任务交付给自动化系统,并在军事驾驶团队中进行了应用验证,规划策略模型的结构见图12b。Idris等[31]应用Petri网对飞行员和驾驶舱的分离保证功能进行了任务分析,基于各功能的三个行为级别:技能、规则和知识水平,将其划分为相应的自动化等级。Wang等[32]在多无人机监督系统中,设计了自主、跟随和混合主动行动选择三种人机协作模式,实验结果表明混合主动行动选择模式优于其他两种模式,人- 无人机协同任务环境见图12d。

除此之外,一些学者还综合考虑了人的认知状态等因素,验证了分配方式对操作者态势感知及任务执行效率的影响。Hogenboom等[33]提出了船舶动态定位系统的功能分配模型,分析了当前控制功能的分配方式及其对操作员态势感知的影响,最后针对控制功能分配提出了相关建议。Zhao等[34]提出了一种认知模型,该模型使用情境模糊认知图并根据任务特性和人的认知状态来动态调整人和无人机的自主水平,结果表明该模型能够提高操作者的工作效率,适应性学习的认知模型见图12c。

在国内,一些学者对无人机、舰艇等军事系统的任务进行了分析,实现了人机功能的动态分配。崔波等[35]基于人机交互的Agent思想,提出了自适应人机功能分配机制,并对无人机地面站进行了应用探索。汪汇川等[36]构建了基于FAHP法的人机功能分配模型,分析了舰艇模拟系统中人和机各自适合的任务范围,成功提升了模拟训练效果。李珍等[37]结合操作者和飞机的交互信息及认知-感知特性,提出了人机功能权衡分配模型,有效地提高了作战环境下的人机协作效率。付亚芝等[38]采用模糊聚类算法,提出了基于非合作博弈理论的人机功能动态分配方法,验证了其在民航机执行任务环境下的可靠性。

上述军事领域中人机协作任务分配的大量研究表明,自动化控制程度和人的认知状态是人机协作任务分配的重要理论依据。此外,分配方式会直接影响系统综合性能及人的执行效率。因此,国内外学者关于人机协作任务分配的研究成果,为未来操作员和军事系统的协同作业提供了理论参考,也为人机协作效率及作战效能的提升提供了可靠依据。

2.2 人机交互方式研究

人机交互是人类工效学、计算机和认知心理学等多个学科交叉的重要研究领域,也是工程心理学重要的研究内容。人机交互的发展进程大致经历了四个阶段:手工作业阶段、作业控制语言及命令交互语言阶段、图形用户界面阶段、网络用户界面阶段。如今,人机交互正朝着多通道、多媒体的智能人机交互方向发展,比任何时期都更智能、更自然、更实体、更拟人化。

Kancler等[39]为考察语音头部综合控制(Voice Head Integrated Control,VHIC)硬件的头部跟踪功能和语音识别功能,以C-141空军预备队的飞机维修员为研究对象,通过验证语音命令词汇,对VHIC硬件进行评估。得出该硬件的用户策略符合屏幕界面特征,符合用户对计算机的体验水平,并且就VHIC系统在飞机维修环境中的战略应用提出了一系列建议。

Li等[40]对20名研究对象与系统的交互情况进行了统计分析,把传统显示屏(Primary Flight Display,PFD)与增强可视化飞行显示器交互功能相比较,如图13。研究结果表明,最新的增强可视化飞行显示器(PFD)可以提高飞行员的态势感知能力,减少感知工作量,从而缩短认知信息处理的响应时间。

Cai等[41]提出了一种改进的动态时间规整(Improved Dynamic Time Warping,IDTW)算法来获得最终的动态手势识别结果。实验结果表明,其提出的动态手势识别算法不仅实现了高于96.5%的平均识别率和更快的响应时间,而且对非受控环境具有鲁棒性。

Agarwal等[42]提出了一种结合遗传算法、局部搜索技术和并行计算的混合结构设计与优化方法,目的是在能够满足用户定义的设计标准的同时,最大限度地减少所需的计算时间,得到较优的桁架系统。

Sherry等[43]研究了飞行员人机交互的分析结果,该交互需要响应有代表性的现代飞行管理系统的67条系统错误消息,其中36%的信息需要飞行员迅速响应,且不受视觉提示的引导。研究证明需要精心设计消息来充分考虑人机交互的特性,并提出了优化错误消息的方法和设计指南。

Revels等[44]研究了一种经济高效的算法,以得到在与计算机系统交互时由免提控制的语音命令策略。研究以斯普林菲尔德、俄亥俄州空军国民警卫队的飞机维修人员为研究对象。该算法适用于确定语音命令和头部跟踪设备的组合使用,并能作为访问数字化飞机技术手册的用户界面。实验结果发现,对Windows接口熟悉程度高的用户容易出现点击策略,而新手则可能更多地尝试各种面向功能的语音命令,最后提出了一系列建议,解决了一个语音命令词汇表对应一个无人驾驶用户界面的策略应用问题。

Ke等[45]通过深度学习和机器视觉模型构建了视觉人机交互系统,基于Faster-RCNN-ResNET50-FPN模型结构实现了人体手指检测,通过不同手指之间的关系实现了移动鼠标和键盘的功能。同时利用MediaPipe- BlazePose进行人体姿态识别,通过人体动作间的角度建立动作分类模型,实现远程控制的控制功能。

图13 传统显示器与增强显示器交互功能的比较[40]

Jiang等[46]将传感器和人机交互应用到英语教学中,应用卡尔曼滤波对传感器信息进行改进,结合传感器定位算法对在线英语教学中的学生进行跟踪,通过骨架算法将内核转化为以腰部为坐标原点的空间直角坐标系的对应坐标,得到了虚拟现实中的人机交互骨架模型。根据英语教学人机交互的实际需要,构建了一个基于传感器和人机交互的新型英语教学系统,并对其性能进行了测试。

Anishchenko等[47]开发了一个系统,该系统包括三个基础算法:分割、标记点检测和运动方向评估,可以从用户的视频图像中直接估计其头部位置。研究表明,连接眼角和鼻尖的直线所形成的角度变化具有变化动力学特征,并且该系统能够确保运动方向(= 0.95)的高精度。

综上可知,现代智能人机交互是计算机和客户之间信息交换的桥梁,根据已经调研的资料可以看出,人机交互在发展过程中出现了不同类别的交互应用,各个国家的研究者们更关注移动式实物交互、3D交互以及人机之间协同式的交互应用。其中,国内研究者更加青睐手持显示器、透明式显示器或当前流行的移动设备。随着移动设备(如智能手机、智能平板)的普及,设备的触控界面更加灵敏,触屏也变成一种新兴的人机交互方式。

2.3 人机交互界面设计研究

在军事领域中,人机交互界面设计研究的重要性不言而喻,良好的人机交互界面设计能够提高作战效率、降低作战风险、增强军队战斗力。为了更加准确地把握战场的动态变化,对人机交互界面显示的直观性和准确性提出了更高的要求。随着计算机技术的进步,人机交互界面设计也得到了长足的发展。军用领域大量的人机交互界面也开始注重对用户体验的提升,主要体现为引入多模态交互手段、不断简化操作步骤、提高关键信息的可视化效率、降低用户的学习时间与成本[48]。

信息化是当前时代发展的主要特征,人机界面信息来源于各种不同渠道的复杂信息,为了优化复杂系统人机界面设计,许多研究正致力于提升界面设计的视觉美观性以及信息的有序性和简洁性,以提高用户获取信息的效率。王黎文等[49]基于WIMP界面范式设计研究了一种多层级联合任务规划的人机交互界面,通过将联合任务规划流程及结果信息以界面中显示元素的形式直观地展示给用户,降低了用户对任务规划操作命令和结果信息的认知难度,提升了系统工作的准确性。马超民等[50]提出了一种面向智能化制造装备的复杂信息系统人机交互界面设计模型,将传统复杂系统界面设计的功能性与以人为中心的设计理念相结合,为工业制造领域中复杂智能系统的人机交互界面设计提供了支撑和参考。研究者们通过研究用户行为、认知和心理模型等方面来了解用户的需求和习惯,进而设计出更加易于理解和使用的界面。同时,基于用户习惯和操作流程,设计出更加简单直观的界面结构和布局,以提升用户的使用体验。

人机交互过程中认知负荷的有效控制对提高交互效率、安全性和用户满意度来说具有重要意义[51]。人的认知能力是有限的,因此在设计人机交互界面时需要考虑用户的认知负荷,将信息呈现和交互操作尽可能简化,以提升界面易用性和用户体验。Sevcenko等[52]提出了一种基于理论的认知负荷测量新方法,通过眼动追踪眼睛注视频率,实现现实情况下的认知负荷测量。Tang等[53]使用事件相关电位(ERP)评估了界面复杂性对用户决策的影响,发现界面复杂性具有适合决策的特定范围,进而提出了一种在所有设计阶段快速、经济地评估核电厂接口的方法。

通过虚拟现实、增强现实、人工智能等技术来打造更加真实和智能的用户体验是当前研究的热点方向,同时,研究者们也在探索如何通过调整界面的颜色、图标、动画等元素,来增强用户的感知和情感反应,提升用户体验。张宝等[54]为了提升人机交互界面的视觉舒适性和高效性,提出了一种基于视觉感知强度的人机交互界面优化设计方法,验证了该方法适用于人机交互界面优化布置设计。Zhou等[55]通过在虚拟环境中进行虚拟手点击实验,确定了虚拟点击交互设计中的控件性能,提升了手部交互的可用性。用于多样化应用的人机界面,见图14。

图14 用于多样化应用的人机界面[56]

总的来说,人机交互界面设计的理论研究主要围绕如何提升界面的易用性、用户体验和信息获取的可靠性等方面展开,这些研究成果对军事领域中的人机协作研究来说也有重要的借鉴意义。

2.4 人机协作效能评估研究

在军事领域,人机协作多出现在无人机、无人车等智能集群作战系统中,对其作战效能评估的研究成果相对较少。受实际作战环境复杂多变的影响,作战效果的不确定因素较多,因此通过大量实验进行人机协作效能评估所需的成本较高,所以往往采用一系列相关的评估方法对其效能进行分析与评价[57]。

以美国为例,美军自20世纪以来,以智能无人机集群作战相关技术为核心,开展了多项研究项目,如何科学地评估无人系统的作战效能显得极为关键。20世纪中后期,美国Levis等[58]提出了SEA系统效能分析法,其本质是比较系统运行轨迹和使命轨迹,最后得出结论:重合率与系统性能正相关;1995年,美国Brown[59]使用任务完成度来代表特定环境中作战飞机的效能;21世纪,在美国的《空军2025》研究报告中,美国空军大学提出有必要对未来空中武器装备发展项目进行评价[60]。

英语阅读不仅仅是在阅读中明白每个单词的意思就可以了,很多情况下,有的学生即便认识某个句子中的所有单词,但仍不明白句子的意思,这是因为句子中存在着大量的非谓语动词、各种复杂的句型等知识结构,如果不掌握英语句法,是很难理解长句、难句的意思的。目前高职院校的很多学生在句法知识方面表现得比较薄弱,很多学生不懂句子结构、句子成分等,甚至有些学生学了多年的英语还分不清主语、谓语、宾语、各种从句等。这些基本的句法知识在高中时候就已经被老师重复了多少遍,步入高职院校的学生俨然成为英语学习中的“老手”,但是依然找不到英语的“春天”。

近年来,国内对无人机集群作战的评估也取得了一定的成果。屈高敏等[61]以对地攻击型无人机群协同作战为例,引入协同效能影响因子代表多载荷之间的关系,构建了效能影响模型,如图15所示。陈亮[62]建立了攻击型无人机作战效能评估指标体系及综合指标模型。张阳等[63]基于OODA环分析了无人机协同作战中每个阶段的效能影响因素,研究了无人机协同作战效能的评估体系,通过实验对其可靠性进行了验证。陈侠等[64]以ADC模型为出发点,引入保障度与突发因素,总结了适合体系作战的侦察无人机作战效能评估改进模型。

综合以上学者对无人机集群作战效能的研究,必须采用恰当的效能指标对其进行评价,其往往需要专业人员的协商交流,并符合针对性、敏感性、可用性的原则。其中,针对性是指针对研究的特定问题,完成相应军事任务的能力;敏感性是指该指标应对作战条件、作战任务等相对敏感;可用性是指该指标应具有明确的物理意义,方便使用模型求解,便于计算[65]。

图15 对地攻击型无人机效能指标体系[61]

目前国内外学者在不同场景下构建出了各种适用于军事作战的人机协作效能评估体系,为未来面对更加复杂的战场局面提供了参考与借鉴。

3 研究发展趋势

3.1 考虑人员行为和任务时序的人机任务分配

人与计算机之间的任务分配是实现复杂人机系统控制的基础,当前复杂人机任务分配的求解方法主要为集中式任务分配策略和分布式任务分配策略两种。其中,集中式人机任务分配策略虽然能够生成比分布式任务分配策略更优、更精确的解,而且在相同条件下计算机的计算负荷比分布式任务分配策略更小,但是集中式任务分配策略产生的最优解却依赖于计算机中心节点的灵敏度及其与具体操作者之间是否进行了有效的通信。因此,目前为了提高复杂人机任务分配求解效率,规避集中式任务分配策略求解框架中存在的中央节点计算机计算负荷大、人机系统的鲁棒性差等缺陷,分布式人机任务分配策略正在逐渐成为学术界关注的热点。

如今,越来越多的国内外研究者会采用拍卖算法来协调考虑人员行为和任务时序的复杂人机任务分配,见图16。研究者利用拍卖算法高精度的计算结果和高效率的计算时间,充分借助拍卖算法对不确定态势感知的鲁棒性以及一致性算法对网络拓扑的鲁棒性[66],为复杂人机多任务分配问题提供了更加可行的、与实际没有冲突的解。

图16 拍卖算法计算框架[66]

3.2 人与无人集群的多模态智能交互

随着现代科学技术的发展,人机交互技术已经不满足于简单的命令字符和图形画面的点击交互,逐渐进入了多通道融合交互阶段,在图形界面的基础上,逐渐引入虚拟显示、语音交互、手势交互、脑机接口等新型交互技术,具备更加丰富的显示输出资源,极大地增强了控制输入能力。相对于单人单机的交互,人与无人集群的交互往往更加复杂,为了保证人与大规模无人集群交互的安全性和成本要求,对交互效率和准确性提出了更高的要求。而通过多通道融合能够更加准确高效地实现人机交互,弥补单通道识别的不足与缺陷。因此,越来越多的研究希望通过文字、视觉、动作等多模态的人机交互方法来提高交互效率、提升交互准确性。

基于手势的自然交互系统是最直观的系统类型。手势识别技术提供了一个简单、快速、高效的人机交互环境,操作员可以通过简单的手势向目标系统发出指令;基于语音的自然交互系统则提供了更好的系统控制,语音识别功能让用户能够通过口语与系统进行自然交流。这些交互方法可以显著提高人机交互的效率和舒适性。苏翎菲等[67]构建了基于语音和手势的双模型交互框架,提出了一种基于通道切换的通道融合机制,实现了人与无人机集群多模态交互,见图17。Xiang等[68]融合了语音和手势两种输入模式,实现了对无人机群的高效控制。Chen等[69]设计了一个基于增强现实的多通道HSI系统,通过增强现实显示通道、三维手势交互通道、自然语言指令通道补充交互信息,有效降低了单个交互通道的负载,提高了人与群机器人的交互效率。

脑机接口(BCI)允许用户通过解码大脑信号来控制外部设备[70],未来脑电图(EEG)可能成为识别并反映用户意图的重要工具,基于脑机接口和脑电图的人机交互被广泛应用于机械臂、轮椅和无人机等机器中。2015年,Karavas等[71]通过从脑电图信号中得出与事件相关的电位,验证了与大脑功能相关的群体行为的感知和表达,为集群控制和认知界面的设计提供了依据。2017年,Karavas等[72]设计了一种结合脑电信号和操纵杆输入的混合脑机接口系统,初步展示了使用脑电信号控制机器人群体行为的可能性。Lee等[73]通过运动意象、视觉意象和语音意象刺激大脑产生的特征性脑电信号初步实现了对无人机群的控制,见图18。

多模态智能交互将成为未来人与无人集群交互的主流形态,多通道结合的信息交流将改变操作员与指控系统互动的方式,大幅度提升交互的准确性、可靠性和便利性,重新定义操作员与指控系统的关系,实现人与无人集群的高效交互。

图17 基于语音识别的无人机集群编队实现机制整体算法[67]

图18 获取与无人机群任务控制相关的脑电数据的示例实验[73]

3.3 基于人机协作的智能态势认知研究

态势认知,是在多信息和态势要素感知的基础上对战场态势的感知、判断与预测。态势认知是指挥控制活动从信息域迈向认知域的关键标志。

彭文成等[74]分析了战场态势要素构成,包括敌情态势信息、我情态势信息与战场环境信息,并将每个要素进行进一步的划分。Kokar等[75]分析了人机协作完成目标任务的过程,并指出了提高态势认知与完成目标任务能力的途径。Mcguinness[76]提出了一种态势认知量化分析的评价方法,利用信号检测理论对态势认知主体进行评价。Saner等[77]提出了一种基于个体态势认知相似度的评分方法,给出了提升群体共享态势认知准确性的方法。Stewart等[78]通过在空战模拟场景中采集的数据,构建了用于识别关键智能对象的命题网络,证明了个体态势认知对系统整体认知的关键作用。Gao等[79]结合无人机群协作参与的特点,分析了群体分布式合作方法的本质,提出了基于态势认知共识的群体分布式合作方法,可进一步分为情境感知共识和情境理解共识,如图19所示。

图19 基于情境感知共识与情境理解共识的合作方法[79]

为应对战场中的智能态势认知挑战,应以人机协作为基石,结合概率统计、现代控制理论、最优化理论进行智能态势认知研究,未来的研究方向主要包括基于人机交互的态势认知可视化以及基于人机协作的指挥员意图理解与学习[80]。

4 结语

在人工智能等高新技术飞速发展的科技现状下,军事领域的作战系统逐步面向智能化、信息化发展。然而,也应当看到,目前的自动化系统还未达到完全的自主化和智能化,人类仍是作战体系中不可或缺的角色。因此,探寻科学可行的人机协作模式是相关研究领域的重要突破方向。本文从应用视角出发,梳理了无人系统中人机协作的应用现状;从理论视角出发,分析了国内外学者的研究方向和热点问题;对军事领域下人机协作的未来发展趋势进行了展望,以期为军事人机协作系统的理论研究和转型升级提供探索方向。

基于对当前军事领域人机协作研究现状的分析,本文梳理了未来的发展趋势,并得出以下结论:(1)人机协作模式已广泛应用于无人机、无人车、无人艇等武器作战平台,将人员行为和任务时序纳入人机任务分配理论层面,对实现人机协作体系的资源合理利用及充分配置具有重要的推进作用;(2)研究多模态智能交互技术,实现虚拟显示、语音交互、手势交互、脑机接口等新型交互技术的多通道融合,是实现未来人与无人集群高效交互的重要手段;(3)智能态势认知是信息化战场在指挥控制活动中面临的挑战,基于人机交互的态势认知可视化以及基于人机协作的指挥员意图理解与学习是未来的重要研究方向。

[1] KLIEN G, WOODS D D, BRADSHAW J M, et al. Ten Challenges for Making Automation a "Team Player" in Joint Human-Agent Activity[J]. IEEE Intelligent Systems, 2004, 19(6): 91-95.

[2] LEWIS M, WANG J, SCERRI P. Teamwork Coordination for Realistically Complex Multi Robot Systems[C]. Proceedings of NATO Symposium on Human Factors of Uninhabited Military Vehicles as Force Multipliers, 2006.

[3] 贾凡. 面向多智能体的人机协同航迹规划技术研究[D]. 长沙: 国防科学技术大学, 2016. JIA Fan. Research on Human-automation Collaborative Path Planning for Multi-agent[D]. Changsha: National University of Defense Technology, 2016.

[4] 单月晖. 智能化人机协同作战发展研究[C]//第九届中国指挥控制大会论文集. 北京, 2021: 219-223. SHAN Yue-hui. Research on the Development of Intelligent Man-Machine Cooperative Combat [C]// Proceedings of the 9th China Command and Control Congress. Beijing, 2012: 219-223.

[5] 徐文. 美国面向未来威胁的作战无人机[J]. 飞航导弹, 2003(11): 1-4. XU Wen. American Combat Drones Facing Future Threats[J]. Winged Missiles Journal, 2003(11): 1-4.

[6] BARNES M J, CHEN J Y C, JENTSCH F. Soldier Interactions With Aerial and Ground Robotic Systems in Future Military Environments[C]. Proceedings of NATO Conference on the Human Factors of Uninhabited Military Systems, 2006.

[7] 胡月. 有人/无人机协同作战任务分配与航迹规划研究[D]. 南京: 南京航空航天大学, 2020. HU Yue. Research on Mission Assignment and Flight Path Planning of Manned/unmanned Aerial Vehicles Cooperative Operations[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

[8] 刘大学, 殷广川, 黄元浩. 基于人机混合智能的无人平台设计[J]. 控制与信息技术, 2018(6): 27-31, 43. LIU Da-xue, YIN Guang-chuan, HUANG Yuan-hao. Design of Ground Unmanned Platform Based on Human-Machine Hybrid Intelligence[J]. Control and Information Technology, 2018(6): 27-31, 43.

[9] 孙宇祥, 周献中, 徐爽, 等. 智能指挥与控制系统人机混合模型研究[J]. 火力与指挥控制, 2020, 45(12): 80-86. SUN Yu-xiang, ZHOU Xian-zhong, XU Shuang, et al. Research on Man-Machine Hybrid Model of Intelligent Command and Control System[J]. Fire Control & Command Control, 2020, 45(12): 80-86.

[10] 南函池. 考虑工作胜任度的人机协同任务分配模型与人机协作策略研究[D]. 杭州: 杭州电子科技大学, 2020. NAN Han-chi. Research on Human-machine Cooperative Task Assignment Model and Human-machine Cooperation Strategy Considering Job Competency[D]. Hangzhou: Hangzhou Dianzi University, 2020.

[11] 王耀南, 安果维, 王传成, 等. 智能无人系统技术应用与发展趋势[J]. 中国舰船研究, 2022, 17(5): 9-26. WANG Yao-nan, AN Guo-wei, WANG Chuan-cheng, et al. Technology Application and Development Trend of Intelligent Unmanned System[J]. Chinese Journal of Ship Research, 2022, 17(5): 9-26.

[12] BARNHART R K, HOTTMAN S B, MARSHALL D M, et al. Introduction to Unmanned Aircraft Systems[J]. Photogrammetric Engineering & Remote Sensing, 2012, 82(2): 89-92.

[13] BLOM J D. Unmanned Aerial Systems: A Historical Perspective[M]. Kansas: Combat Studies Institute, 2010.

[14] EHRHARD T P. Airforce UAVs–the Secret History[M]. Washington: Mitchell Institute, 2010.

[15] BEŇO V, ADAMČÍK Jr F. Unmanned Combat Air Vehicle: Mq-9 Reaper[J]. Brasov, 2014(3): 22-24.

[16] 范彦铭. 无人机的自主与智能控制[J]. 中国科学: 技术科学, 2017, 47(3): 221-229. FAN Yan-ming. Autonomous and Intelligent Control of the Unmanned Aerial Vehicle[J]. Scientia Sinica (Technologica), 2017, 47(3): 221-229.

[17] KONERT A, BALCERZAK T. Military Autonomous Drones (UAVs)-from Fantasy to Reality. Legal and Ethical Implications[J]. Transportation Research Procedia, 2021, 59: 292-299.

[18] HERNANDEZ J. A Military Drone With A Mind Of Its Own Was Used In Combat[EB/OL]. (2021-06-01)[2023- 01-06]. https://www.npr.org/2021/06/01/1002196245/a- u-n-report-suggests-libya-saw-the-first-battlefield-killing- by-an-autonomous-d.

[19] MIZOKAMI K. The Army's Robotic Combat Vehicles Will Invoke WWII's 'Ghost Army[EB/OL]. (2021-08-03) [2023-01-06]. https://www.popularmechanics.com/mili­tary/weapons/a37202757/army-robotic-combat-vehicles- ghost-army/.

[20] Robotic Combat Vehicle–Light (RCV-L)[EB/OL]. (2022- 06-09)[2023-01-06]. https://www.army-technology.com/ projects/robotic-combat-vehicle-light-rcv-l/.

[21] CAMACHO M S. Innovative Israeli Robotic Combat Vehicle Could Be the Future Of Ground Warfare[EB/ OL]. (2022-07-29)[2023-01-06]. https://www.thein­fo­graphicsshow.com/medium-robotic-combat-vehicle/.

[22] ROQUE A. Us Army Conducts First RCV-M Live-Fire Testing[EB/OL]. (2021-08-06)[2023-01-06]. https://www. janes.com/defence-news/news-detail/us-army-conducts-first-rcv-m-live-fire-testing.

[23] BLOKHIN A, KOSHURINA A, KRASHENINNIKOV M, et al. The Analytical Review of the Condition of Heavy Class Military and Dual-Purpose Unmanned Ground Vehicle[J]. MATEC Web of Conferences, 2015, 26: 04002.

[24] UPPAL R. US Army’s Robotic and Autonomous System (RAS) Strategy for gaining overmatch in future high- intensity conflicts[EB/OL]. (2021-03-09)[2023-01-06]. https://idstch.com/military/army/us-armys-robotic-and-autonomous-systems-ras-strategy/.

[25] NJUS E. The Military'S Oregon-Built Drone Ship Is Headed To California[EB/OL]. (2016-04-07)[2023-01- 06]. https://www.oregonlive.com/business/2016/04/sea_ hunter_the_militarys_orego.html.

[26] TANAKITKORN K. A Review of Unmanned Surface Vehicle Development[J]. Maritime Technology and Research, 2019, 1(1): 2-8.

[27] ZHUANG Jia-yuan, ZHANG Lei, QIN Zi-he, et al. Motion Control and Collision Avoidance Algorithms for Unmanned Surface Vehicle Swarm in Practical Maritime Environment[J]. Polish Maritime Research, 2019, 26(1): 107-116.

[28] OZBERK T. Analysis: Ukraine Strikes With Kamikaze USVs – Russian Bases Are Not Safe Anymore[EB/OL]. (2022-10-31)[2023-01-06]. https://www.navalnews.com/ naval-news/2022/10/analysis-ukraine-strikes-with-kamikaze- usvs-russian-bases-are-not-safe-anymore/.

[29] BEVACQUA G, CACACE J, FINZI A, et al. Mixed- Initiative Planning and Execution for Multiple Drones in Search and Rescue Missions[J]. Proceedings of the International Conference on Automated Planning and Scheduling, 2015, 25: 315-323.

[30] SCHMITT F, SCHULTE A. Mixed-Initiative Mission Planning Using Planning Strategy Models in Military Manned-Unmanned Teaming Missions[C]//2015 IEEE International Conference on Systems, Man, and Cyber­netics. Hong Kong, China. IEEE, 2016: 1391-1396.

[31] IDRIS H, ENEA G, LEWIS T A. Function Allocation between Automation and Human Pilot for Airborne Separation Assurance[J]. IFAC-PapersOnLine, 2016, 49(19): 25-30.

[32] WANG Chang, WU Li-zhen, YAN Chao, et al. Coactive Design of Explainable Agent-Based Task Planning and Deep Reinforcement Learning for Human-UAVs Teamwork[J]. Chinese Journal of Aeronautics, 2020, 33(11): 2930-2945.

[33] HOGENBOOM S, ROKSETH B, VINNEM J E, et al. Human Reliability and the Impact of Control Function Allocation in the Design of Dynamic Positioning Systems[J]. Reliability Engineering & System Safety, 2020, 194: 106340.

[34] ZHAO Zhe, NIU Yi-feng, SHEN Lin-cheng. Adaptive Level of Autonomy for Human-UAVs Collaborative Surveillance Using Situated Fuzzy Cognitive Maps[J]. Chinese Journal of Aeronautics, 2020, 33(11): 2835- 2850.

[35] 崔波, 王崴, 瞿珏, 等. 无人机地面站自适应人机功能分配机制探讨[J]. 飞航导弹, 2016(4): 52-54, 88. CUI Bo, WANG Wei, QU Jue, et al. Discussion on Adaptive Man-Machine Function Allocation Mechanism of UAV Ground Station[J]. Aerodynamic Missile Journal, 2016(4): 52-54, 88.

[36] 汪汇川, 宁云晖, 陶伟, 等. 基于FAHP的舰艇模拟训练系统人机功能分配[J]. 指挥控制与仿真, 2018, 40(5): 37-40. WANG Hui-chuan, NING Yun-hui, TAO Wei, et al. Man-Machine Function Allocation of Naval Ships Simulation Training System Based on FAHP[J]. Command Control & Simulation, 2018, 40(5): 37-40.

[37] 李珍, 武恒州, 殷毅, 等. 一种战斗机人机功能分配方法[J]. 飞机设计, 2020, 40(4): 1-6, 34. LI Zhen, WU Heng-zhou, YIN Yi, et al. A Method of Human-Machine Function Allocation for Fighter Plane[J]. Aircraft Design, 2020, 40(4): 1-6, 34.

[38] 付亚芝, 郭进利. 基于非合作博弈的动态人机系统功能分配法[J]. 火力与指挥控制, 2021, 46(2): 30-34. FU Ya-zhi, GUO Jin-li. A Dynamic Method of Man- Machine System Function Allocation Based on Non- Cooperative Game Theory[J]. Fire Control & Command Control, 2021, 46(2): 30-34.

[39] KANCLER D E, GORMAN M E, REVELS A R. The Use of Voice and Head-Tracking for Hands-Free Human-Computer Interaction[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2002, 46(23): 1915-1919.

[40] LI W C, HORN A, SUN Zhen, et al. Augmented Visualization Cues on Primary Flight Display Facilitating Pilot's Monitoring Performance[J]. International Journal of Human-Computer Studies, 2020, 135: 102377.

[41] CAI Lin-qin, CUI Shuang-jie, XIANG Min, et al. Dynamic Hand Gesture Recognition UsingRGB-D Data for Natural Human-Computer Interaction[J]. Journal of Intelligent & Fuzzy Systems, 2017, 32(5): 3495-3507.

[42] AGARWAL P, RAICH A M. Design and Optimization of Steel Trusses Using Genetic Algorithms, Parallel Computing, and Human-Computer Interaction[J]. Structural Engineering and Mechanics, 2006, 23(4): 325-337.

[43] SHERRY L, FENNELL K, FEARY M, et al. Human- Computer Interaction Analysis of Flight Management System Messages[J]. Journal of Aircraft, 2006, 43(5): 1372-1376.

[44] REVELS A R, KANCLER D E, QUILL L L, et al. Determining Voice Strategies for Hands-Free Human- Computer Interaction[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2001, 45(24): 1704-1708.

[45] KE Zi-yi, CHEN Zi-qiang, WANG Huan-lei, et al. A Visual Human-Computer Interaction System Based on Hybrid Visual Model[J]. Security and Communication Networks, 2022, 2022: 1-13.

[46] JIANG Shuai, WANG Lei, DONG Yuan-yuan. Application of Virtual Reality Human-Computer Interaction Technology Based on the Sensor in English Teaching[J]. Journal of Sensors, 2021, 2021: 1-10.

[47] ANISHCHENKO S I, OSINOV V A, SHAPOSHNIKOV D G. Assessment of Human Head Pose in Human- Computer Interaction[J]. Pattern Recognition and Image Analysis, 2012, 22(4): 541-545.

[48] XU Jian-dong, LI Xiao-shi, CHANG Hao, et al. Electrooculography and Tactile Perception Collaborative Interface for 3D Human–Machine Interaction[J]. ACS Nano, 2022, 16(4): 6687-6699.

[49] 王黎文, 周同乐, 吴庆宪. 多层级联合任务规划人机交互界面设计研究[J]. 工业控制计算机, 2021, 34(9): 25-27, 30. WANG Li-wen, ZHOU Tong-le, WU Qing-xian. Design of Human Computer Interaction Interface of Multi- Layer Joint Mission Planning[J]. Industrial Control Com­puter, 2021, 34(9): 25-27, 30.

[50] 马超民, 赵丹华, 辛灏. 基于用户体验的智能装备人机交互界面设计[J]. 计算机集成制造系统, 2020, 26(10): 2650-2660. MA Chao-min, ZHAO Dan-hua, XIN Hao. Human- Machine Interaction Interface Design of Intelligent Equipment Based on User Experience[J]. Computer Integrated Manufacturing Systems, 2020, 26(10): 2650- 2660.

[51] 贺孝梅, 何世杰, 邵将. 认知负荷在人机交互中的研究现状与发展趋势[J/OL]. 计算机集成制造系统(2022- 10-11)[2023-01-06]. http://kns.cnki.net/kcms/detail/11. 5946.TP.20221011.1404.004.html. HE Xiao-mei, HE Shi-jie, SHAO Jiang. Current Research Status and Development Trend of Cognitive Load in Human-computer Interaction[J/OL]. Computer Integrated Manufacturing Systems(2022-10-11)[2023-01-06]. http://kns.cnki.net/kcms/detail/11.5946.TP.20221011.1404. 004.html.

[52] SEVCENKO N, APPEL T, NINAUS M, et al. Theory- Based Approach for Assessing Cognitive Load during Time-Critical Resource-Managing Human-Computer In­teractions: An Eye-Tracking Study[J]. Journal on Mu­ltimodal User Interfaces, 2023, 17(1): 1-19.

[53] TANG Wen-zhe, CHEN Shan-guang, XUE Cheng-qi, et al. Influence of Nuclear Power Plant Interface Com­plexity on User Decision-Making: An ERP Study[J]. Ergonomics, 2022: 1-19.

[54] 张宝, 丁敏, 李燕杰. 基于视觉感知强度的人机交互界面优化设计[J]. 中国机械工程, 2016, 27(16): 2196- 2202. ZHANG Bao, DING Min, LI Yan-jie. Optimization Design of Human Machine Interaction Interface Based on Visual Perception[J]. China Mechanical Engineering, 2016, 27(16): 2196-2202.

[55] ZHOU Xiao-zhou, GUO Yi-bing, JIA Le-song, et al. A Study of Button Size for Virtual Hand Interaction in Virtual Environments Based on Clicking Performance[J]. Multimedia Tools and Applications, 2022, 82: 15903-15918.

[56] ZHU Ming-lu, SUN Zhong-da, ZHANG Zi-xuan, et al. Haptic-Feedback Smart Glove as a Creative Human- Machine Interface (HMI) for Virtual/Augmented Reality Applications[J]. Science Advances, 2020, 6(19): eaaz8693.

[57] 韩月明, 方丹, 张红艳, 等. 智能无人机集群协同作战效能评估综述[J]. 飞航导弹, 2020(8): 51-56. HAN Yue-ming, FANG Dan, ZHANG Hong-yan, et al. Summary of Effectiveness Evaluation of Intelligent UAV Cluster Cooperative Operation[J]. Aerodynamic Missile Journal, 2020(8): 51-56.

[58] LEVIS A H, WAGENHALS L W. C4ISR Architectures: I. Developing a Process for C4ISR Architecture Design[J]. Systems Engineering, 2000, 3(4): 225-247.

[59] BROWN K W. Measuring the Effectiveness of Weapons Systems in Terms of System Attributes[J]. British Medical Journal, 1995, 1(4): 220-222.

[60] United States Department of Defense. Unmanned Sys­tems Integrated Roadmap: Fiscal Years 2017-2042[M]. Washington D.C., 2017.

[61] 屈高敏, 董彦非, 岳源. 对地攻击型无人机作战效能评估[J]. 火力与指挥控制, 2016, 41(4): 145-149. QU Gao-min, DONG Yan-fei, YUE Yuan. Operational Effectiveness Evaluation of Ground Attack UCAV[J]. Fire Control & Command Control, 2016, 41(4): 145- 149.

[62] 陈亮. 体系作战条件无人机作战效能评估模型[J]. 舰船电子工程, 2016, 36(7): 124-127, 160. CHEN Liang. UAV Operational Effectiveness Evaluation Model in System Combat[J]. Ship Electronic Engineering, 2016, 36(7): 124-127, 160.

[63] 张阳, 王艳正, 司光亚. 集群式电子战无人机的OODA作战环分析与建模[J]. 火力与指挥控制, 2018, 43(8): 31-36. ZHANG Yang, WANG Yan-zheng, SI Guang-ya. Analysis and Modeling of OODA Circle of Electronic Warfare Group UAV[J]. Fire Control & Command Control, 2018, 43(8): 31-36.

[64] 陈侠, 胡乃宽. 基于APSO-BP神经网络的无人机空地作战效能评估研究[J]. 飞行力学, 2018, 36(1): 88-92. CHEN Xia, HU Nai-kuan. Research on Effectiveness Evaluation of UAV Air-to-Ground Attack Based on APSO-BP Neural Network[J]. Flight Dynamics, 2018, 36(1): 88-92.

[65] 王光源, 孙涛, 毛世超, 等. 基于任务协同的有人机/无人机对海攻击作战效能评估研究[J]. 海军航空工程学院学报, 2017, 32(5): 491-495. WANG Guang-yuan, SUN Tao, MAO Shi-chao, et al. Research on Effectiveness Assessment for Attack Against Maritime Targets of Manned/Unmanned Vehicles Based on Mission Cooperative[J]. Journal of Naval Aeronautical and Astronautical University, 2017, 32(5): 491-495.

[66] 颜骥, 李相民, 刘波. 考虑时序约束的多智能体协同任务分配[J]. 控制与决策, 2015, 30(11): 1999-2003. YAN Ji, LI Xiang-min, LIU Bo. Multi-Agents Cooperative Task Allocation with Precedence Constrains[J]. Control and Decision, 2015, 30(11): 1999-2003.

[67] 苏翎菲, 化永朝, 董希旺, 等. 人与无人机集群多模态智能交互方法[J]. 航空学报, 2022, 43(S1): 727001. SU Ling-fei, HUA Yong-zhao, DONG Xi-wang, et al. Human-UAV Swarm Multi-Modal Intelligent Interaction Methods[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(S1): 727001.

[68] XIANG Xiao-jia, TAN Qin, ZHOU Han, et al. Multimodal Fusion of Voice and Gesture Data for UAV Control[J]. Drones, 2022, 6(8): 201.

[69] CHEN Ming-xuan, ZHANG Ping, WU Ze-bo, et al. A Multichannel Human-Swarm Robot Interaction System in Augmented Reality[J]. Virtual Reality & Intelligent Hardware, 2020, 2(6): 518-533.

[70] WOLPAW J R, BIRBAUMER N, HEETDERKS W J, et al. Brain-Computer Interface Technology: A Review of the First International Meeting[C]//IEEE Transactions on Rehabilitation Engineering. IEEE, 2002: 164-173.

[71] KARAVAS G K, ARTEMIADIS P. On the Effect of Swarm Collective Behavior on Human Perception: Towards Brain-Swarm Interfaces[C]//2015 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI). San Diego, CA, USA. IEEE, 2015: 172-177.

[72] KARAVAS G K, LARSSON D T, ARTEMIADIS P. A Hybrid BMI for Control of Robotic Swarms: Preliminary Results[C]//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vancouver, BC, Canada. IEEE, 2017: 5065-5075.

[73] LEE D H, JEONG J H, AHN H J, et al. Design of an EEG-Based Drone Swarm Control System Using Endogenous BCI Paradigms[C]//2021 9th International Winter Conference on Brain-Computer Interface (BCI). Gangwon, Korea (South). IEEE, 2021: 1-5.

[74] 彭文成, 郭东明, 李林希. 基于态势描述的机步团作战仿真决策活动模型研究[J]. 兵器装备工程学报, 2017, 38(1): 24-28. PENG Wen-cheng, GUO Dong-ming, LI Lin-xi. Research on Decision Activities Model of Operational Simulation of Mechanized Infantry Regiment Based on Situation Description[J]. Journal of Ordnance Equipment Engineering, 2017, 38(1): 24-28.

[75] KOKAR M M, ENDSLEY M R. Situation Awareness and Cognitive Modeling[J]. IEEE Intelligent Systems, 2012, 27(3): 91-96.

[76] MCGUINNESS B. Quantitative Analysis of Situational Awareness (quasa): Applying Signal Detection Theory to True/false Probes and Self-ratings [C]//2004 Command and Control Research and Technology Symposium. Bristol: Human Factor Department Advanced Technology Centre, 2004: 219—224.

[77] SANER L D, BOLSTAD C A, GONZALEZ C, et al. Measuring and Predicting Shared Situation Awareness in Teams[J]. Journal of Cognitive Engineering and Decision Making, 2009, 3(3): 280-308.

[78] STEWART R, STANTON N A, HARRIS D, et al. Distributed Situation Awareness in an Airborne Warning and Control System: Application of Novel Ergonomics Methodology[J]. Cognition, Technology & Work, 2008, 10(3): 221-229.

[79] GAO Yang, LI Dong-sheng. Unmanned Aerial Vehicle Swarm Distributed Cooperation Method Based on Situa­tion Awareness Consensus and Its Information Proces­sing Mechanism[J]. Knowledge-Based Systems, 2020, 188: 105034.

[80] 李婷婷, 刁联旺, 王晓璇. 智能态势认知面临的挑战及对策[J]. 指挥信息系统与技术, 2018, 9(5): 31-36. LI Ting-ting, DIAO Lian-wang, WANG Xiao-xuan. Challenges and Countermeasures of Intelligent Situation Awareness[J]. Command Information System and Tech­nology, 2018, 9(5): 31-36.

Human-machine Collaboration in the Military Field

NIU Jian-wei, AN Yue-qi, LI Han, GAO Wei-feng, YAN Zheng-quan, DONG Ming-yu

(School of Mechanical Engineering, University of Science and Technology Beijing, Beijing 100083, China)

The work aims to summarize and analyze the current application status and theoretical status of human-machine collaboration in the military field and point out the future development trend, so as to provide theoretical directions for the technical development and design research of human-machine collaborative military systems. The current application status of human-machine collaboration in the military field was analyzed with the practical application scenarios of unmanned aircraft systems, unmanned vehicles and unmanned boats as representatives. Then, the research progress of human-machine collaborative task allocation, human-machine interaction methods, human-machine interaction interface design and human-machine collaborative effectiveness evaluation in China and abroad was analyzed in the military context. The future research trends were summarized by synthesizing the current status of the previous research. From the current status, hotspots and trends of Chinese and international research, it is concluded that the task allocation of human-machine collaboration needs to take into account factors such as personnel behavior and task timing, with the goal of improving the efficiency of human-machine collaboration, and exploring a better allocation model. The multimodal intelligent interaction will become the mainstream form of human-unmanned cluster interaction in the future, and the combined multi-channel information exchange will change the way for operators to interact with the accusation system, realizing the efficient human-unmanned cluster interaction. The situational awareness is a challenge for the future intelligent battlefield, and human-machine collaboration has laid the foundation for research in the field of intelligent situational awareness.

military; human-machine collaboration; human-machine cooperation

TB472

A

1001-3563(2023)10-0024-16

10.19554/j.cnki.1001-3563.2023.10.003

2023–01–14

钮建伟(1977—),男,博士,教授,主要研究方向为人机混合智能、人机工程、人机协作。

责任编辑:马梦遥

猜你喜欢

人机无人协作
人机“翻译员”
从内到外,看懂无人机
团结协作成功易
无人战士无人车
反击无人机
协作
诗到无人爱处工
无人超市会流行起来吗?
“人机大战”人类智慧遭遇强敌
未来深空探测中的人机联合探测