工业系统的智能交互模式及人因工效研究综述

吴晓莉，方泽茜，刘潇，韩炜毅，杜婧银，陈玉风，李琦桉

（1.南京理工大学 工业互联网研究院，南京 210094；2.南京理工大学 设计艺术与传媒学院，南京 210094）

伴随大数据、CPS、物联网等“smart”技术的开发和成熟，生产制造、航空驾驶、安全监控等工业系统已进入第四次工业革命的智能转型升级。2021 年11月30 日，我国工业和信息化部连续发布了《“十四五”信息化和工业化深度融合发展规划》[1]《“十四五”软件和信息技术服务业发展规划》[2]《“十四五”大数据产业发展规划》[3]等三个产业发展规划，2025 年将全面实施工业智能，即达到人机协同、人机融合的智能交互。企业经营管理数字化普及率达80%，数字化研发设计工具普及率达85%，关键工序数控化率达68%，工业互联网平台普及率达45%。该规划重点在于新型智能产品、平台化设计、数字化管理、网络化协同、个性化定制、智能化制造、服务化延伸等新模式新业态的构建。其中“工业软件”作为新一代工业智能的心脏，成为了人、信息、物理系统的核心运作模式。

新一代工业智能面临的重大难题和严峻挑战是物理世界与信息世界的融合，关键是人、机、物的协同共生（周济[4]，2019）。日本基于CPS 信息物理系统提出了社会5.0，“人”在信息和物理环境中的互相作用和映射的重要地位被重新巩固，并特别强调操作员的执行和现场作用，即是人与信息物理系统的实时交互[5]。在中国的工业智能转型中，特别是大型生产实时调度与制造过程全流程监控、核电厂实时跟踪告警、武器装备作战指令实时传输、高铁通信指挥实时调度等重大工业，如何通过人与信息物理系统的感知融合，达成“信息高效传输和人精准决策的协同共生”，对于维系重大工业系统运行的高效性和稳定性有着举足轻重的作用，也是快速推进中国作为第四次工业革命领军者的工业智能转型升级的重要核心问题。

1 工业系统的智能化发展趋势

1.1 工业制造系统的智能化转型

在工业信息物理系统智能升级方面，周济[6]在2019 年第七届智能制造国际会议上提出“面向新一代智能制造的人—信息—物理系统”，他认为增强智能的人机混合，使得各方优势有机会充分发挥，同时互相启发作用，是对人类智慧的创新潜能的释放，有效增强了制造业的创新能力；姚锡凡[7]（2019 年）认为“人工智能+”是制造业未来发展的必然趋势，实现工业信息物理系统的纵向集成、横向集成以及端到端集成，关键是人机物深度融合的高度柔性生产系统；德国工业4.0 报告[8]指出，无论是作为参与操控员、生产计划员，亦或是维护人员和程序员，人类将持续作为生产过程中的关键角色；在服务化、虚拟化、和数字孪生[9]的支持下，可形成社会世界和物理世界的数字镜像映射，并将感知、分析判断、预测、决策能力归入其中，达成生产全流程的智能化；GIRET等人[10]（2016 年）认为当智能制造发展到一定程度后形成的智能制造系统，将以服务为主导，并伴随着消费和管理结构的全面革新；PACAUX 等人[11]（2017年）通过提高人们对正确整合智能制造系统的重视程度，提出根植于人机合作原则的解决设计方案，从而保证不同层次自动化水平在控制回路中的参与程度。

从人机交互角度分析，与系统直接交互的“人”——决策者（操作员、指挥员等具有特殊任务的执行者）、拥有“人工智能”的信息系统、物理系统，形成了智能交互模式[12]。正如美国IMS 中心提出的“未来智能工业系统”，通过信息服务传递达到“Just-intime”，从而实现“Near-zero downtime”，在完全掌控预测中将信息反馈到从设计端至产品制造端的全过程中，最终实现信息的闭环[13]，日本的IVRA[5]（左）和美国的工业互联网联盟IIRA[13]（右）见图1。可以认为，系统的运作、监管和决策完全取决于人与信息的智能交互模式，其关键在于人与系统的交互达成信息的沟通共享、实时告警、协同作业，即操作员在执行排查、调度、应急通信等任务时，完全依赖信息呈现进行感知、分析判断、预测，并作出决策[14-15]。

图1 日本的IVRA（左）和美国的工业互联网联盟IIRA（右）Fig.1 Japan’s IVRA (left) and the US Industrial Internet Alliance IIRA (right)

相比于一般工业系统，智能协同环境下的人机交互过程突显了任务执行的高难度，环境的复杂性，任务执行者将进入复杂性认知。由于工业系统信息呈现的不合理性，任务执行者或许会面临困惑的信息图符、找不到的操作程序、糟糕的信息结构、信息中断的任务执行、随机的信息干扰等，极易造成注意捕获中断、感知决策速度下降、工作记忆缺失等严重的失误行为，降低认知绩效指数[16]。由此可见，在智能工业系统的升级转型中，尤其是重大工业控制领域在生产流程、运营情况与监管角度需求的看板、多屏显示、指挥操控等智能交互模式中，若未考量用户信息获取的大脑信源解码过程，仅从技术层面升级为智能工业系统，将凸显出不可预测性与高度危险性，即使细微差错都将导致认知决策失误或任务失败，给未来工业智能带来了严重的系统隐患，工业系统的智能化转型需求见图2。

图2 工业系统的智能化转型需求Fig.2 The demand for intelligent transformation of industrial systems

1.2 航空航天领域的人机协同及智能化

在航天应用领域，NASA 从设计标准和程序的层面上确立了人—系统一体化设计要求，并提出了“人即系统”的HAAS（Human-As-A-System）设计模型和基于“设计—测试—再设计模式”的以人为中心的HCDP（Human Centered Design Philosophy）设计理念（NASA/SP-2010-3407[17]；NASA-STD-3000[18]；NASA-STD-3001[19]）。中国人因工程在航天领域的发展也取得了丰厚的成果，陈善广等人[20]（2015 年）认为，通过20 余年的科学研究与工程实践，我国已在该领域形成了一整套较为完善的人机工学评价技术、方法、程序与标准，并建立了我国独具特色的航天人因工程体系。在智能化发展模式上，人与机器如何高效协同工作是人因工效学后续研究的重点。在人与机器人间交互技术的发展中，NASA 的研究计划也提供了人与自动机器人整合项目（Human and Automation /Robotic Integration，HARI），在综合分析了以往的空间机械臂、特殊灵巧机械手（Special Purpose Dexterous Manipulator，SPDM）和机器人 2 号（Robonaut 2）等基础上，构建了与人的认知能力相符的人机功能分配的高效人机交互模型，以非侵入式态势感知和人因负荷测试作为关注重点。

在航空领域，美国联邦航空局（FAA）颁布了美国联邦航空条例（Federal Aviation Regulations,FAR）[21]，为安装在飞机座舱内的装置等制定了人因学规范，以保证飞行安全性。在人机界面交互方面，MICHAEL 等人[22]（2017 年）对新一代航空运输系统的飞行界面中的可用信息展开了评估研究，认为航空控制系统的信息表征与信息质量之间存在着显著关联；LI Wen-Chin 等人[23]（2020 年）评估了最新的增强可视化主飞行显示器（PFD）在人机交互方面和传统PFD 的差异，发现增强可视化可以提高飞行员的态势感知能力，从而缩短认知信息处理的响应时间；白杰等人[24]（2021 年）研究了平视显示器（HUD）上不同的告警位置对飞行员任务绩效、认知负荷和注意力分布的影响，为HUD 的告警设计提供了参考。在人的失误与人因可靠性分析方面，WU Xiao-li 等人[25]（2018 年）针对复杂信息界面在任务执行中造成遗漏、误读和误判的人因失误问题，对战斗机态势界面特征搜索进行实验研究，发现干扰环境和信息特征是影响雷达态势界面信息识别的重要因素。在人—系统整合设计与评估方面，NIU Ya-feng 等人[26]（2019 年）探索了战斗机飞行员在视觉和语言警戒条件下的行为和认知模式，实验结果表明视觉和语言双通道警示的表现显著高于视觉警示；刘志方等人[27]（2018 年）在测试了飞机仪表平视显示系统和下视显示系统的可用性特性及其优缺点后，发现两种显示系统的可用性特性受个人经验调整的影响；冯悦等人[28]（2020年）提出面向空间的3D 音频告警技术可以显著减轻飞行员的视觉负担，让飞行员在复杂的作战环境中获得更准确、多维、有效的态势信息，从而提高飞行作战能力。

如今，多通道人机控制技术成为智能化发展的重要方向，支持语音、按键、触控、眼动、手势等多维交互方式对机器进行控制。虽然目前手势人机交互技术和眼控人机交互技术并未真正在航空航天领域实际运用，但其自然、简单和方便的人机交互特性已引起领域内的研究潮流。多通道人机控制技术领域代表性进展[29-30]见图3。在眼控交互方面，PAVAN K 等人[29]（2020 年）开发了眼动仪与头戴显示器集成的交互技术，允许操作者通过眼动注视控制无人机摄像头，使其使用性能比遥控操作更好，基于凝视轨迹的无人机操控方案见图3a；WANG Jie 等人[30]（2021 年）设计了一种可穿戴式人机界面，通过加工人眼注视不同的物体运动输出的电信号精确操控无人驾驶航空器的运动方向，可穿戴人机界面概念说明及工作原理见图3b；马宝元等人[31]（2018 年）提出了一种眼动交互方法，将头戴式增强现实显示技术与头戴式眼动仪相结合，在增强现实显示界面中完成了人机间的眼动交互；在手势交互方面，高庆等人[32]（2018 年）针对探月机器人—航天员的手势交互问题，采用航天员辅助机器人（AAR-2）作为实验平台，构建了一种基于卷积神经网络模型的静态手势识别方法，卷积神经网络模型见图3c。

图3 多通道人机控制技术领域代表性进展Fig.3 Representative progress in the field of multi-channel man-machine control technology

1.3 工业安全监控系统的智能化发展

在工业安全监控系统研究领域，国内外学者围绕人机交互任务及其环境因素对人误的产生途径及作用机理，从预防、检测、预警与干预等多角度整合的系统安全保障理论等方面开展了广泛研究[33]，并通过建立仿真环境评估和用户认知测评，以验证人机界面设计的可靠性和安全性。随着科学技术的发展成熟，现今的核电厂主控室控制系统能够达到高度的集中化、精准化和自动化。然而，由于智能化的发展，系统界面呈现的信息量逐日剧增，操作员域与系统间的人机交互突显出任务执行的高难度和环境的复杂性，操作员进入复杂性认知。核电工业系统研究方面，CASEY R. KOVESDI 等人[34]（2020 年）指出，人因工程在美国的核电站数字化转型框架中扮演了重要的角色，通过加强技术、人员、流程的协调，将人为因素应用于核工业创新。HANYOUNG LEE 等人[35]（2018 年）根据核电厂以安全功能作为最高优先级要务的特性，提出了基于入侵容忍的网络安全指数相关概念，使用平均妥协时间（MTTC）量化估计系统对入侵的耐受程度，并对入侵事件进行建模；HYUNSOO LEE 等人[36]（2019 年）开发了基于视觉感知过程和人体测量数据变量的计算模型和包含虚拟建模和仿真框架的智能设计评审系统，为今后核电厂全数字化或部分数字化的MCR 控制台设计提供了一种可行的方法；WU Xiao-jun 等人[37]（2018 年）较为详尽地讨论了核电厂警报管理策略，尤其是警报洪水期的过滤、压缩、优先级等细节分析，并列举了现阶段应用较广泛的可视化信息展示方案和核电厂警报系统评判指标；张力等人[38]（2019 年）针对数字化核电厂的人误机理和影响模式进行了深入、系统的建模，并提出了DCS-HRA 模型及智能数据库系统，为量化性的人因失误智能预防方案设计提供了坚实的理论依据；李鹏程[39]（2021 年）为了探索性能塑造因素（PSFs）对SA、TSA 和工作负载的影响，通过模拟器实验研究了任务复杂度和操作员知识和经验水平对操作员SA、TSA 和工作负载的影响；在煤炭矿井监控系统智能化升级设计方面，FARIZ SETYANA PRATAMA 等人[40]（2019 年）使用分类系统方法（HFACS-CM）研究人为因素对煤炭矿井事故的影响，从不安全行为的水平、不安全行为的先决条件等因素出发，构建了基于HFACS-CM 模型的结构方程模型（SEM）分析导致工作场所事故的人为因素。孙林辉等人[41]（2018 年）以煤矿瓦斯监测系统为研究对象，对比监控界面中、英文两种参数呈现方式的眼动行为特征，借助眼动实验设计了两种视觉搜索任务，揭示了人在中英文两种不同语言所组织等材料中的视觉搜索规律和认知过程；杨亚格等人[42]（2018年）通过聚焦煤矿工人的操作输出、运动能力与现场事故之间的潜在联系，以矿工在多种仪器上的受伤频次作为量化指标，对其事故倾向性进行了数据上的分析。综上所述，工业安全监控系统正在逐步走向智能化，体现出人机智能交互下操作员认知绩效研究的需求，还需要从新的智能交互模式下考虑人的视觉认知规律、生理量化测评指标等。

1.4 军事指挥系统的发展变革

作为军事领域中辅助高级指挥员进行统筹计划、指挥决策、战斗指导的信息平台，指挥控制系统（Command and Control System，又称为指挥信息系统）[43]通过对各军兵种的信息综合、集成、设计和应用，使信息作为控制与指挥目标的决策基础，力求战事的代价最小化和效果最大化[44]。ALEXANDER K等人[45]（2018 年）基于指挥与控制中关于观察—方向—决定—行动（OODA）的推论，创建了OODAWN模型（Observe-Orient-Decide-Act Weighted Network），用于澳大利亚国防军（ADF）作战的持续评估和分析，提供了指挥与控制结构状态的快速转变和其演变的纵向数据；APOSTOLOS M 等人[46]（2020 年）针对C2 作战信息系统（Air Command and Control Operational Center）中的数据融合和极端现象数据问题，通过对指挥和控制雷达环境的特征进行了识别和模拟，开发了参数化多雷达网络的作战信息仿真系统。

大数据、人工智能AI、云计算、物联网等技术的发展与融合已经瞄准了未来战争。大数据、人工智能AI、云计算、物联网等技术的发展与融合已经瞄准了未来战争。指挥信息系统的交互架构[44，47]见图4。当下第四代指挥信息系统达成了新型传感器、信息共享、无人侦察、信息获取和处理等技术的有效运用，指挥系统代际更新见图4a[47]，其中智能技术和指挥与控制的相互作用，尤其在专业性的战场态势感知、情景评估和协助决策等方面的应用范围将会进一步拓宽[42]。SILVIA LU 等人[48]（2019 年）在意大利空军（ITAF）的C4I 军事系统中，讨论了磁共振成像技术的用途、应用优势、应用规范和限制标准；孙宇祥等人[44]（2020 年）基于智能指挥与控制系统在作战态势评估、方案生成与选择方案和人机融合四方面的关键技术探讨，分析了系统使用产生的新OODA 环理论，并引入了平行仿真的态势预测理念，基于人件的人机整合建模见图4b；董庆超等人[49]（2021 年）综合运用指挥信息系统本体建模技术、情景感知技术，借助UML 扩展机制，基于情景感知构建了智能指挥信息系统的一种本体建模方法。

图4 指挥信息系统的交互架构Fig.4 Interactive architecture of command information system

指挥信息系统智能化领域代表性进展见图5。态势感知（SA）作为人因工程研究领域的关键理论，是基于感知环境信息，以综合形式理解信息含义，与目标任务耦合，提供对决策制定有价值的未来状态预测的认知过程理论，态势感知信息来源见图5a，态势感知过程及涉及机制见图5b[50]。在军事领域中对态势感知理论和技术问题的深入研究，能够为指挥信息系统的设计开发、团队作战配合、作战计划的探讨制定等多方面提供参考依据[51]。AARON ROWEN 等人[52]（2021 年）通过在海上实施物理模拟实验，探讨了头戴式显示器（HMD）对操作员移动性，以及在安全设置任务中操作员绩效和态势感知的影响，头戴式显示器对操作员任务表现、态势感知和稳定性的影响见图5c；刘文等人[53]（2021 年）构建了系统中活动信息加工模型和认知负荷均衡机制，并以美国海军TADMUS 系统界面为例，提出了均衡认知负荷的设计策略；吴晓莉等人[54]（2020 年）根据视觉感知强度理论和线性规划算法，建立了视觉感知强度模型，和出错因子—视觉感知—界面布局间的关联效应，从而解决由不合理的信息交互界面而导致的操作员认知绩效降低的问题，视觉感知强度模型（左）和硼和水补给系统界面视觉感知强度模型（右）见图5d。

图5 指挥信息系统智能化领域代表性进展Fig.5 Representative progress in the field of command information system intelligence

第五代指挥信息系统已经跨越式的从战场中的信息中枢向着中心大脑而升级发展了。丁峰等人[47]（2018 年）指出第五代指挥信息系统在面向认知与智能处理、泛在网络与普适计算、弹性适变与赛博免疫、人机融合与自主演化的能力特征；张志华等人[55]（2021 年）围绕第五代系统的总体架构设想，指出技术提升的战场认知、决策和行动优势，促进了作战指挥由信息域向认知域的全面升级。未来第五代指挥信息系统的应该是基于知识中心、人机融合、智能赋能、云边一体、自主演化、韧性适变构建的指挥信息系统[48]。综上所述，由于未来战争需求、状态及信息技术升级仍存在着未知性，指挥信息系统的升级和完善不可能一挥而成，辨析智能化战场机制，并融合相关信息技术，能够为指挥信息系统建设提供坚实的力量[53]。

2 工业系统的人因工效研究综述

2.1 人因工效的测评技术与评估模型

2.1.1 测评技术研究进展

基于计算机和数字化技术的发展，信息化智能化的人机交互系统已被广泛应用与核电、航空航天、军事指挥等各类复杂系统交互的领域中，新的人机交互方式如何与操作人员的认知能力相适应仍是需要不断深入研究的问题。近年来，研究者通过使用眼动、脑电、肌电、皮电、心电等技术有一些新的发现。基于眼动技术，NING Li 等人[56]（2020 年）将EMMA模型的研究领域扩展到指挥控制系统设计领域，而且为可量化的认知行为建模提供了准确的数据支持；ZHOU Tian-yu 等人[57]（2021 年）提出了一种面向数字界面功能图标的眼控交互方法，将图标识别的相关眼动信号应用于数字界面的人机交互；YUKI KUROSAWA 等人[58]（2020 年）为了确认在任务中注视点的眼动标准差的变化是测量疲劳的有效依据，考察了被试在执行任务时眼球运动与疲劳和内部状态之间的关系；ZHOU Ying-wei 等人[59]（2020 年）基于眼动行为、操作表现和主观感受数据，得出眨眼对目标的拾取相对较快、眼睛注视的优势在于目标控制等更具针对性的结论；吴晓莉等人[60]（2020 年）运用眼动实验，通过凝视与扫视生理测评指标，以核电厂监控任务界面为样本，对核电数字化复杂系统界面的信息特征布局进行了探究，为数字化仪控界面的设计提供了参考；金涛等人[61]（2021 年）采用视觉搜索范式，通过眼动实验表明图标数量的变化对布局方式和视觉特征的认知绩效产生显著影响，图标布局横向排列可以有效提高目标信息搜索速度。

人因测评技术的代表性研究进展见图6。基于脑电技术，HU Ling-ling 等人[62]（2020 年）以报警信息为例，利用行为数据和脑生理指标，探索了在安静和嘈杂情况下视听界面信息的认知规律，建立了视听信息与认知的映射关系；CHAO Hao 等人[63]（2020 年）提出了一种将神经胶质细胞链与条件随空场相结合的深度信念—条件随空场框架，拟议的DBN-CRF 框架见图6a，利用该框架可以通过神经胶质链挖掘多通道间的相关信息，捕获脑电信号的通道间相关信息和上下文信息，从而用于情绪识别；PING-KENG JAO等人[64]（2021 年）通过模拟飞行和绘图任务动态过渡难度水平的脑电相关性研究，发现在构建自适应HMI 系统时，用户在不同任务之间的复合状态变化的延迟是一个需要考虑的因素；BYUNG HYUNG KIM等人[65]（2020 年）通过脑电图信号来评估基于反馈的解释界面的实施和使用，表明神经相关性可以作为解释效能的测量方式；MATHIAS VUKELI 等人[66]（2021 年）利用脑电图（EEG）研究皮层网络对系统启动辅助的事件相关同步（ERD/ERS）和事件相关功能耦合，以接近自然的HCI 范式评估了局部振荡功率夹带和分布式功能连通性，发现了作为帮助系统启动的积极和消极情感过程的振荡信号是可识别的，情感反应在频域的整体神经元特征见图6b。MATTHEW J BORING 等人[67]（2020 年）利用脑电图频率特征子集，高、低交叉任务负荷预测时平均脑电激活情况见图6c，建立了捕获认知负荷任务的一般脑电图相关模型，允许在不同任务背景下的进行负荷检测；YU Zhi-peng 等人[68]（2021 年）根据表面肌电图，提出了一种卷积神经网络瞬时手势识别的迁移学习策略，为提高手势识别系统的泛化能力提供了一种有效的方法。YING SUNA 等人[69]（2020 年）利用手势识别的过程中拇指产生的表面肌电信号，提出了一种基于方差理论的冗余电极确定方法，得出了拇指运动模式识别的最佳方法，通道冗余可视化见图6d；WANG Qun 等人[70]（2018 年）提出了一种基于任务负荷的新型PRV 乘员功能分配方案的多指标评价方法，在实验中测量皮电和心电两项生理指标，表明当物理载荷增加时，乘员人数的变化对乘员性能的影响更大。这些眼动、脑电等测评技术在人机交互上的研究成果，代表着智能化人因工效测评技术的发展升级，将加速多通道交互的深度融合进程。

图6 人因测评技术的代表性研究进展Fig.6 Representative research progress of human factors evaluation technology

2.1.2 评估模型

伴随智能化的发展，复杂人机交互系统信息源显著增长，限定时间内的人机交互任务大幅增加，新的人机交互方式不断出现、融合。因此，越来越多的领域专家及研究者转眼于如何评估和改进现有人机交互方式。SHAO Zhi-yu 等人[71]（2019 年）提出了一种基于交互线索的多层次知觉顺应模型，分析了物理测量与知觉感觉之间的关系，为触觉显示与遥操作系统的设计与改进提供指导；YUAN Jie 等人[72]（2020年）设计并实现了多模态传感导航虚拟与真实融合实验室，研究了一种用于化学实验的多模态融合模型和算法，并在实验室中得到了验证和应用，通过多模态融合感知算法，可以了解用户的真实意图，提高人机交互效率；LU Ai-guo 等人[73]（2020 年）重于声音、眼睛控制、触摸、大脑控制和手势的五种形式，并根据人—机—环境认知决策模型和针对不同应用场景下各模态交互的层次处理模型，建立了多模态交互层次处理模型，有助于提高命令交互的自然性和友好性。ZHAO Min-rui 等人[74]（2020 年）提出了一种基于脑电和眼动的人机交互意图识别方法，表明意图识别算法比单纯依靠单个信号的效果更好；HAN Su 等人[75]（2021 年）提出了一种基于认知加工模型的船员日常导航任务交互策略研究方法，为避免船员交互中的人为失误，降低船舶碰撞风险，有效提高人机交互的可靠性提供了一种新的方法和思路；CHEN Hao等人[76]（2021 年）改进了SA 模型，利用人类的行为为驾驶舱界面设计优化和人机工程学评估中飞行员SA 的定量表征提供了新的辅助工具；郭云东等人[77]（2021 年）提出一种基于 FBCREAM（Fuzzy Bayesian Cognitive Reliability and Error Analysis Method）的飞机驾驶人因可靠性评估模型，该模型在评估飞机驾驶人因可靠性方面的高度准确性，能够为航空评估安全提供高效的工具方法和支持。综上所述，国内外学者关于人因工效评估模型的研究成果，为提高人机交互效率、降低人因出错提供可靠方法，为研究多模态交互方式于一体的智能化人机交互测评体系提供了可靠依据。

2.2 多源人因工效指标的关联性研究

近年来，不少研究者尝试融合多种生理信息，以提升对人类搜索意图、动作意图及感知状态的辨识精度。目前国内外已研发出如生理信号测量仪、人机环境同步平台等测量工具，可以同时采集人体的脑电、心电、眼电、心率、肌电、皮肤温度、皮电、血流量等生理信号，以及眼动数据、头部运动和表情变化。多模态数据融合相关领域代表性进展见图7。例如，近年津发科技研发了人因环境同步平台，结合人类显性行为（动作、姿势、运动等）的视频数据，对所有内外变化间的因果关系进行测量与解析；同时实时同步记录、跟踪和分析在同一时间点、时间段内的人机环境数据信息，多源生理信号数据同步平台见图7a[78]。KANG J[79]（2015 年）、POSTELNICU 等人[80]（2019 年）运用多种生理组合特征开发智能学习工具，并融合相关指标，开发混合脑机界面系统；郭伏等人[81]（2018 年）研究了主观评价指标、眼动指标和脑电指标作为人的感性评估；谢平等人[82]（2018年）运用时频分析方法和复杂度分析方法对驾驶疲劳进行评估，发现多生理特征融合的识别准确率明显高于单个生理信号的识别准确率；王崴等人[83]（2021年）通过采集并提取脑电和眼动信号特征进行意图识别，证明融合脑电和眼动信号的人机交互意图识别方法识别准确性明显优于仅依靠脑电或眼动数据的方式，决策级人机交互意图识别原理见图7b；凌文芬等人[84]（2021 年）利用多模态间交互关系，融合3D分层卷积的多模态特征，提出效价、唤醒度的二分类和四分类任务中的特征模型，基于3D 分层卷积的融合模型见图7c。大量相关实验与研究的结果表明，相较于单一模态，多模态数据融合与分析可以提高对人的意图、情感与状态等维度的识别准确率。在未来，相关研究可促进语音交互、手势交互、脑机交互、眼控交互、情感交互以及语音交互等新兴的多模态交互方式的技术提升与实践。

图7 多模态数据融合相关领域代表性进展Fig.7 Representative progress in related fields of multi-modal data fusion

3 工业系统的智能化进程

研究者们逐渐意识到为人类提供长期服务的重要性，以及如何利用技术创新来促进工业与社会之间的协作和“双赢”互动等问题。杨挺等人[85]（2019年）运用了在计算、感知和认知方面具有高处理能力的人工智能（AI），探究其在电力系统及综合能源系统中的能源预测应用、规划应用、运行优化与稳定 控制中的应用，改变能源传统利用模式，推动综合系统的智能化升级；吴晓莉等人[86]（2019 年）以信息特征及呈现方式为变量开展实验，得出了图标形态和信息呈现方式对视觉搜索均影响显著的结论；庄存波等人[87]（2021 年）阐述了工业5.0 包括以人为中心、可持续性、韧性和智慧型等四个主要特征，并基于欧盟报告提出的包括个性化人机交互（Individualised Human-machine-interaction）和人工智能（Artificial Intelligence）在内的六项技术，建立了使能技术体系和实现路径；孙贺等人[88]（2021 年）通过融合集成VR、AR、工业互联网的技术特点，提出了具备研发设计、装配、检测、运维、管理、培训的智能交互解决方案的创新人机智能交互系统平台；吴晓莉等人[89-91]（2021 年）构建了工业智能制造系统的信息呈现引力模型和信息表征的有序度模型，形成了光伏制造系统的信息可视化表征模式；XU 等人[92]（2017 年）在智能工厂装配线性能可视化设计中，开发ViDX 可视化分析系统，以支持实时跟踪装配线性能和历史数据分析；LYU Zhi-han 等人[93]（2021 年）旨在研究视觉感知技术在智慧城市中的应用效果和功能，利用卷积神经网络（CNN）和物联网（IoT）技术构建了图像处理与质量评价系统，并处理和分析获得的图像和视频的质量性能，结果表明改进后的CNN 算法在图像和视频处理方面优于其他；EIRINAKIS PAVLOS 等人[94]（2021 年）通过结合当代工业4.0 技术、预测分析、模拟和优化的功能，基于态势感知的决策模型，设计了一种情境感知制造系统框架，用于识别和预测中断、评估影响并及时做出反应以修复影响。工业系统基于智能算法、设备和技术支持，逐步实现人机智能交互系统平台的有效运行，通过人机交互、融合、协同达成工业系统的最佳智能状态，工业系统智能化研究趋势见图8。

图8 工业系统智能化研究趋势Fig.8 Research trend of industrial system intelligence

多通道交互（Multi-modal Human-computer Interaction MMHCI）相对于传统的单一通道交互方式，更符合人类自然行为[95]，具备更深层应用空间的多通道人机交互中，手势、体感、语音等交互技术已经逐步应用在现实产品中，并将在操作形式、使用观念、应用场所等方面带来相应变化，逐渐发展为主流的交互形式[96]。张青[97]（2018 年）基于触觉和听觉双重通道进行三维场景建模和虚拟信号模拟，建构了全新的多重感官增强现实交互系统，并通过实验结果证明了系统优质的交互性和用户体验；陈建华等人[98]（2019 年）表示多通道交互方式的信息交流是双向的，很大程度降低了传统单交互方式输入单一、作业人员认知负担等造成的失误操作概率，自然高效的人机交互技术，也是目前的军事指控系统发展需求之一；ZAHRA EMAMI 等人[99]（2019 年）通过改良任务界面来减少视觉干扰，来确定干扰物对脑机接口系统（BCI）用户模拟任务中认知负荷的影响，并在没有干扰物、视觉干扰物和在干扰物中的认知策略条件下进行脑电实验；SON JOONWOO 等人[100]（2020年）旨在降低驾驶员的认知负荷，从评估视觉和听觉次要任务可能引起潜在风险的角度，通过驾驶模拟器进行驾驶性能和行为数据的测量实验。L CAI 等人[101]（2020 年）突破单一模态情感识别限制，提出了一种语音和面部表情特征相结合的方法，与语音和面部表情的单一模态相比，其提出的模型的整体识别准确率分别提高了10.05%和11.27%。ZENG Bo-tao 等人[102]（2020 年）通过融合手势、语音和压力信息构建多模态交互模型，该模型搭建了多模态智能交互虚拟实验平台（MIIVEP）。综上所述，学者关于跨通道融合与信息交互的研究成果，为处理复杂信息情况下提高识别准确率、降低交互过程中单通道信息下的出错率提供可靠的模型与评价方法，为研究多通道融合的智能系统交互研究提供了可靠依据。

4 结语

工业系统的智能化转型在与日俱进的技术推动下，将人机交互研究引向了更具未来感的全面升级。智能增强使得人—信息—物理系统之间的各自优势得以充分发挥，相互联结、协调与启发，为工业互联灌注了更深的创新潜能。目前，智能化技术形态存在未知的拓展空间，对智能化工业系统交互体系的构建，需要从多学科交叉融合的角度，针对智能交互模式、人因工效等核心问题进行梳理研究，以实现智能交互的人机物闭环，达成真正的人机协同共生模式，对工业智能的转型升级，重要工业系统的高效稳定运行、信息高效传输和人精准决策都有着深远的研究意义。