认知负荷下的智慧矿山信息交互界面优化

冯 青，范丁力，杨惠珺，赵思伊

(西安科技大学 艺术学院，陕西 西安 710054)

0 引 言

互联网与人工智能技术的发展，为传统矿山工业领域带来颠覆性的变革，在矿山智能化不断深入的同时智慧矿山也在此背景下快速发展起来。智慧矿山系统是在智能矿山的基础上对生产、安全、技术等方面进行主动感知，自行分析然后快速处理的系统平台[1]。在“机械化换人，自动化减人”的生产理念引导下[2]，矿山智能化走向智慧化的同时，以智能矿山为基础的交互界面正朝着更全面、更复杂、更智慧的方向更迭；以人工操作方式为主的交互方式，也逐渐向智能控制、智能辅助人工操作的方式转变。在人员成本节省与工作效率提升的同时，越来越复杂的信息交互界面使操作员的认知压力相应增加。

在认知理论与智慧矿山信息交互界面领域，相关学者已展开深入研究。李红霞等总结智慧矿山中人因失误的影响因素分层模型，利用层次分析法和DEMATEL对智慧矿山中人工失误的影响因素指标进行详细研究，认为机械设备因素是造成智慧矿山人工操作失误的重要指标，其中人机匹配度是机械设备中造成工人失误的最关键因素[3]。孙林辉等利用眼动实验设备研究矿山系统交互界面中人眼对中英名称的搜索规律，发现人在不同任务下对名称呈现方式的交互具有差异，为交互界面的名称呈现方式提供合理建议[4]。李晶等开展针对复杂交互界面的形状编码研究，证实图形形状的差异对人的认知效率具有相关性，认为图形的邻接状态是影响图形形状差异的最大因素，且弧形对人视觉反应较为强烈[5]。张宁等运用认知负荷理论提出自助服务终端交互界面设计方法，通过实验分析验证认知负荷情况与人员操作效率具有显著相关性的猜想，说明该方法能够显著提高操作者的使用效率[6]。戴立操等将注视熵的概念引入到主控室操作员认知负荷的研究中，研究计算机屏幕操作员的认知负荷与注视熵之间的关系，得出注视熵显著正向影响认知负荷的结论，为认知负荷的评价方法提供一项有效指标[7]。

以智能矿山为基础的智慧矿山，是未来矿山工业领域发展的方向。虽然智慧矿山信息交互界面正以智能矿山为基础不断得到完善，但是在面对复杂的交互界面时，如何通过制定科学的交互界面优化方案和设计策略，提高操作者的操作效率还欠缺可靠的科学研究。

1 认知负荷与智慧矿山信息交互界面

1.1 认知负荷理论

认知负荷理论属于心理学科的一部分，1988年由John Sweller首次提出[8]。认知负荷是学习者在执行目标任务时，被附带在认知系统中的多维结构负荷。该结构由交互产生的原因、心理负荷、心理努力和绩效等方面的评估组成。

人在学习工作中的总认知负荷可分为内在认知负荷、相关认知负荷、外在认知负荷，他们共同影响人的学习工作效率[9]。3种认知负荷对学习工作效率的影响如图1所示。内在认知负荷指元素之间互相影响形成的负担；外部认知负荷是除内部认知负荷所指元素以外而产生的额外负荷；相关认知负荷指能引起学习者心理努力和促进图示自反应的负荷。所以在学习和工作中应直接或间接地降低内、外认知负荷，增加相关认知负荷。

1.2 智慧矿山与智慧矿山信息交互界面

智慧矿山是在智能矿山发展到一定程度的条件下实现的[10]。智慧矿山是在通过实现矿山的数字化、信息化的基础上，对生产、安全、技术、后勤等方面进行主动感知、自动分析、快速处理而创建的系统平台，其最终目的是为了建设安全、无人、高效、清洁的矿山。国家为推动智慧矿山发展，先后发布《智慧矿山信息系统通用技术规范》和《关于加快煤矿智能化发展的指导意见》，并提出到2025年基本实现大型煤矿和灾害严重煤矿智能化等要求。智慧矿山的建设不仅受矿山智能化程度的影响，还面临信号传输和人机交互的实现问题。前者已被华为研发的5G技术解决，后者则通过资源模型和受限应用协议(CoAP)的信息交互方法使交互界面成为人与智慧矿山沟通的媒介[11]。目前智慧矿山已在窝兔沟煤矿和宝日希勒煤矿等数十个矿区进行试点。华为、优诺等企业更是已经提出智慧矿山解决方案，上线智慧矿山相关的可视化平台等产品，通过系统平台连接智能设备和机械，并在交互界面上进行监控和操作。因此操作者与界面的交互过程尤为关键，操作者与界面的交互流程如图2所示。

在界面操作方面，智慧矿山系统会请求自动控制的权限，操作者主要负责监督，在危急情况下，系统异常报警提示会被激活，系统依照设置的权限会请求操作者是否进行自动操作，期间系统会记录全部人工或自动的操作过程。在辅助层不足以恢复系统正常工作的情况下，操作者会接管系统的自动调试工作进行手动操作，但是手动操作可能会伴随强大的时间和心理压力，因此不良的交互界面会给操作者带来巨大的认知负荷，从而导致操作失误，操作超时等一系列严重后果。

2 认知负荷下的智慧矿山信息交互界面分层模型

2.1 AHP智慧矿山界面分层模型

智慧矿山系统中，信息交互界面是其重要组成部分，在系统中负责智能设备的操控和调试。智慧矿山信息交互界面中不同设计元素的组合可以表达不同的交互层次[12]，以现有某智慧矿山信息交互界面为例，如图3所示。图3中智慧矿山信息交互界面包含有：导航信息、菜单信息、搜索栏、时间、天气、名称、账户、设备详细数据、参数调节、参数名称、设备运行状态、启动开关、设备图示、操作记录、任务内容、异常报告等。其中以信息表达内容为标准可分为：层级信息、基本信息、设备参数信息、设备状态信息、任务信息5大类。

对学习过程中认知负荷的分类也同样适用于交互界面认知负荷，因为交互过程和学习过程都是人脑获取与处理信息的过程[13]。在交互过程中，操作者通过视觉和听觉对界面中的文本、图片、声音、影像等信息在记忆中进行短暂留存和处理，产生认知负荷。当界面过于复杂或易使人引起不适时，操作者所感受的认知负荷就会过高，导致信息处理能力下降，操作效率下降甚至失误率的上升。依据对界面信息的分类和对交互界面中认知负荷的分类，建立基于认知负荷下的信息交互界面AHP分层模型，提出交互界面认知负荷的8个组成部分。如图4所示，外在认知负荷主要包括界面信息的组织方式和呈现方式(内在认知负荷主要受界面的复杂程度与相关图示所影响)；相关认知负荷主要由操作者的自身因素所影响。5种信息类型分别通过不同体现方式反应着不同类型的认知负荷。

2.2 智慧矿山信息交互界面优化流程

基于认知负荷理论的智慧矿山信息交互界面优化具体流程如图5所示。

图5中现有界面和引入认知负荷这2步是优化方法的理论基础，后续步骤则是界面的优化。界面的优化具体分为2大步，一是对界面内信息的布局调整，二是对信息的呈现方式进行优化。在布局调整中，利用认知负荷理论对目标原界面进行信息分类，形成大小不同的区块，然后根据计算得出权重，确定各区块的分布；在此基础上提出界面优化内容表，依据表中的界面优化方式自由组合生成16种基于认知负荷的备选方案，最后通过实验筛选操作效率最高的方案，完成界面优化。

3 优化方案生成

3.1 智慧矿山信息交互界面信息权重

权重一般用于产业评价指标，也用来表示各指标的重要性[15]。信息的显示受限于屏幕的大小，界面中信息之间的不同比例关系会影响操作者的操作效率，所以越重要的信息，在界面内的显示面积理应越大。虽然信息面积占比一般难以精确，但信息面积占比的大小顺序可以确定，因此该研究依据信息的权重值同比转化为面积占比，来确定界面的分布。

信度系数权重评价法是AHP与灰色关联分析法的结合[16]。根据上文对界面信息的分层，邀请专家对界面信息类型进行两两对比，构建评价指标表[17]，再将一般层次分析法得出的多专家指标权重用来构建信度评判矩阵[18]，使用灰色关联分析出各专家的信度系数进一步得到综合权重[19]。

邀请20名具有智慧矿山信息交互界面设计经验和界面操作经验的专家参与评价。将专家分为5组进行组内讨论，通过AHP层次分析法得出5组专家的权重向量分别为

一致性检验得出CR1=0.047<0.1，CR2=0.047<0.1，CR3=0.008<0.1，CR4=0.047<0.1，CR5=0.033<0.1，说明数据均符合一致性检验要求，通过均值化生成法构建规范化的信度判断矩阵得到

将矩阵带入灰色关联度计算公式

(1)

式中ρ为分辨系数，取0.5；k为第k组专家且1≤k≤m；i为第i个元素；m为分组总数，Y0=(0.2，0.2，0.2，0.2，0.2)。得出灰色关联系数矩阵为

带入关联度计算公式

(2)

计算得出r01=0.693，r02=0.545，r03=0.633，r04=0.661，r05=0.714，归一化计算得出各组专家的信度系数分别为δ1=0.214，δ2=0.168，δ3=0.495，δ4=0.204，δ5=0.220。

最终修正得到，综合权重向量W=(0.048，0.081，0.123，0.364，0.383)。按权重值同比转化为信息面积占比，将各信息类型的面积占比由小到大排列见表1。

表1 界面信息决策分布

3.2 基于认知负荷的界面优化设计

界面优化过程中，依据操作者接收信息的通道和处理信息的方式对20种智能或智慧矿山软件交互界面中采用的交互手段进行取舍。通过视觉对层级分布方式、信息显示方式、颜色呈现方式、图形呈现方式的颜色、形状、位置等信息进行分辨；以听觉或视听交互对界面的交互反馈和心理努力情况进行区分。共获取层级分布方式4种；信息显示方式2种，其中平铺式占80%，卡片式占20%；颜色呈现方式2种，区分设备状态的颜色使用方式占60%，区分设备之间信息内容关系为主的占40%；图形呈现方式中写实形式的图形占75%，抽象简化的方式占25%；具有明显交互反馈的界面占50%，剩余50%则不带交互反馈或不明显；有20%的界面使用计时显示增加操作者的心理努力，80%的界面无计时显示；信息数量会因同一软件中的不同界面而改变，任务量也会根据操作者的实际使用需求而不确定，因而信息数量和任务量不便分类。

界面优化内容的选择其实是对认知负荷在界面中的组成和各组成部分优化方式的选择，信息数量和任务量受限于设计手段和交互方式，不便得出具体方案故不作讨论；层级分布方式、交互反馈两方面已有具体研究成果故无需选择。列举出界面优化内容的已选择和待选择方案并给出图例和解释，见表2。

表2 界面优化内容

1)层级的不同显示位置会使操作者在任务中的目标注视数量和反应时发生变化，同理会改变操作者的外在认知负荷。矿山类信息界面多由三层级组成，层级在屏幕四周的不同位置分布会产生多种分布方案，根据已有研究选择一二层级在屏幕左侧，三层级在上方的最优层级分布方式[20]。

2)现有的界面信息呈现方式分为2种：a1平铺式：通过简单分割排布等方式，直接将信息平铺于背景之上；a2卡片式：将信息通过分组，似卡片的形式排布于背景之上，类似窗口化呈现方式。

3)颜色是具有语义的[21]，目前主流的界面中信息部分颜色的使用方式分为2种。用于区分设备状态的颜色分类方式b1和为区分设备之间信息内容的方式b2(字符类型与字符之间的色彩匹配对认知负荷无明显影响[22])。

4)界面中的图形呈现方式能不同程度地使人进行联想。界面中图形分为写实类c1与抽象简化类c2，后续将对2种图形的选择进行研究。

5)利用视觉或听觉的交互反馈，将会明显提升用户在使用界面时的体验[23]，应选用有交互反馈的界面满足操作者的心理，增加相关认知负荷。

6)操作者的心理努力程度与操作环境息息相关，为模拟真实操作心理，界面将尝试使用计时显示界面。含计时显示界面记为d1，否则记为d2。

3.3 界面方案

界面优化方案的生成是各种优化方式(交互手段)的综合，为研究界面优化方式与认知情况的关系，需根据界面优化内容表，按图6方式对原始界面进行优化组合，得出方案f(x)=(a，b，c，d)。

生成备选界面共16种，具体如图7所示。

4 基于眼动仪的界面操作实验验证

4.1 实验程序与准备

受试者选取30名在校研究生，年龄在22～25岁之间，且保证其心理努力程度相当。

实验场景如图8所示。实验选用iViewX RED桌面式测量系统，屏幕面板为27英寸显示器，屏幕延迟1 ms，鼠标使用罗技GPW，延迟1 ms，灵敏度为800 DPI，确保被试者操作的准确性。实验环境选择在自然光线条件下安静封闭的室内空间，室内温度为26 ℃，调节座椅及屏幕高度，使被试者始终直视屏幕，保持人体视觉舒适距离在50～60 cm之间，确保被试人员不被环境因素干扰。

具体实验过程如图9所示，受试者依次在16种优化界面和原界面内进行操作。首先阅读任务栏获取随机的操作任务，然后搜索点击规定区域，再完成不同层级界面的任务，单人耗时约半小时。

共收集样本510个，以3倍绝对中位差为标准排除反应时和注视点个数异常数据共计15个。

4.2 多因素方差分析

将待研究方案a，b，c，d视为自变量，反应时和注视点个数为因变量，实验数据使用SPSS，得出多因素方差分析。由表3可知，显著性小于0.05说明当该数值对应的自变量改变时能显著影响操作效率；效应量表示各对应的自变量因素分别对反应时和注视点个数的影响程度，效应量越大，表示该因素的选择对结果的影响程度越大。

由表3可知单个自变量对反应时长和注视点个数均有显著性影响(0.00<0.05)，这说明不同优化方式(交互手段)对认知的效能是有影响的。其中对a1与a22种不同的优化方式进行选择，能显著影响操作效率，其反应时效应量为0.999，注视点个数效应量为0.996；对b1与b22种不同优化方式的选择造成操作效率的影响最强，反应时和注视点个数的效应量分别为1.000，0.999；对c1与c22种不同优化方式的选择也会影响操作效率，但略弱于前两者，效应量分别为0.995，0.980；d1与d22种不同优化方式的选择对操作效率的影响最弱，分别为0.901，0.910。

表3 多因素方差分析

4种自变量的综合因素对反应时有显著性影响(0.005<0.05)，综合因素对注视点个数同样有显著性影响(0.013<0.05)。其中a信息呈现方式与b颜色分类方式影响效果很强烈，d计时情况的效应量最低，是其中最弱因素。

4.3 布局方案绩效分析

将某智慧矿山信息交互界面定为原方案f(17)，根据认知负荷理论所提出的界面优化方案与原方案f(17)(共17种)在注视点个数和反应时方面的效率情况如图10，图11所示。

反应时是完成任务的时间，注视点个数是眼动仪记录任务过程中人眼注视的信息总量，二者是组成操作效率的关键部分，反应时越短，注视点个数越少，则认为操作效率越高。以颜色分类方式的不同将数据分为f(1-4，9-12)、f(5-8，13-16)2组，可以看出反应时长与注视点个数差异均最显著，这表示b1状态颜色分类方式在效率反应上明显优于b2参数关联颜色分类方式，同时验证了方差分析中颜色分类方式为最显著影响因素。同理，a2卡片式信息呈现方式在操作效率上明显优于a1平铺式信息呈现方式；c2抽象图形呈现方式效率明显优于c1写实图形呈现方式；d2无计时显示方案明显优于d1含计时显示方案。

在单个方案效率情况方面，f(5)的反应时最多为12.32 s，注视点高达45.78，而f(12)方案的反应时和注视点数均最少，分别为7.69 s和24.13，对比f(5)方案在时间上缩短约38%，注视点个数减少约47%，操作效率明显优于其他方案，因此f(12)方案为备选方案中的最优方案。所以优化方式应首先选择卡片式信息呈现方式、状态颜色分类方式、抽象图形呈现方式、无计时显示方案。计时显示虽然会增加相关认知负荷，但同时会分散操作者的注意力，导致操作效率降低。

对比原方案f(17)，最优方案f(12)在操作效率方面明显优于原方案，其中反应时长较原方案缩短23%，注视点个数减少37%。同理，因开篇说明综合认知负荷与工作效率成负相关，故方案f(12)的认知负荷情况明显优于原方案f(17)，证明优化方法有效。

5 结 论

1)智慧矿山信息交互界面中信息类型的重要程度由大到小为：设备状态信息>设备参数信息>任务信息>层级信息>基本信息。

2)实验表明，信息显示方式、颜色呈现方式、图形呈现方式、计时显示界面都能显著影响操作效率，且信息显示、颜色呈现方式的影响较强。经实验分析筛选的界面优化内容组合为：a1卡片式信息呈现方式、b1状态颜色呈现方式、c2抽象图形呈现方式、d2无计时显示界面。

3)实验结果分析表明，优化方案f(12)对比原始界面在反应时长和注视点个数上分别减少23%和37%，说明通过认知负荷理论对智慧矿山信息交互界面进行优化的方法是可行有效的。在实验中未考虑到具体交互行为的其他因素，例如界面权重与面积的对应转化难以精确，操作者点击行为的延迟、色彩对比度等等，还需继续进行更为深入的研究。