综采工作面虚拟监测系统界面交互设计

孙梦祯，李娟莉，谢嘉成，李素华

综采工作面虚拟监测系统界面交互设计

孙梦祯，李娟莉，谢嘉成，李素华

（太原理工大学，太原 030024）

解决当前综采工作面虚拟监测系统功能分区混乱，色彩、布局、交互流程等方面都缺乏人性化研究，所导致的用户体验差的问题。将情境设计理论和用户体验层次模型相结合，提出构建综采工作面虚拟监测系统界面的交互设计方法。该方法首先对综采工作面虚拟监测系统进行了需求定义和功能分析，并对系统功能进行了优先级排序；接着在“概念—原型—视觉”的情境求解过程中，设计了交互逻辑和视觉元素，提出了高效的、符合用户认知的交互设计模型；最后运用Unity3d开发引擎，对上述虚拟监测系统设计方案进行了开发。采用模糊综合评价方法，通过实验验证了设计方案具有很好的用户体验感，也为虚拟系统界面交互设计提供了理论支撑。

情境设计；用户体验；交互设计；虚拟监测；综采工作面

物联网和大数据等科学技术促进了煤炭行业的智能化发展，无人化开采也成为时下的研究热点。综采工作面监测系统在无人化开采领域有着重要的作用，但传统的视频监测和二维组态软件监测存在易受环境影响而导致画面清晰度低、数据传输量大且有延迟的问题。伴随着虚拟现实和数字孪生技术的逐步成熟，综采工作面虚拟监测系统应运而生，其目的是通过实时同步虚拟场景完成综采工作面远程监测工作，融合综采数据和监控画面，以二维图表的方式来直观展示数据的变化趋势。近年来，国内外科研者以虚拟实现技术为基础，在综采远程监测方面取得了很好的成果。李阿乐等研发了一套基于虚拟现实技术对综采工作面三机协同运动状态进行监测的系统，实现了虚实同步运动、场景漫游及多视角监测等功能[1]。谢嘉成等研究了综采工作面三机协同运动和实时动态监控技术，融合虚拟现实技术建立了综采工作面的虚拟场景，开发了实时数据访问和多功能人机交互的培训系统[2-4]。在此基础上，进一步对液压支架、采煤机和刮板输送机的定位、定姿方法，以及三机协同的关键技术进行了研究，提高了虚拟场景同步运动的精确性[5-8]。王学文等对综采工作面设备的协同运动和仿真、信息传递、虚实融合等技术进行了研究，提出了面向智能化综采工作面的实施虚拟监测方法，为综采工作面的虚拟呈现提供了理论和技术方面的支持[9]。

从以上分析可以看出，当前关于综采虚拟监测系统的设计和开发，更注重技术的突破和功能的叠加，但在系统界面的人机交互设计方面缺乏研究，而造成综采监测系统的用户体验感普遍较差的问题。因此，运用界面交互设计的相关理论，对综采工作面虚拟监测系统的人机界面进行设计具有重要意义。

当前用户体验设计方法被广泛应用于电子产品的软界面设计、实体产品的操作界面设计、产品造型设计等领域[10-12]，但在综采行业鲜有提及。常用于提升用户体验的设计方法众多，BERGSTROM J R等采用视觉跟踪方法完成了界面用户体验设计的探索[13]。谢伟等人通过无意识认知理论来指导界面交互设计流程，并以无意识认知评估取代可用性和用户体验评估[14]。王熙元等以情感化理论、马斯洛需求层次、感性工学理论完成对医疗设备人机交互界面的设计[15]。吴剑斌等以情境感知和卡片分类等方法建立系统设计模型，完成界面设计[16]。对比上述设计方法，情境分析可以更好地以用户体验感为设计出发点，重视产品、人、环境三者之间的关系。因此，基于情境分析的方法，构建系统界面交互设计模型，从而展开对综采虚拟监测设计系统界面交互的分析。

1 综采工作面虚拟监测系统界面交互设计流程

用户体验设计是界面交互设计的核心，其重视使用人群与产品交互时的内心活动，将人作为设计中心，基于人机工程学和可用性原理，对产品的视觉效果和交互方式进行综合性设计，从而得到符合用户认知习惯的设计结果[17]。情境设计从用户体验出发，以人、产品、环境及三者间的相互关系为要素构建情境系统，运用情境描述、故事版、场景模拟等方式预测用户交互过程，从而直观、理性地分析设计问题及突破点，以指明设计方向[18]。将情境设计与Garrett提出的用户体验层次模型[17]相结合，提出基于情境设计的系统界面设计方法，并将其运用于综采工作面虚拟监测系统的界面设计中，该流程包括情境构建、情境求解、开发测试和发布4个步骤，彼此相互关联，见图1。

图1 综采工作面虚拟监测系统界面的交互设计流程

2 情境构建

2.1 提出问题

综采工作面操作工和集控中心工作人员是对综采设备、综采环境及远程监控工作最为了解的用户群体，因此将其作为调研对象，通过问卷调查和用户访谈的方法，分析当前综采工作面虚拟监测系统操作中存在的用户痛点，见图2。当前系统存在以下痛点：第一，该系统功能欠缺，分类混乱。第二，该系统交互感较弱，缺少层级关系，交互效率较低。第三，界面元素以文字为主，识别效率较差。第四，界面元素造型相似，识别率和容错性都较低。

图2 虚拟监测系统界面

为解决上述问题，下面将运用情境设计理论，结合用户认知习惯、色彩心理学知识和虚拟监测系统特点，对系统交互模型和界面元素进行改进，完成具有良好用户体验感的综采工作面虚拟监测系统交互界面的设计。

2.2 情境描述

根据上述调研结果可知，用户与系统产生的交互过程可以分为2种类型，分别是日常工作和故障处理。现对调研群体进行筛选，选择具有代表性的用户行为，针对2种交互过程，结合行业环境和用户特征

来构建工作人员使用综采工作面虚拟监测系统时的情境系统。行业环境和用户特征分析具体如下。

1）行业环境。综采工作面相关工作操作并不复杂，但不断重复，较为枯燥，且该行业工作危险性较高，微小失误而带来的损失不可估计。因此，该行业环境具有枯燥、高危及容错性低的特点。这样的行业环境容易使工作者疲劳、暴躁、不安，从而导致潜在的危险隐患。

2）用户特征。综采工作者文化程度不尽相同，因此信息接收能力存在差异，且该群体年龄跨度较大，导致学习能力也存在差异。情境描述故事版见图3。

图3 情境描述故事版

3）日常工作情境。首先，工作人员小A快速登录虚拟监测系统，通过自由切换监测视角，观察综采工作面设备工作状态。然后，在确定所有设备正常开启且不存在安全隐患后，简单、快速地在综采工作面单机（采煤机、液压支架、运输机构）三维协同监测之间自由切换。具体操作内容如下：观察虚拟采煤机运行情况，根据实际割煤情况来调整采煤机滚筒采高动作；小A通过输入数字“69”完成对69号支架动作及数据的监测工作；在运输机构虚拟监测界面观察刮板机的直线度，从而对液压支架的推移进行调整。最后，小A进入数据统计功能，通过图表观察设备运行趋势和综采环境变化趋势。

4）故障处理情境。当设备在运行中发生故障时，系统自动跳转至故障预警模块，小A通过当前页面了解故障问题和故障处理方案，在完成相应处理工作后，返回主页进行多视角自由监控。小A可在故障预警模块查阅过往的故障记录。

2.3 需求定义和功能分析

分析上述情境描述结果，将虚拟监测系统的功能分为三维监控、故障预警和数据可视化，可以解决现有虚拟监测系统功能欠缺、分类混乱的问题，具体如下。

1）三维监控功能。该功能的监测对象包括采煤机、液压支架（群组和单机）、运输机构、辅助系统和环境，其监测内容以设备的位置和姿态为主，运行和健康数据为辅。同时包含采煤机和液压支架的动作控制。

2）故障预警功能。该模块可以在设备故障时做出警示，呈现故障动画，同时具有记录故障的作用。

3）数据可视化功能。该模块可以分类统计所有数据，并以图表形式展示变化趋势。该功能模块中将数据分为实时数据和历史数据2种类型。

在用户调研过程中发现，用户对系统功能的需求度存在差异，例如，同样是三维监控功能，综采三机协同运动监测需求度远高于三机单体的监测需求度，在系统交互逻辑设计中，三机协同监测具有较高的逻辑层级。根据用户需求度完成的功能优先级排序设计，可用于指导界面交互逻辑图设计，见图4。

图4 系统功能优先级排序

3 情境求解

情境求解的目标是分析、解决设计问题，具体包括概念设计、原型设计和视觉设计的过程。

3.1 概念设计

产品功能的交互逻辑设计决定了系统界面的层级关系和交互形式。系统功能优先级越高，相应的功能模块层级越高，从而提高了用户操作的便捷度，优先级较低的功能作为上一级功能的子节点。遵循上述要求，完成所有系统功能的交互逻辑，见图5。该设计结果是根据监测对象对系统功能进行分类，并依据功能优先级完成交互界面的层级划分，从而有效避免界面元素的单一堆积。

图5 系统交互逻辑

3.2 原型设计

运用简单形状和灰阶色彩填充的线框图以完成原型设计，并规划系统界面的功能、比例和布局，最终完成了一组低保真度的设计原型。

该过程先对监测系统界面元素进行分类，具体有标题信息、虚拟场景呈现、功能菜单栏、子功能控制和信息呈现。随后根据系统功能优先级、用户认知和行为习惯，完成4类界面元素的布局设计，见图6。

图6 界面元素布局设计

标题信息区用于提醒用户当前所在的功能层级，将其置于界面上方符合用户的认知习惯，提高了信息识别效率。三维监测功能的优先级最高，因此虚拟场景区在界面中的面积占比最大，处于视觉中心。菜单栏区用于切换功能模块，将其置于界面左下方符合用户的认知习惯，且满足易用性的要求。子功能区域以显示信息为主且操作较少，置于屏幕右侧。

最后根据元素布局图，以完成综采工作面虚拟监测系统交互界面的低保真设计，见图7，界面跳转流程如图中箭头所指方向。该设计结果的功能划分方式具有相似性，各层级的系统界面布局具有一致性，可以在用户操作时提供暗示，最大程度地提高识别效率和操作的准确度，同时有效避免元素堆积，带给用户简洁、整齐的视觉效果，提供最大的虚拟监测视角，便于用户观测。

3.3 视觉设计

该过程在原型设计的基础上，从视觉角度对用户界面的图形、符号和文字进行设计，得到了高保真度的设计结果。设计以图形替代文字，运用彩色来增强视觉效果，并对按键、文字、文本框等界面元素造型进行分类设计，从而增加界面的识别效率，提高系统界面的用户体验感。

在综采工作面虚拟监测系统设计中，选用蓝色系为主色，无彩色系为辅助色。蓝色隐喻着安全和沉静，可以增强用户对系统的信任感，同时安抚用户工作中极易产生的负面情绪。同时结合六边形的线、面元素，以增强虚拟监测系统的科技感。

系统主要控件的图标见图8，展示了系统主要控件的图形符号。线和面形象化的组合方式，提取了综采设备的造型元素，勾画了符合用户认知习惯的图标，以图形辅助文字图标，解决现有系统界面识别效率低的问题，增加产品易学性和交互效率。系统界面的高保真设计见图9，其中图9a和图9b是面向采煤机和场景漫游三维监测功能的部分界面展示，图9c是数据可视化功能部分界面展示，图9d是功能预警部分界面展示。虚拟监测系统界面注重呈现虚拟场景，其界面元素有较强的层级关系和立体空间感，在元素设计时可以通过透视的视觉效果来增强界面的空间感，运用透明度和线面关系强化界面的层次感。

图7 系统界面的保真设计

图8 系统主要控件的图标

图9 系统界面的高保真设计

4 系统开发与测试

4.1 系统开发

在完成情境求解的设计过程后，选择综合性较高Unity3d为系统开发引擎，按照改进设计结果完成系统开发。以液压支架单机监测界面开发为例，见图10。

图10 液压支架单机监测

4.2 系统测试及评价

系统界面交互评价因素有着不易确定、描述模糊的特点，因此采用模糊综合评价法，实现量化评价因素，对系统用户体验感进行综合评价。模糊综合评价法是一种基于模糊数学变换理论和隶属度原则，对多因素制约的对象进行定量分析的综合评价方法[19-20]。

根据现有界面的不足和设计流程，将界面用户体验感的评价因素分为2级，运用层次分析法和专家打分法确定各个评价因素的权重，综合评价因素及权重值见表1。

表1 综合评价因素及权重值

Tab.1 Factors and weight value of comprehensive evaluation

根据年龄、工种和工作年限，选取50名参与汾西煤矿综采智能化培训人员为调研对象，其中综采工作面操作工25人，集控中心工作人员25人，其中25岁以下5人，25～35岁15人、36～45岁20人，46～55岁10人，实验对象群按照年龄比例进行了筛选，工作年限为5年以下有2人，5～15年有34人，15年以上有14人。确定实验对象后，引导用户使用综采工作面虚拟监测系统，完成相同操作（综采工作面三机协同运行情况监测，监测视角切换及设备控制，设备运行数据记录），并由用户为所有评价因素进行打分。测试实验见图11。

试验过程分为2个阶段。第1阶段为提出问题阶段，实验对象使用如图2的监测系统，并进行评分；第2阶段为系统开发完成后，实验对象操作改进后的监测系统并进行评分。改进前后2级因素评价结果，见表2。

图11 测试实验

表2 2级因素评价结果

Tab.2 Results of level 2 factor evaluation

各层级的备择集={1,2,3,4}={好，较好，一般，差}分别对应“90-100，70-89，50-69，<50”，采用加权平均计算法计算结果：

5 结语

综采工作面虚拟监测系统是智慧矿山发展的重要组成部分，在当今重视用户体验的时代，该系统界面的交互研究必然受到重视。针对当前综采工作面虚拟监测系统界面交互体验感差的问题，提出情境设计和用户体验相结合的界面交互设计方法，从系统功能、交互流程和色彩布局多方面对系统进行改进设计。通过“概念—原型—视觉”的情境求解方式实现了系统界面从无到有的设计过程。以模糊综合评价法量化评价因素，实验验证了该设计方法的合理性和有效性。

将界面交互设计理论运用于新行业，从较新的角度分析综采工作面虚拟监测系统的设计方向，将用户为主的设计理念融入综采工作面监测系统的设计开发中，从而增加综采工作人员对该系统的接受程度，并为以后的综采虚拟系统界面设计提供理论支撑。

此外，情境设计在综采监测系统界面交互设计中的成功应用，为工业类监测系统的设计和开发提供了行之有效的理论参考，进而提高了工业领域对人性化的重视，增强了其他工业类监测系统的用户体验。

[1] 李阿乐, 郑晓雯, 唐哲. 虚拟综采工作面三机运动状态监测系统研究[J]. 煤矿机械, 2016, 37(8): 41-44.

LI A-le, ZHENG Xiao-wen, TANG Zhe. Research on three Machine Motion Monitoring System in Virtual Fully Mechanized Mining Face[J]. Coal Mining Machinery, 2016, 37(8): 41-44.

[2] XIE J C, YANG Z J, WANG X W, et al. A Virtual Reality Collaborative Planning Simulator and Its Method for Three Machines in a Fully Mechanized Coal Mining Face[J]. Arabian Journal for Science and Engineering, 2018, 43(9): 4835-4854.

[3] XIE J C, YANG Z J, WANG X W, et al. A Remote VR Operation System for a Fully Mechanised Coal-Mining Face Using Real-Time Data and Collaborative Network Technology[J]. Mining Technology, 2018, 127(4): 230-240.

[4] 谢嘉成, 王学文, 郝尚清, 等. 工业互联网驱动的透明综采工作面运行系统及关键技术[J]. 计算机集成制造系统, 2019, 25(12): 3160-3169.

XIE Jia-cheng, WANG Xue-wen, HAO Shang-qing, et al. Operation System and Key Technology of Transparent Fully Mechanized Mining Face Driven by Industrial Internet[J] Computer Integrated Manufacturing System, 2019, 25(12): 3160-3169.

[5] 谢嘉成, 杨兆建, 王学文, 等. 综采工作面三机虚拟协同关键技术研究[J]. 工程设计学报, 2018, 25(1): 85-93.

XIE Jia-cheng, WANG Xue-wen, HAO Shang-qing, et al. Operation System and Key Technology of Transparent Fully Mechanized Mining Face Driven by Industrial Internet[J] Computer Integrated Manufacturing System, 2019, 25(12): 3160-3169.

[6] 谢嘉成, 杨兆建, 王学文, 等. 虚拟现实环境下液压支架部件无缝联动方法研究[J]. 工程设计学报, 2018, 25(1): 85-93.

XIE Jia-cheng, YANG Zhao-jian, WANG Xue-wen, et al. Research on Seamless Linkage Method of Hydraulic Support Components in Virtual Reality Environment[J] Journal of Engineering Design, 2018, 25 (1): 85-93.

[7] 乔春光, 王学文, 谢嘉成, 等. 刮板输送机水平面形态检测方法[J]. 工矿自动化, 2018, 44(8): 52-57.

QIAO Chun-guang, WANG Xue-wen, XIE Jia-cheng, et al. Detection Method of Horizontal Plane Shape of Scraper Conveyor[J] Industrial and Mining Automation, 2018, 44(8): 52-57.

[8] 张庆, 王学文, 谢嘉成, 等. 基于捷联惯导系统的采煤机定位与姿态调整[J]. 工矿自动化, 2017, 43(10): 83-89.

ZHANG Qing, WANG Xue-wen, XIE Jia-cheng, et al. Positioning and Attitude Adjustment of Shearer Based on Strapdown Inertial Navigation System[J]. Industrial and Mining Automation, 2017, 43(10): 83-89.

[9] 王学文, 谢嘉成, 郝尚清, 等. 智能化综采工作面实时虚拟监测方法与关键技术[J]. 煤炭学报, 2020, 45(6): 1984-1996.

WANG Xue-wen, XIE Jia-cheng, HAO Shang-qing, et al. Real Time Virtual Monitoring Method and Key Technology of Intelligent Fully Mechanized Mining Face[J]. Journal of Coal, 2020, 45(6): 1984-1996.

[10] 胡珊, 蒋旭, 符凯杰, 等. 基于SEM的交互式公共导识系统体验设计研究[J]. 图学学报, 2020, 41(2): 204-209.

HU Shan, JIANG Xu, FU Kai-jie, et al. Research on Experience Design of Interactive Public Guidance System Based on SEM[J] Journal of Graphics, 2020, 41(2): 204-209.

[11] 曾栋. 面向用户体验的产品造型设计流程研究及应用[J]. 现代制造工程, 2012(9): 43-47.

ZENG Dong. Research and Application of Product Modeling Design Process for User Experience[J]. Modern Manufacturing Engineering, 2012(9): 43-47.

[12] 王文娟, 张碧含, 符梦婷, 等. 无人物流车的车外屏人机界面设计研究[J]. 图学学报, 2020, 41(3): 335-341.

WANG Wen-juan, ZHANG Bi-han, FU Meng-ting, et al. Research on Man-Machine Interface Design of Exterior Screen of Unmanned Vehicle[J] Journal of Graphics, 2020, 41 (3): 335-341.

[13] BERGSTROM J R, SCHALL A. Eye Tracking in User Experience Design[M]. San Francisco: Morgan Kaufmann, 2014.

[14] 谢伟, 辛向阳. 基于无意识认知的交互设计研究[J]. 现代电子技术, 2016, 39(12): 22-25.

XIE Wei, XIN Xiang-yang. Research on Interaction Design Based on Unconscious Cognition[J] Modern Electronic Technology, 2016, 39(12): 22-25.

[15] 王熙元, 张依云, 郑迪斐. 医疗监测设备人机交互界面情感化设计[J]. 包装工程, 2018, 39(2): 113-118.

WANG Xi-yuan, ZHANG Yi-yun, ZHENG Di-fei Emotional Design of Human-Computer Interaction Interface of Medical Monitoring Equipment[J] Packaging Engineering, 2018, 39(2): 113-118.

[16] 吴剑斌, 张竞元, 张凌浩. 基于情境感知的车载信息娱乐系统交互设计研究[J]. 包装工程, 2018, 39(16): 189-196.

WU Jian-bin, ZHANG Jing-yuan, ZHANG Ling-hao Research on Interaction Design of Vehicle Infotainment System Based on Context Perception[J] Packaging Engineering, 2018, 39(16): 189-196.

[17] 罗仕鉴, 龚蓉蓉, 朱上上. 面向用户体验的手持移动设备软件界面设计[J]. 计算机辅助设计与图形学学报, 2010, 22(6): 1033-1041.

LUO Shi-jian, GONG Rong-rong, ZHU Shang-shang. User Experience Oriented Software Interface Design of Handheld Mobile Devices[J] Journal of Computer Aided Design and Graphics, 2010, 22(6): 1033-1041.

[18] 尉雪玲. 情境分析法的老年室内助行产品设计研究[J]. 设计, 2016(5): 28-29.

WEI Xue-ling. Research on the Design of Indoor Walking aid Products for the Elderly Based on Situational Analysis[J]. Design, 2016 (5): 28-29.

[19] 杨少梅, 王婷, 李胜利. 基于模糊层次分析法的微信英语学习平台用户满意度综合评价——以水滴阅读为例[J]. 图书情报工作, 2019, 63(21): 97-104.

YANG Shao-mei, WANG Ting, LI Sheng-li Comprehensive Evaluation of User Satisfaction of Wechat English Learning Platform Based on Fuzzy Analytic Hierarchy Process: Taking shuidi Reading as an Example[J] Library and Information Work, 2019, 63(21): 97-104.

[20] 赵彩云, 李娟莉, 任家骏, 等. 基于CATIA的直立程控健身车人机工程仿真与评价[J]. 机械设计, 2019, 36(4): 140-144.

ZHAO Cai-yun, LI Juan-li, REN Jia-jun, et al. Ergonomic Simulation and Evaluation of Vertical Program-Controlled Fitness Vehicle Based on CATIA[J]. Mechanical Design, 2019, 36(4): 140-144.

Interaction Design of Virtual Monitoring System for Fully Mechanized Coal Mining Face

SUN Meng-zhen, LI Juan-li, XIE Jia-cheng, LI Su-hua

(Taiyuan University of Technology, Taiyuan 030024, China)

The purpose of this paper is to solve the problem of poor user experience caused by chaotic function, lack of humanization research in color, layout and interactive flow of the virtual monitoring system for fully mechanized coal mining face. Combining the situation design theory with the user experience hierarchy model, an interactive design method is proposed to construct the interface of virtual monitoring system in fully mechanized coal mining face. Firstly, this method completes the requirement definition and function analysis, and then prioritizes the system functions. Then, in the context solution process of “concept-prototype-vision” situation, interactive logic and visual elements are designed, and an efficient interactive design model is put forward. Finally, Unity3d development engine is used to develop the design scheme of the above virtual monitoring system.The fuzzy comprehensive evaluation method is adopted, and the experiment proves that the design scheme has a good user experience. The design method of system interface interaction in this paper is adopted to vertify that the design scheme has a good user experience through experiments, which also provides theoretical support for interaction design of virtual system interface.

scene design; user experience; interactive design; virtual monitoring; fully mechanized coal mining face

TB472

A

1001-3563(2022)06-0134-09

10.19554/j.cnki.1001-3563.2022.06.018

2021-12-23

国家自然科学基金（52004174）；中国博士后科学基金资助（2019M651081）；山西省研究生教改（2019JG047）

孙梦祯（1994—），女，硕士生，主攻工业设计。