多模态视角下露天矿安全双控管理系统移动端交互设计研究

何 畔， 宁 芳

（中国矿业大学 建筑与设计学院， 江苏 徐州 221000）

0 引言

煤炭是我国最重要的一次性能源和重要的战略资源。 煤矿安全生产问题一直是社会关注的焦点。 2016 年10 月9 日，国务院安委办印发《关于实施遏制重特大事故工作指南构建安全风险分级管控和隐患排查治理双重预防机制的意见》[1]。 露天煤矿安全双控管理系统就是根据国家煤矿安全生产标准化的基本要求， 构建的基于安全风险分级管控和隐患排查治理双重预防管理机制的煤矿安全管理平台[2]。 在实际煤矿安全生产工作中，由于隐患排查治理效率低， 给煤矿安全生产目标的实现带来了极大压力。 煤矿企业现有的单模态信息传递的管理方式已经不能满足煤矿企业对安全生产信息化、 智能化管理的需求。 对于信息的多模态交互设计探索已成为煤矿企业安全生产信息化、智能化管理的趋势。

1 多模态概念

1.1 多模态交互

多模态一般指视觉、听觉、嗅觉、味觉和触觉等多种感官模态的组合。 多模态人机交互是指通过多种模态或信道对输入做出响应的系统[3]。 一般是指人们通过视觉、听觉、触觉等与计算机进行交互，从而达到模拟人类交流方式的目的。 这是一种有别于传统的单模态的人机交互技术。 主要依赖于视觉实现人机交互，而听觉和触觉感官鲜少被使用[4]。 多模态交互可以利用各种交互方式和设备之间的互补性，有效地结合多感官信息，可以显着提高用户输入界面的识别率，提高交互的自然性和高效性[5]。 多个模态的冗余性不仅可以带来强大的鲁棒性， 而且可以更好地适应环境和用户，扩宽用户的选择度。

1.2 多模态用户界面

多模态用户界面是一种以视线跟踪、语音识别、手势输入为基础的多媒体界面。 让使用者可以在自然、并行、协作的情况下，利用多种模态或多个通道进行交互操作，从而迅速地获取使用者的意图， 从而提高人机交互的高效性和自然性[6]。多模态用户界面较于单模态用户界面而言，多模态表征可以使信息表达的更加充分，避免单模态表征使人体单个感官认知负荷超载。

1.3 多模态展示

展示就是将信息呈现给用户， 信息呈现主要从两个角度展开分析：一是呈现信息的方式，另一是呈现的信息内容[7]。 根据多模态相关的定义，本文将多模态展示划分为多模态提示和多模态呈现。 多模态提示是指向用户提供如视觉、听觉、触觉等的感官刺激，从而引导用户关注多模态呈现。 多模态呈现就是在展示界面以多种符号形式进行视觉表征，调用视觉通道、听觉通道、触觉通道等多种呈现通道以并行或关联的进行信息编码， 强调在信息的贮存、加工与提取中，采用以语言为基础和以意象为基础的加工系统，有助于大脑信息加工潜能的激发。在人机交互的过程中，用户通过视觉通道、听觉通道与触觉通道等感官通道接受的信息所呈现的方式分别称之为视觉呈现、听觉呈现和触觉呈现。

（1）视觉呈现。 据研究发现，视觉捕获了80%的外部信息，信息主要是通过视觉呈现表征的。数字界面的视觉元素主要包括文本、图形、图片等，毋庸置疑，信息视觉呈现的特点：可视化、抽象化、信息传递效率高、信息接收速度快、大脑对视觉信息的加工能力强于其它感官。 但是，信息的视觉呈现也有其固有的缺点， 它很容易受到使用环境的影响，需要用户主动注意，才能将有意的部分转化为知觉加工。

（2）听觉呈现。 除了视觉，听觉是获取信息的最主要途径，是人们感知周围环境的一种方式。听觉呈现通过声音来表达信息，包含非语言音频和语言音频。非语言音频是指声音讯号，是抽象的声调，可以以结构化的组合来创建听觉信息。听觉对人体的刺激比视觉的刺激要大，人类对听觉的感知能力更强，声音信息会被优先捕捉。且听觉信息会吸引用户注意力，引导用户关注界面。 然而，听力呈现受到周围环境的制约，很容易被周围噪声的干扰。

（3）触觉呈现。触觉是由轻微物理刺激引起皮肤浅层感受器兴奋的一种皮肤感觉。 当使用者的注意力不在显示画面上时，使用触觉呈现来吸引注意力，或是通过交替的振动，强度的变化等来表征具体的讯息。在触摸屏移动设备界面设计中，我们最常用触觉呈现即为振动触觉，它可以作为操作反馈也可以成为信息传达通道。 振动触觉包括五个特性：频率、振幅、波形、持续时间、节奏。针对这五个特性的设计研究， 即可得到多种不同呈现信息的方式。 人类对触觉通道的反应比视觉、听觉通道更快，所以触觉讯息会比视觉讯息、听觉讯息来得更迅速；触觉信息基本不会受到外界干扰， 声音、 光线等对其没有任何影响；然而，触觉信息的表达却并不直观。

1.4 多模态交互设计方法

交互设计方法是指在进行交互设计活动时， 用以指导设计和推进设计进程的战略性理论框架， 包括设计流程和方法工具。 在相应的场景中规划和设计用户的行为逻辑是交互设计的重要目标。 多模态交互设计方法模型旨在交互设计程序的基础上，结合场景，加入多模态信息传播流程的问题研究[8]。文章介绍了一种多模态交互设计方法，如图1 所示，即用户根据需要把事件信息通过多种模态或多个信道输入到响应系统。 多模态用户界面通过对事件信息的集成整合， 可以迅速地捕捉用户的表达意图，从而进行多模态信息表征。根据用户所处的场景与时间两个维度，进行基于视觉、听觉、触觉的多模态提示设计。 根据不同的事件信息的特点选择合适的多模态呈现方式。最后进行多模态反馈的一个交互设计流程。多模态提示和多模态呈现在一个事件流程中可以多次出现，前、后可以表征相同，可以表征不同。 在此基础上，利用多模态提示与多模式呈现技术进行信息反馈， 建立一个闭合的事件信息处理系统。

图1 多模态交互设计方法

2 露天矿安全双控管理系统

2.1 系统介绍

露天矿安全双控管理系统就是把安全生产风险分级管控与隐患排查治理双重预防机制应用到煤矿安全信息化建设中来，在互联网和其他软硬件配置的帮助下，通过信息的收集和整合来保证煤矿安全生产管理。 风险源分为“人、机、环、管”四大类。隐患是指某个风险源的措施失效、 或者措施不到位所形成。 隐患排查治理工作就是对“人、机、环、管”所属风险类型的危险源管理措施和作业标准进行的落实操作。 隐患整改类型一般分为： 立即整改、限期整改。

2.2 问题提取

隐患排查治理流程见图2，分为隐患排查、隐患登记下达、隐患治理整改、隐患复查验收，是一个环环相扣的闭环管理工作流程。 对鄂尔多斯市现存露天矿调查研究发现， 现有的安全双控管理系统在隐患排查与隐患登记下达环节， 工作人员进行隐患信息登记的方式是排查出隐患后， 在现场使用纸质文件汇总记录隐患信息后再登录PC 端系统进行隐患信息登记，这样的事故隐患信息通常存在着关键字段缺失、记录不规范，数据形式单一等问题，地理位置信息也并不确切。 在隐患治理整改环节，采用的是在PC 端系统中手动点击“短信提醒”按钮发送短信提醒，或者线下进行电话提醒，通过单一模态的信息发给相关的技术人员。 信息传达的及时性和有效性得不到保障。 一些需要当天立即整改的风险隐患可能就拖成了事故。文章将根据露天矿的隐患排查治理流程，进行事件信息发展流程的交互设计探索。

图2 隐患排查治理流程

2.3 需求分析

在隐患登记下达阶段， 隐患信息需要及时的录入系统，同时要关注录入系统信息的多样性，多模态信息或多通道信息可以互为补充，互为限制，提高隐患信息正确表达的效率。据调查研究发现，露天矿的安全双控管理系统普遍只有PC 端系统，给隐患排查治理工作造成了很多不便。 可以增加移动端，方便文本信息、图像信息、视频信息、音频信息和位置信息的及时上报。在隐患登记下达与隐患治理整改环节，需要提高信息传递和展示的效率，可以通过多模态提示的方式，进行基于视觉、听觉、触觉的多模态提示和根据事件信息的特征对用户进行基于视觉呈现、听觉呈现、触觉呈现的多模态展示，从而提高事故隐患信息传递和展示的效率。

3 移动端交互设计

3.1 任务事件梳理

事件信息是一种非结构化的复杂信息，现有的单一模态、静态的展示方法对时序、结构和逻辑的表达并不清晰，因此用多模态展示方法对其进行再梳理。按照场景与特征两个维度，将隐患排查治理流程中的事件信息进行梳理。

基于场景维度把隐患事件信息“嘈杂-安静”两种状态分为“强模态-弱模态”进行多模态提示设计。基于时间维度把隐患整改类型中的“立即整改-限期整改”两种状态分为“强模态-弱模态”。 在移动端多模态提示中，以警示铃声、 警示震动的物理刺激让用户快速觉察到提示信息。 从而引导用户关注多模态呈现信息。 把警示铃声、警示震动细分，运用较强节奏的警示铃声、较强振幅与节奏的警示震动对“强模态”进行多模态信息表征。 运用较舒缓节奏的警示铃声与较舒缓的振幅与节奏的警示震动对“弱模态”进行多模态信息表征。

隐患排查治理工作是对“人、机、环、管”所属风险类型的危险源管理措施和作业标准进行的落实操作。 对“人机环管”隐患事件信息进行特征分析：人员的不安全行为原因主要是人员对于隐患的认识不到位、排查不准确、记录不规范等问题； 设备问题主要存在于隐患排查不到位、不及时， 没有严格按照规章制度执行隐患排查治理工作；环境指自然环境和作业环境两个方面，主要存在管理制度落实不到位， 作业场所仍有未佩戴个人防护工具的等情况；管理上的问题主要是隐患排查制度的不严格执行、治理方案的不落实、档案记录的不规范等问题；隐患事件信息依次呈现出因果性、逻辑性、时序性的特点。根据隐患事件信息的特点，隐患排查治理信息展示策略为：①选用视觉呈现中的流程图加文字讲解为主，每个分级步骤完成后可以给予适当触觉反馈为辅的隐患处理方案呈现方式，规范实操作业流程；②通过视频讲解（视觉呈现加听觉呈现）的方式，规范实操流程，并穿插强警示教育。这种以视觉呈现为主，听觉呈现、触觉呈现为辅的多模态呈现方式，不仅丰富了展示内容和形式，也为用户提供了更直观形象了解隐患事件信息的机会。 文本、图像、视频等都是视觉呈现，视频中听觉呈现是指听文字字幕和声音接受来传达信息。此呈现方式需要事先把隐患事件信息按照不同模态的呈现形式提前编码录入到系统中，以供用户选择。

3.2 移动端信息架构

基于隐患排查治理事件的信息架构见图3， 将隐患排查治理事件信息放入事件流中进行分析， 分为输入模块、解读展示模块、反馈模块。

图3 移动端信息架构

（1）输入模块。 输入模块由两部分组成，一部分是外部（露天矿）到移动端系统，另一部分是移动端系统到PC端系统。 第一阶段，露天矿员工根据实际需要，将相应的文本信息、图像信息、视频信息、音频信息、位置信息等多种模态的隐患排查登记信息，准确、清晰、及时地录入移动端系统，为后续信息处理做准备。 第二阶段，PC 端系统对前期获得的多模态信息进行优化、筛选和提炼，提炼出具有传递价值的信息，结合经验，对PC 端系统介质中的必要信息进行编码和物化，从而进入解读展示模块。

（2）解读展示模块。对PC 端传递的信息进行解码，用视听符号形式进行用户界面的视觉表征， 视听符号传递的大部分信息是以一系列流程图的形式呈现给接受者，而流程图是视听符号最主要的编码方式。 利用连续画面来传递信息的特点是生动、形象，信息量大，这也是连续图像的突出优势。 然后选择多模态提示与多模态呈现的呈现形式进行隐患整改信息的传递与展示。

（3）反馈模块。 在工作人员的认知结构中，需要知识储备和经验来解码、执行和应对演示信息。整治责任人通过分析隐患排查治理流程整改意见，结合实际操作经验，进行施工整治。 并通过移动端系统把整改后的多模态信息进行上传，等待反馈信息，从而开展后续工作。

3.3 移动端交互设计页面结构与界面

移动端交互设计页面结构见图4， 主要分为4 个部分“首页”主要是风险提示，隐患信息的最新动态显示、统计分析图、常用功能索引。“风险”主要包括人机环管专项风险辨识查询，以及风险任务清单和工作细节。“隐患”主要是体现出隐患治理的全过程。即隐患登记、隐患治理整改、隐患排查验收、隐患延误审批、隐患延误处理、隐患统计分析。“我的”界面简洁清晰，主要分为待办信息和历史信息。

图4 移动端交互设计页面结构

移动端交互设计界面见图5，由于是露天矿安全双控管理系统的移动端系统，属于工具类的产品，用户群体是露天矿员工， 因此界面的设计风格采用了蓝紫色系和较为简约的扁平化风格设计， 以此来突出多模态信息在界面中的展示，从而提升用户的隐患治理排查工作的效率。

图5 移动端交互设计界面

4 结束语

文章从多模态视角出发， 将多模态交互设计作为研究对象，以多模态信息传播流程为线索，构建了基于多模态输入、多模态界面展示、多模态提示与多模态呈现、多模态反馈的多模态交互设计模型。 结合场景和时间两个维度分析研究，对多模态提示方式进行设计。结合事件信息特点的分析研究，对多模态呈现方式进行设计，提高了信息传播与展示的效率。 并对露天矿安全双控管理系统移动端进行交互设计实践。 文章的研究为露天矿的安全生产信息化、智能化管理提供了一定的借鉴。然而在研究过程中，文章对于多模态提示仅考虑了“嘈杂-安静”一个维度， 对于影响多模态呈现的事件信息的分析还不够深入，今后仍需更加深入的分析研究。