武汉市三甲医院智能导诊系统的可用性调查
2019-10-23
随着信息和通信技术的进步,智能和移动技术越来越普遍,尤其在医疗保健领域,一些新型卫生信息系统被不断开发出来支持医院和其他卫生保健组织的管理和运作[1]。
智能导诊系统是嵌入到国内各大综合医院和医疗保健中心HIS系统中的一种专门导诊系统[2],通过智能语音交互的方式帮助用户完成导诊、分诊、地图导航的需求,旨在为用户提供高质量的医疗服务,减轻用户的问诊负担,满足用户全方位的咨询需求,改善患者的就医体验,缓解医院人力资源负担,减轻导诊护士压力,优化医院就医流程[3]。具体而言就是让用户能够自己高效地实现导航、医疗指导、咨询、挂号等个性化功能。系统的高可用性将有效促进患者的深入参与,反之不合理的设计将会导致较差的用户体验[4]。本文对武汉市3所不同规模特点的大型综合三甲医院中的同一导诊系统展开有用性调查,以期发现该系统在实际应用中存在的问题,提出相应的解决办法,提升该系统的可用性。
1 研究方法及数据采集
1.1 启发式评价方法
在对相关研究的回顾中发现,Julie Chan[5]和Nabovati Ehsan[6]等人通过启发式评价方法对系统的缺陷进行了修正,达到了研究的预期效果。因启发式评估不需要特定的用户参与或使用特殊设备,成本相对较低,可用性高,被称为“简化的可用性工程”[7]。此外,启发式评估法还具有易学易用、收益成本比较高等优点[8]。本文采用可用性研究专家尼尔森(Jakob Nielsen)开发的启发式评估法检测系统中存在的有效性问题。
研究对象主要包括“系统状态可见性”“系统与用户现实世界的匹配”“用户控制与自由”“一致性与标准化”“错误预防”“认知而不是记忆”“使用的灵活性与效率”“美观而简洁的设计”“帮助用户识别、诊断和修正错误”“帮助和使用手册”等10个启发式。
根据尼尔森的研究,只需3位专家对系统内外部设计进行细致检查,65%~85%的现有的可用性问题都将被查找出来[9]。因此我们共招募了3位具备卫生健康和信息技术交叉学科背景、接受过系列启发式评估方法使用培训的专家对该系统进行了全面检查。
1.2 数据采集
为了达到启发式的评估目的,查找出相应的问题,主要通过4个阶段完成数据的采集工作。
第一阶段:每个检查员单独执行系统3次,检查系统时,所有违反10个启发式的问题将分别记录在他们的问题列表中。
第二阶段:组织所有检查人员整理结果,并简单解释各自发现的问题,剔除重复发现的问题,统一列出一个清晰的清单。
第三阶段:每一位评估者独立评定所发现问题的严重度和频率,并根据尼尔森的可用性原则,用严重性评价表对问题进行评分。
政治参与理论自然是依据我国的法律以及实际发展情况而形成的,指导我国公民进行政治生活也是遵照“依法参与”的原则,公民的政治参与需要以法律为基础,为自己一切政治活动的准绳,以此来科学、合理地进行政治生活的参与,其称之为合法参与。
第四阶段:由主持人统一结果,计算之前得到的每个问题的平均严重度并统计该问题违反启发式的频率,根据结果对发现的问题进行排序。
严重度是根据尼尔森提出的评分评估(表1),其中0表示“我完全不同意这是一个可用性问题”,4表示“极其严重的可用性问题”,即在产品发布之前必须解决这个问题[7]。
表1 尼尔森问题严重度评分
2 研究结果
2.1 启发式评价数据结果
此次启发式评价研究共发现问题86个,所有问题违反启发式178次(表2)。对系统有用性的检查结果主要从“问题的严重程度和违反的启发式个数”“违反的启发式种类、个数及其平均严重度得分”“所发现的系统有用性问题类别和违反的启发式个数及其严重度”3个方面展开分析。“平均严重度”是指不同专家对同一问题所涉及违反的启发式严重度的平均值。
2.2 启发式评价法研究结果
2.2.1 问题的严重程度和违反的启发式个数
表2显示了5种不同的问题严重度及其违反的178次启发式。从问题的严重程度来看,“较轻微”及以下的问题共88个,“较严重”及以上的问题共90个。其中“较严重”类别的问题最多,有53个;其次是“极轻微”类别,数量为43个;极严重问题有37个,需要立刻进行修复和重组。
从问题严重度的数量分布来看,“较严重”及以上问题违反的启发式占50.56%,一定程度上证实了该系统可用性确实存在较多亟待解决的问题。具体到被违反的启发式种类上,“较严重”及以上问题中,违反启发式“使用的灵活性与效率”共19次,违反“用户控制与自由”共13次。检查结果表明,导诊系统解决用户问题时的效率亟待提升,用户在使用该系统时对系统的有效掌控程度仍需改进。
表2 违反的启发式数量汇总统计
2.2.2 违反的启发式种类及其平均严重度
图1反映的是每项被违反的启发式的不同严重度所占的比例,图2则反映了每项被违反的启发式的平均严重度。图1和图2中,横坐标轴上的数值1-10分别代表了表2中的10个启发式。
图1 系统违反的各启发式频次
图2 系统违反的各启发式平均严重度
严重度平均分是指不同专家对同一问题所涉及违反的启发式严重度的平均值,其严重度平均分分值越高表明问题的严重程度越高。“启发式10(帮助和使用手册)”虽然被违反的次数较少,但严重度平均分最高,为2.80。严重度平均分较高的还有“启发式1”和“启发式9”,其严重度平均分分别为2.71和2.61。严重度平均分最低的是“启发式4(一致性与标准化)”,得分为1.78,违反次数较少。总体来看,每项启发式的严重度平均分在1.0~3.0之间,说明每项启发式违反的启发式严重度在“较轻微”问题到“较严重”问题之间。
从违反启发式的不同程度的问题个数来看,“启发式7(使用的灵活性与效率)”违反了44次,其中有7次“极严重”问题,12次“较严重”问题;其次是“启发式2(系统与用户现实世界的匹配)”,违反了29次,其中有9次涉及“极严重”问题;再次是“启发式3(用户控制与自由)”,违反了22次,其中有4次涉及“极严重”问题。
2.2.3 违反的启发式个数和平均严重度方面
剔除了专家提出的3个重复问题后,该系统违反启发式的五大方面可用性问题包括语音交互问题、地理导航问题、分诊问题、功能实现问题及人机交互方面的问题。其中,与分诊功能相关的问题以及其违反的启发式数量最多,分别达到了56个和27个。被违反的启发式中属“较轻微”问题的占35.71%,“较严重”及以上问题占48.21%。功能实现和人机交互方面的问题数量都为15个,但有关功能实现的问题违反了启发式次数38次,其中“极严重”问题9次;人机交互相关问题违反启发式28次,其中“极轻微”与“较严重”及以上问题数量都是11个。语音交互相关与导航方面的问题数量都为13个,其中语音交互相关的“较严重”问题占68.75%,“极严重”问题占18.75%;导航方面“较严重”及以上问题占66.67%。
3 存在问题
3.1 系统内部设计
3.1.1 以用户为中心的设计理念不足
该系统的设计中缺乏“以用户为中心”的理念,主要表现在以下几个方面。一是在“启发式7(使用灵活性与效率)”方面表现不甚理想;二是主界面屏幕较小,界面颜色较为单一,字体显示不清晰,这些不足将会造成用户的识别困难;三是该系统缺乏可靠有效的纠错提醒机制和等待反馈机制,“返回”按钮较为隐蔽,不利于用户对系统的掌握和操作。
此外,院内导航功能只是简单地标识了“出发点”与“目的地”两个位置,对于“如何到达”并未给出具体指示,解决问题的效果不明显。“启发式3(用户控制与自由)”问题主要体现在该系统交互时的系统声音不可调控,时大时小,严重影响用户的使用体验。
3.1.2 系统导诊方式专业性过强
“启发式2(系统与用户现实世界的匹配”“启发式9(帮助用户识别、诊断和修正错误”“启发式10(帮助和使用手册)”所涉及的问题主要表现在该系统的最主要功能——分诊功能上。该功能的主要作用是帮助用户根据自身的情况进行病情辨识,但所提供的索引词大多为专业医学用词。系统询问的问题过于细致,询问层次过深,在交互过程中很容易意外中断,加上一般用户欠缺专业医学知识,对自身病情不够了解,容易导致分诊失败甚至误诊。
3.2 系统外部环境
3.2.1 门诊环境不佳容易导致系统出错
语音交互过程中最突出的问题主要表现为信息采集效率慢、采集不准确、系统回复的声音时大时小且无法调节,它们直接严重违反了“启发式3(用户控制与自由)”“启发式5(错误预防)”“启发式7(使用的灵活性与效率)”“启发式8(美观而简洁的设计)”“启发式9(帮助用户识别、诊断和修正错误)”“启发式10(帮助和使用手册)”。这些问题与违反的启发式种类相关,一方面显示出嘈杂的门诊大厅环境不利于该系统对用户进行有效的语音采集,无法采集到准确的用户交互语音信息;另一方面,该语音采集系统目前只针对普通话,对于大部分使用方言的用户来说,语音交流反而成了极大的障碍,在与系统交互过程中很容易出错,甚至出现错误导诊的情况。
3.2.2 网络的不稳定性阻碍系统的正常使用
该系统的用户识别、语音交互分析等系列功能很大程度上依靠网络的稳定支撑,但其网络接入方式为无线网络,在规模较大的医院门诊环境中稳定性不足、传播速度慢,最终表现为系统处理问题速度过低、系统异常停滞、任务中断等。这些问题极大地阻碍了该系统的正常使用,降低了用户的使用满意度,不仅没有解决用户需求问题反而增加了用户就诊过程中的困扰。
3.2.3 医院系统维护更新不及时增加用户困扰
各个医院的规模和管理模式的不同也会给该系统带来较大的影响。首先,作为独立的子系统,该系统的日常维护和更新需要专门的维护。当系统出现崩溃或异常时,需要有相关工作人员进行干预维护协调,而不是依靠用户自行解决。具体表现为各科室医生的坐诊信息更新不及时、不完备,医生信息的查询只能依靠时间线查询,灵活性较差。其次,医院对于导诊系统本身的使用导向也会较大程度地影响该系统的可用性。问题主要体现在部分系统功能,如挂号缴费、单据查询、个人情况查询等功能虽已集成在主界面上,但却无法真正使用,降低了该系统的可用性。
4 建议
4.1 坚持用户主导,提升系统功能
系统有用性的最终检测者归根结底是用户。一切系统设计在技术可及的范围内都应以用户为中心展开,从专家和终端用户两头完善系统测试。为有效提升其有用性,可以从本文已经发现的若干系统问题着手,从用户角度开放用户自定义可调节功能,促进用户根据自身需求选择界面字体、颜色、音效等,避免这些问题成为用户使用的障碍。此外,系统开发者可以有针对性地提高各项功能的可操作和易用性,结合当前已发现的如屏幕设计过小、语音交互功能效果较差等问题,优化各个功能入口到功能实现间的路径,减轻用户的使用压力和操作成本,进而改善整个系统的使用体验和效果。
4.2 加强管理维护,优化使用场所
加强组织管理,定期维护检修,随时接受用户的使用反馈及意见,针对问题进行修正并及时解决问题。设置特定的系统使用场所,可确保电源、网络的持续畅通,从而规避因电源问题产生的异常情况、因网络受阻产生的系统处理速度过慢等问题,还可以保护用户在分诊时的个人隐私。
4.3 顺应时代发展,及时更迭换代
系统有自身的生命周期,系统的开发者及管理者也要与时俱进,在做好系统开发维护的同时,也要结合时代发展需要,突破自身发展局限,探索新的系统运行模式和人机交互手段,将不断涌现的新技术、新理念融入到新系统中,使其能够更好地服务用户。
5 结语
由于该系统刚开始在各大综合医院投入运营使用,在大面积普及应用前,如何有效解决用户使用医院导诊系统遇到的实际问题,仍面临诸多困难和挑战。目前医院的系统在开发或刚投入使用阶段,缺乏相关的有用性研究,容易对终端用户的实际应用造成负面影响,且系统的开发没有充分考虑到终端用户的需求,因此进一步深入验证系统的可用性显得尤为必要和紧迫[10]。
根据本文的研究结果,可以有效发现并帮助消除研究过程中发现的系统有用性问题,切实提高系统的可用性,终端用户将不再需要过度依赖导诊护士或医院IT专家的技术支持,可有效提高医院的服务水平和工作效率,降低用户的问诊负担。