基于眼动技术的医疗器械说明书可用性评估
2016-08-09陈嘉绪张少伟周颖杨昌玮孟恬陈秋婷许贤春胡文涵上海理工大学医疗器械与食品学院上海200093
陈嘉绪,张少伟,周颖,杨昌玮,孟恬,陈秋婷,许贤春,胡文涵上海理工大学医疗器械与食品学院,上海 200093
基于眼动技术的医疗器械说明书可用性评估
陈嘉绪,张少伟,周颖,杨昌玮,孟恬,陈秋婷,许贤春,胡文涵
上海理工大学医疗器械与食品学院,上海200093
目的为今后能够对医疗器械使用说明书的可用性进行准确可靠的评价并提出合理的改进意见,提出一种基于眼动技术的可用性评估方法。方法利用一台Tobii眼动仪进行测试,根据得出的眼动数据建立初步可用性初步评估眼动模型,并且利用SPSS对不同兴趣区下的眼动数据,如:注视时间长度、访问时间长度、首次注视时间等进行单因素方差分析和多重比较,分析得出不同医疗器械说明书下被试的视觉行为差异以及说明书可用性差异。结果结合调查问卷发现眼动模型可靠准确,且利用方差分析和多重比较法能够定量地反映出说明书可用性的差异和需要改进的兴趣区。 结论利用眼动技术,可以在被试的视觉行为和可用性指标间建立一种定量、精准的关系及评价体系,从而为今后医疗器械说明书的可用性评估及改进提供了一种可靠的方法。
眼动技术;可用性评估;眼动模型;方差分析
[Abstract]Objective To accurately and reliably evaluate the availability of medical device instructions in the future and provide rational improvement suggestions and availability evaluation method based on eye movement technique.Methods A Tobii eye tracker was used for test,and the eye movement model was initially established according to the eye movement data,and the availability was initially evaluated,and the eye movement data such as visual fixation time,access time and initial visual fixation time under different interest areas were given factor analysis of variance and multiple comparisons by SPSS,and the differences in the visual behavior of subjects and instruction availability of different medical device instructions were analyzed.Results The questionnaire showed that the eye movement model was reliable and accurate,which can quantificationally reflect the instruction availability difference and interest areas needing improvement by using variance analysis and multiple comparison method.Conclusion A quantitative and accurate correlation and assessment system can be built between the visual behavior of subjects and availability index by using the eye movement technique thus providing a reliable method of availability evaluation and improvement of future medical device instructions.
[Key words]Eye movement technology;Availability evaluation;Eye movement model;Variance analysis
概念清晰的说明书对医疗器械的安全使用起着重要作用。可用性测试可以评估使用书存在的缺点并提供改进意见。往往医疗器械厂家认为可读性很强的信息,在用户看来却并非如此。因此,针对医疗器械使用说明书,生产商需要进行可用性评估从而确保使用书是有效的,这对防止用户因误读说明书而导致违规操作有着重要意义。以往,人因工程师多采用调查问卷和模拟操作的方法来进行可用性评估。然而1998年,Ellis S,Candera R等人[1]首先把眼动跟踪技术作为一种评估技术来评价网站的可用性水平,通过记录被试视线运动情况来分析操作过程中对界面视觉信息加工情况。这种方法对传统可用性测试是一种有益补充[2]。现今,在人因工程学领域,眼动追踪技术已经被认为可用性评价最主要的方法之一,而眼动特征也被认为是表征认知活动的重要性指标[3-4]。然而,眼动追踪在可用性评估方面依旧面领着如何将眼动数据与认知活动建立对应联系的困难[5]。该文将详细论述如何将眼动仪、数据处理软件和统计学方法相结合,利用眼动数据针对医疗器械使用说明的可用性进行定量准确的分析,为以后医疗器械使用书的可用性评估提供了一种全新而可靠的方法。
2 实验设计及方法
2.1被试者选取
该次试验选取受试者共40名,其中男、女生各20名,要求年龄差异不能过大,均在18~22岁之间,裸眼视力均为正常,使得眼球曲率半径不会影响眼动测试结果。此外,所有受试者之前从未阅读过实验中的说明书,也都是第1次使用眼动仪。
2.2实验仪器与材料
该次实验选取了Tobii公司出品的Tobii TX300系列眼动仪一台,以及配套使用的数据处理软件TobiiStudioTM 2.X,在实验中TobiiStudioTM 2.X可以自动根据眼动结果生成眼动轨迹图、热点图、不同兴趣区内的各项眼动数据以及所有眼动点的顺序、瞳孔大小和坐标等原始数据。并且使用SPSS Statistics 21.0对原始数据进行深入分析和处理。材料则选取飞利浦伟康呼吸机和德国Raphael呼吸机的使用说明手册各一份,两手册均包含了细体字、粗体字、图片及表格,排除了因设计不同而导致的实验误差。同时,两份手册每页字数相差均在每页总体字数的5%以内,排除了字数差异对于结果的干扰。显示器则选取分辨率为1024×768的19英寸液晶显示屏一台。
2.3实验设计
实验采用2(材料组别:伟康说明书、Raphael说明书)×4(兴趣区组别:细体字、粗体字、图片、表格)混合设计。因变量为测得的五类数据,五类数据名称及其含义如表1所示。测试过程中,被试坐在一台显示器前,显示器下方安有眼动仪,可在被试观察屏幕是自动记录眼动情况,显示器和操作电脑之间用USB接线链接,如图1所示。
图1 受试状态及仪器链接
2.4实验步骤
实验过程中具体操作步骤如下:①按照图1所示链接好眼动仪、主操作电脑、显示器和眼动仪充电电源,开启Tobii Studio软件,检查眼动仪是否安装完成;②选取本测试材料后,编辑好被试姓名等信息,被试双目平视显示器,屏幕中出现双眼且下方指示条变绿后开始进行校准。被试受试者盯着屏幕上出现的红点并随之移动,之后根据校准结果(如图2)判断是否符合规定,若否,重新开始校准;③开始进行测试;④选取需要的数据类型,并导出数据和其他热点图等;⑤将数据分组导入SPSS进行进一步分析。
表1 五类不同眼动数据及其含义
图2 校准结果
2.5AOI法及兴趣区(AOI)划分
AOI是眼动实验刺激材料上被人为定义的区域,可用于分析其中的眼动数据[6]。基于AOI的眼动数据可视化,可表示用户在AOI中消耗的注意时长,以及在不同AOI之间的访问与转移等情况[7]。两款说明书中的不同字形、样式均为表2所示的4种,将它们全部选为兴趣区后进行对比分析。
表2 兴趣区种类及组号
3 基于眼动模型的可用性评估
3.1眼动模型的建立
该文根据眼动实验得出的各种数据建立相应评估指标,并利用这些指标建立评估模型(见表3),对两款说明书的可用性进行预测性评估,并根据调查问卷反馈结果检验模型的合理性。
表3 指标种类及符号
(1)首次兴趣程度评估。
吸引度F
首次进入时间 (Time to First Fixation)W表征被试被吸引至相应AOI所需时间,时间越短,相应兴趣区对被试吸引度越大;而首次注视时间长度X越短,则被试对于该AOI的加工及认知难度越低、兴趣越高。定义吸引度公式为:
F=X+W(1)
F越小,则表示被试对于该AOI首次兴趣程度更高;
(2)搜索速度评估。
搜索速度S[8]
注视时间长度(Fixation Duration)表征认知过程的困难程度。注视时间越长表明受试者认知过程中困难程度越高。此前的实验已经验证,受试者在阅读文本材料的所花的时间要超过阅读图片材料的时间[9-10]。计算出眼动轨迹首次进入该AOI至最后离开该AOI所历经的平均时间——注视时间长度Y的倒数:
S=Y-1(2)
可知,注视时间Y越长,搜索速度S越低
(3)搜索准确率A。
在阅读过程中,由于受试者经常由于当前注视点获取信息不足而重返上一个注视点的位置重新获取信息,此时这个新产生的注视点被称为“第一类回溯注视”;另一方面,由于该次注视时间过长而导致的疲劳也会造成被试重返其他注视点,此类注视点被称为“第二类回溯注视”。而两类注视点的产生都会造成访问时间长度V大于注视时间长度Y,且产生的越多,V就越大。但由于第二类回溯注视主要取决于人眼视觉感知的生理特性,在统计学上表现出一定的稳定性[11],故V的增大主要可视为是由于被试在阅读中无法获取足够信息导致的,故定义搜索准确率A为:
A=V/Y(3)
可知当A大于1时,有回溯现象发生,而A越大,也表明搜索准确率越低。
3.2基于眼动模型的两款说明书可用性评价分析
3.2.1两款呼吸机说明书数据处理 将所有被试的数据进行整合,得到如表4~表9所示的原始数据,并计算出相应指标。可知伟康说明书中表格吸引度最高、图片次之而细体字最低,搜索速度图片最高,搜索准确率则是细体字最差;至于Raphael说明书则是以细体字和表格吸引度最高、粗体字最差,同时粗体字的搜索速度最高、细体字最差。但是粗体字的搜索准确率却和表格是最低的两组,图片则最高。
表4 伟康说明书吸引度的计算
表5 伟康说明书搜索速度的计算
表6 伟康说明书搜索准确率的计算
表7 Raphael说明书吸引度的计算
表8 Raphael说明书搜索速度的计算
表9 Raphael说明书搜索准确率的计算
3.2.2数据比较及分析将计算好的结果进行汇总分析,得到如表10所示的眼动模型评价结果表。
表10 眼动模型评价结果
通过分析表内数据可知,伟康说明书在图、表吸引度方面明显强于细、粗体字组,也明显超过了Raphael说明书的图、表吸引度,但是Raphael说明书细、粗体字的吸引度则明显强于伟康说明书,搜索速度S方面Raphael说明书也是明显优于伟康说明书。此外,通过表格,也可清晰反应出两款说明书各自存在的问题,譬如虽然在吸引度和搜索准确率方面,伟康说明书的图、表优势明显,而搜索速度则不明显;Raphael说明书的图片的搜索准确率则过于偏低,图表也不够吸引被试。将模型评估结果与得到的被试反馈表结果比较后,误差基本控制在10%,可见此眼动模型评价结果具有一定的有效性。
3.3基于SPSS方差分析的可用性评估
3.3.1单因素方差分析的思路及原理 单因素试验设计的主要思路如下:设因子为A,A有m个不同取值(一般称为水平),每个水平重复进行n次试验,则每次试验结果均可看作一个随机变量,同一水平下的n个试验结果都可看作同一总体的一个样本。设第i号水平的总体为Xi,第i号水平下第j次的试验结果为xij,则 (xi1,xi2,…,xin)就是X i的一个容量为n的样本。对应于m个总体,有m个这样的样本。 根据这m个样本值即可分析不同水平的变化对所考察指标有无显著影响,实际上就是考察m个总体的数学期望有无显著差异。因而将上述问题转换为一个假设检验问题[12]。
3.3.2单因素方差分析
(1)不同兴趣区的组间差异影响分析 将不同兴趣区的眼动原始数据输入SPSS,选取单因素ANOVA分析,在方差齐性的前提下得到两种呼吸机说明书不同兴趣区的组间差异表(表11、12),由显著性数据可以得知针对不同眼动数据,由兴趣区的种类而导致的差异的大小。
表11 伟康说明书组间差异
由表11可知,在伟康呼吸机说明书测试结果中,不同兴趣区导致的组间差异以“访问时间长度”最为显著,其次是“首次进入时间”,最不显著的是“注视时间长度”。
表12 Raphael说明书组间差异
由表12可知,在Raphael呼吸机说明书测试结果中,不同兴趣区导致的组间差异以“访问点次数”最为显著,其次是“首次注视时间长度”,最不显著的是“首次进入时间”。
(2)多重比较结果分析。为进一步探究不同兴趣区之间对于各眼动数据的影响,通过多重比较结果表来进行对照分析。其中设置显著性水平α=0.1,当显著性小于0.1时,可认为组间差异明显。
表13 两个说明书首次注视时间长度的多重比较结果
表14 两个说明书注视时间长度的多重比较结果
在伟康呼吸机说明书测试结果中,1、3组,即细体字和表格的首次注视时间差异较为显著(α<0.1),而据表4数据可知,细体字首次注视时间最长、表格最短。据吸引度F公式(1)可知,首次注视时间越短,F越小,吸引度越高,故在伟康呼吸机说明书中,细体字对于吸引度影响最大,应该设法改良从而提高可用性。同理,Raphael说明书中1、3(细体字、表格)以及1、4(细体字、粗体字)差异显著,而细体字首次注视时间最长,使得吸引度下降最严重,应设法改良。
虽然表14中伟康说明书无显著性差异,但是亦可看出2、4组(粗体字、图片)差异较其他组更为显著,而粗体字的注视时间最长,对搜索速度S影响最大;Raphael说明书测试中,1、4组(细、粗体字)差异显著,而根据表8,细体字的注视时间最长,对搜索速度S影响最大。均应设法改良。
表15 两个说明书访问时间长度的多重比较结果
根据表15可知,伟康说明书中1、4组(细体字、图片)、2、4组(粗体字、图片)、3、4组(表格、图片)差异显著,且细体字访问时间最长,图片最短;而Raphael说明书中2、3组(图片、表格)差异最为显著,其中表格访问时间最长,图片最短。
结合表14、15分析可知,伟康说明书中细体字在注视时间长度与其他组差异不显著,而在访问时间里显著且时间最长,可知伟康呼吸机说明书细体字导致的回溯现象较为严重,使得搜索准确率下降最为严重,故应设法提高细体字的阅读准确率。而粗体字和表格注视时间均较图片不显著,同时在访问时间方面显著,可知访问时间过长是导致粗体字和表格相较于图片搜素准确率较低的主要原因;在Raphael呼吸机说明书中细体字较粗体字注视时间差异显著,说明细体字注视时间过长导致了搜索速度的下降。而图片和表格在访问时间差异显著且表格访问时间最长,同时在注视时间差异不显著,表明表格导致的回溯现象较为严重,使得表格的搜索准确率下降严重。
表16 两个说明书访问点次数的多重比较结果
根据表16可知,维康说明书中的1、2组(细体字、粗体字组)以及1、4组(细体字、图片组)在访问点次数方面差异显著,且根据均值差大于0可知都以1组(细体字组)的访问点数为最多。而根据表15可知,1、2组在访问时间长度方面差异不明显。故1组的每个访问点的平均持续时间较短,而访问点数偏多。1、4组虽然在访问时间长度上差异也显著,但是1组的每个访问点上的平均时间长度较少(用访问时间长度除以访问点数)。两组结果均再次验证了上述结论中伟康说明书细体字组回溯现象的严重性;而Raphael说明书测试中2、3组(图片组、表格组)差异显著,且3组(表格组)的访问点数多于2组(图片组)。但根据表15可知,2、3组在访问时间长度上亦差异显著而以3组时间较长。比较其每个访问点的平均时间长度,发现3组的较短。再次验证了上述中Raphael说明书表格组回溯现象严重的结论。
表17 两个说明书首次进入时间的多重比较结果
由表17可知,伟康说明书中1、3(细体字、表格)和1、4(细体字、图片)在首次进入时间方面差异显著,细体字时间最长而表格图片均较短,可知细体字的首次进入时间过长影响到了说明书的吸引度。而Raphael说明书在首次进入时间上兴趣区差异均不显著,表明在这一数据上,并无某个区域对吸引度造成较大的影响。
4 结语
该文利用Tobii TX300眼动仪测试受试者阅读医疗器械使用说明书时不同的眼动情况,并结合数学建模以及SPSS单因素方差分析,针对得到的结果对医疗器械使用说明书可用性的改进提供了有力的数据支持。利用模型可以初步对于说明书进行指标评价。根据不同指标评价结果,可使用方差分析具体研究得出不同类型兴趣区对于眼动数据的影响。研究表明,不同说明书同一兴趣区和同一兴趣区不同说明书的眼动情况均有较大差异,而利用模型和方差分析结合的评估方法,可以得知不同指标下可用性的评估结果,并根据结果通过方差分析来探究具体某一兴趣区的可用性对指标的影响最大(或最小),从而得知改善该区域可最大程度上提高说明书的可用性。传统的可用性评价主要依靠推测和调查用户喜好等方式,缺乏科学依据。而该文利用眼动追踪技术,对得到的眼动数据基于统计学方法进行了定量分析,从而为今后医疗器械说明书的可用性测试提供了一种有效的评估方法。
[1]Ellis S,Candera R Misner J,et al.Window to the Soul What Eye Movements Tell US about Software Usability.Proceedings oftheUsabilityProfessionals'Association[C].Washington,DC: UPAPress,1998:151-178.
[2]赵新灿,左洪福,任勇军.眼动仪与视线跟踪技术综述[J].计算机工程与应用,2006,42(12):118-120.
[3]M.A.Just,P.A.Carpenter.Eye fixations and cognitive processes[J].Cognitive Psychology,1976,8:441-480.
[4]Goldberg J H,Wichansky A M.Eye tracking in usability evaluation:a practitioner's guide[M]//Themind's Eye:Cognitive and Applied Aspects of Eye Movement Research[J].Oxford:Elsevier Science,2003:573-605.
[5]Robert J.K.Jacob,Keith S.Karn.Commentary on Section 4 -Eye Tracking in Human-Computer Interaction and Usability Research:Ready to Deliver the Promises[J].Mind, 2003,2(3):573-605.
[6]Holmqvist K,NystrOm M,Andersson R,et al.Eyetracking:a comprehensive guide to methods and measures[M].Oxford: Oxford University Press,2011.
[7]程时伟,孙凌云.眼动数据可视化综述[J].计算机辅助设计与图形学学报,2014,26(5):698-707.
[8]程时伟,孙守迁.手机用户界面可用性评估的眼动模型[C].第四届和谐人机环境联合学术会议.2008.
[9]G.R.Loftus,N.H.Mackworth.Cognitive determinants of fixation location during picture viewing[J].Journal ofExperimental Psychology:Human Perception and Performance,1978,4:565-572.
[10]J.M.Henderson,P.A.Weeks,and A.Hollingworth.The effects of semantic consistency on eye movements during complex scene viewing[J].Journal ofExperimental Psychology:Human Perception and Performance,1999,25:210-228.
[11]张光强,沈模卫,陶嵘.可用性测试中的视线跟踪技术[J].人类功效学,2001,7(4):9-13.
[12]焦鹏,费惠佳.方差分析法在制导仿真系统VV&A中的应用[J].计算机仿真,2010,27(6):115-117.
Availability Evaluation of Medical Device Instructions Based on Eye Movement Technique
CHEN Jia-xu,ZHANG Shao-wei,ZHOU Ying,YANG Chang-wei,MENG Tian,CHEN Qiu-ting,XU Xian-chun,HU Wen-han
College of Medical Device and Food,University of Shanghai for Science and Technology,Shanghai,200093 China
R197.39
A
1672-5654(2016)05(a)-0035-07
2015年度“精品本科”教学改革项目《BME专业卓越工程师培养方案优化设计》;2014年上海市大学生创新创业训练计划项目(SH10252142)。
陈嘉绪(1994-),男,甘肃兰州人,本科,研究方向:医疗器械工程。
周颖(1973-),女,福建厦门人,硕士,讲师,研究方向:生物医学工程,E-mail:jenniferzhy@hotmail.com。
2016-02-27)