可视化应用的评估方法研究综述

刘合翔

摘 要：[目的/意义]可视化是新形势下信息服务的一种普遍技术需求和应用趋势，而如何更好地运用这一技术就涉及对技术本身及其用户效用的考察与评估。[方法/过程]本文通过回顾相关研究及实践中对其可视化应用的评估方法，分别从理论运用、方法路径、评估任务、评估维度及指标等几个方面进行了梳理与分析。[结果/结论]研究发现，目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主，评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度，缺少评估的通用框架和用于评估的标准（任务、数据）测试集。而这些方面也相应地为可视化应用的评估提供了进一步创新实践的机会。

关键词：可视化;应用;评估方法;评估任务;评估维度;评估指标;综述

DOI：10.3969/j.issn.1008-0821.2020.04.017

〔中图分类号〕G252 〔文献标识码〕A 〔文章编号〕1008-0821（2020）04-0148-11

Research Review on Evaluation Methods of Visualization Application

Liu Hexiang

（School of Media and Design，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：[Purpose/Significance]Visualization is a general technical requirement and a trend of information services in the new situation，and better utilizing of this technology depends on investigation and evaluation of its utility.[Method/Process]From aspects of theory employing，assessing ways，task，dimension and index of evaluation by reviewing relevant researches and practices.[Result/Conclusion]The methods used in the assessment of visualized applications were quite diverse，but most of the evaluations were mainly based on experimental methods.The utility of the assessment was mostly about cognition.Emotional and social utility were rarely discussed and measured.There was a lack of an assessment generic framework and standard test set（of task，data）for evaluation.Corresponding to this，there were many opportunities for innovative practices in the evaluation of information visualization applications.

Key words：visualization;application;evaluation method;evaluation task;evaluation dimension;evaluation indicator;review

在當前信息服务的主体越来越多元化，信息服务开始高度竞争化的形势下，信息用户对信息服务提出了有别于和高于传统信息服务的要求。而其中的一点就是在信息简单传递和信息的定题研究之间，延伸出一类新的服务方式：尊重用户自身的信息研判能力，通过提供有效的信息解读辅助，提升用户自身解读信息的效能。而对于信息的辅助解读最有效的莫过于利用人类高效的视觉认知通道和视觉处理能力来进行信息的可视化。而要确保这一技术手段能得到有效的运用，就需要通过对可视化工具能力的评估和可视化应用后的用户效用评价来为可视化应用的持续改进提供依据。

本文首先通过检索主题相关的研究，选择研究的样本集，在相关研究变量中选择理论运用、方法路径、评估任务、评估维度及指标4个方面来考察、梳理与比较，最后形成一个以这4个变量为主体的信息可视化应用评估方法的参考框架。

1 可视化评估相关研究概述

国内相关研究中，通过对“可视化AND（评估 OR 评测 OR 评价）”等关键词组合的文献检视，结果文献中大多数是研究如何将可视化作为评估的手段应用在特定领域，而将可视化工具本身及其用户效用作为评估对象的研究则较少。国内针对这方面的典型研究有：陈为[1]对可视化测评的相关研究中评测流程、方法和影响因素的梳理总结;杨峰等对评价信息可视化技术的指标研究[2]和信息可视化显示效果优化的研究[3];吴莎莎等[4]对信息可视化技术可用性分析的框架设计与案例检验;冯小琴[5]对信息检索可视化的评价标准研究;张会平[6]对可视化的知识转化效用假设的实证研究;王辉等[7]对图书馆可视化系统效用的测试研究;邱玲玲[8]对可视化教学效果的实证研究等。

而通过“Visualization AND（Evaluate OR Assess OR Measure）”检索的外文文献相比较而言，针对可视化本身及其效用进行评估的研究则较为普遍。评估类研究也被归结为可视化研究中几大类别中的一类[9]。由于可视化连接的是以机器为中心的过程（如算法和技术）和以人为本的过程（如人类认知、交互、情感和沟通），因此可视化的评估通常围绕这两个方面来展开。此前的研究中以可视化技术和算法的评估居多，而近期针对用户的表现与反馈，评估可视化对其工作实践和分析推理能力改进的研究已有稳步的增长[10]。

尽管已经有各种各样日渐成熟的可视化技术，但针对不同的应用情境还需要对其进行特定的评估，以确定所选技术在特定场景下是否有用、可用与实用。相比评估结论的差异性与多样性，其评估的方法更值得归纳与总结。不同的评估方法也反映了不同研究者的偏好和对不同情境下方法适用度的判断。

2 可视化应用评估中的理论运用

理论与模型的借鉴是开展各领域研究的一种常用方法，站在成熟的理论与模型的基础上，可以让相关研究能够快速构建思考框架，同时对原有的理论模型做适应性检验和进一步地提炼与延展。

在涉及可视化应用评估的研究中，部分研究运用了一些理论模型来思考研究主题并构建研究框架，涉及的相关研究及其要点按其发表年份列举如下：

由以上提及的理论可以看出，可视化应用评估的相关研究中运用的理论来自于HCI、认知科学、设计学等多个领域。然而，相比涉及可视化应用评估研究的数量，运用相关理论来开展评估的仍然属于少数。事实上，在目前相关研究中，理论的运用并未成为一种自觉，运用理论的范围与深度也很有限，很多有价值的可参考理论，如信息空间理论、信息服务理论等未能被应用到可视化应用的评估上来，而这也为未来相关研究提供了进一步开展理论探索的空间。

3 可视化应用评估中的方法路径

关于可视化应用评估的方法，有一些研究总结了其不同的方向类别。例如Munzner T[9]总结的可视化应用评估股方法主要有两类：1）在实验室环境中进行用户研究，使用明确或抽象的任务，在时间和准确性方面进行定量测量，运用统计学方法进行分析，发现显著影响因素和因素之间的相互作用;2）开展现场研究，将可视化应用在目标用户的现实环境中，时间跨度通常为数周或数月，开展定性与定量测量。Plaisant C[20]则是将可视化应用的评估方法分为4类：控制实验比较设计元素，工具的可用性评估，比较两个或更多工具的控制实验，以及在现实环境中对工具进行案例研究。而Carpendale S[21]将可视化应用的评估方法从精准性、通用性和现实性的3个维度进一步扩展为：实地研究、实地实验、实验室实验、实验性模拟、判别研究、抽样调查、理论研究、计算机模拟8个类别。

基于对相关研究中方法选型的梳理以及参考前述的这些研究中的分类，本文认为可视化应用评估的方法总体可划分为3个大类：客观评估、主观评估与综合评估。

在客观评估的有关方法上，最常用的就是对照实验及观察法。Saraiya P等[22]认为可视化应用的评估就主要是在对照实验研究中评估用户对预定任务中的表现。而对于实验的方法，其基本的逻辑是：控制独立变量如工具、任务、数据和参与者等，依赖变量主要是准确性和效率。其中准确性包括精确度、错误率、正确和不正确响应的数量，而效率包括完成预定义基准测试任务的时间。而在实验和传统的观察方法之外，目前已有研究延伸了可视化应用评估的技术手段和方法形式，例如Chen X等[23]设计和实践了一个量化可视化所形成心理负载，并对用户偏好持续考察的在线评估。评估运用基于脑电波、眼動跟踪及日志等手段记录的数据进行了融合性的分析。

在主观评估的有关方法上，有很多研究者采用了有别于客观评估的形式与方法，以弥补可视化应用评估中客观评估方法的不足。例如Tory M等[24]就反思总结实验评估方法的弊端和不足，例如实验评估的成本、深度以及所适用的阶段等，通过与实验评估的比较，论证了专家评估方法的有效性。Zuk T等[25]认为启发式评估（基于既有经验规则的探索式评估）在可视化应用评估上使用得还不够，并总结整理了有关研究中可供参考的经验规则。Kennedy H等[26]则是在其可视化应用评估中尝试运用了多焦点小组访谈的形式，将小组分为对视觉表达有兴趣组、对数据有兴趣组、外地域组、特定族裔组、主题兴趣组、主题涉及组、无兴趣组、各组代表构成组等多类小组。

随着前述一些主流的评估方法的运用，不少研究者对传统评估方法的有效性提出了疑问与批判，认为可视化应用的评估应当结合客观与主观评估的方法，参考借鉴有关的理论，综合更多的一些现实因素进行考量。

偏综合性评估的相关研究中，Shneiderman B等[27]在回顾可视化应用的评估方法后提出评估可视化需要引入“多维深度长期案例研究”。其中多维是指使用观察、访谈、调查以及自动记录来评估用户绩效和界面效能;深入是指将专家用户转变成合作伙伴，深入、互动地开展研究;长期是指纵向研究，从特定工具的使用培训开始，观察用户的策略变化;案例研究是指在正常的环境中对用户向工作人员详细报告的有关问题进行分析。而Reda K等[18]发现大多数的可视化实证评估都是针对结果，而极少评估其中的用户过程，并针对这一问题以探索性可视分析为例构建了一套强调过程评估的评估方法。Isenberg P等[28]还认为可视化应用的评估在可视化产品开发生命周期的前期就应该进行，进而提出一种质性评估方法，判断可视化是否符合预期的使用情境，并通过评估来促进可视化设计的优化迭代。

而针对当前的可视化应用评估方法中存在的一些普遍问题，有关研究提出了方法批判，例如Andrews K[29]认为：评估的新的可视化界面不够成熟，在与成熟可视化界面比较时存在成熟度上的劣势;选择的测试用户不具有代表性;测试用户对可视化界面学习周期影响的考虑不够;测试任务设置简单，缺少对洞察和探索性任务的测试评估等。

更多涉及到以上划分的评估方法，及其应用到的有关研究可参见表2。

4 可视化应用评估中的评估任务设计

尽管可视化应用评估中采用的方法已较多元化，但目前主流的评估方法仍是以实验方法为主。而由于可视化应用评估的实验针对的具体目标往往不同，评估的对象各异，场景也不一，因此实验设计中的样本规划与流程安排必然是高度情境依赖的，相比较而言，评估实验中的任务设计则借鉴意义更大，因而本节重点考察的是相关评估实验中的任务设置。

基于该参考框架，在具体设计可视化应用的评估方案时，可依次从理论工具集中选取可参考的理论模型，选择合适的评估方法路径，参考和选用框架中涉及的评估任务类别及细项，基于框架中列及的影响因素选择需要重点控制的有关变量，选择框架中涉及的评估项目类别与评估指标来做评估的具体执行。

目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主。各评估的侧重有所不同，有的偏重评估工具能力，有的更重视评测用户效用。当前可视化应用评估存在的一些典型问题有：评估中运用理论较少;评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度;缺少一个评估的通用框架和用于评估的标准（任务、数据）测试集。而与此同时，可视化应用评估的研究与实践也存在着很多的创新机会，例如，对视觉、认知等领域众多有价值理论的引入;针对新兴媒介（VR、AR等）可视化效果的评估;构建基于用户交互行为数据的可视化效用测算模型，通过二维码等方式實现线下线上互动的户外可视化应用的公共效用研究等。

随着可视化应用的日益广泛和投入的加大，针对可视化应用的评估势必会为相关的工作实务所重视，进而对评估方法提出更高的要求。而本文通过对相关研究中可视化应用评估方法相关要素的总结梳理，为相关的研究及评估实务提供了一定的方法论参考。

参考文献

[1]陈为.数据可视化[M].北京：电子工业出版社，2013.

[2]杨峰，李蔚.评价信息可视化技术的指标研究[J].图书情报知识，2007，（4）：80-84.

[3]杨峰，李蔚.信息可视化显示效果的优化方法研究[J].现代情报，2012，32（5）：34-36.

[4]吴莎莎，刘正捷，张海昕.信息可视化技术的可用性[C]//建立和谐人机环境联合学术会议，2005.

[5]冯小琴.信息检索可视化的评价标准[J].知识经济，2009，（3）：126-127.

[6]张会平.可视化技术对知识转化效果影响的实证研究[J].情报探索，2014，（1）：1-5.

[7]王辉，吴鸣，肖永红，等.图书馆系统的用户测试组织案例研究[J].图书情报工作，2012，56（3）：71-74.

[8]邱玲玲.可视化与非可视化教学方法对不同文章背景知识的教学效果的实证性研究[D].贵阳：贵州大学，2008.

[9]Munzner T.Process and Pitfalls in Writing Information Visualization Research Papers[J].Information Visualization：Human-centered Issues and Perspectives，2008：134-153.

[10]Isenberg T，Isenberg P，Chen J，et al.A Systematic Review on the Practice of Evaluating Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2013，19（12）：2818-2827.

[11]Juarez O，Hendrickson C，Garrett J H.Evaluating Visualizations Based on the Performed Task[C]//Information Visualization，2000.Proceedings.IEEE International Conference on.IEEE，2000：135-142.

[12]Valiati E R A，Pimenta M S，Freitas C M D S.A Taxonomy of Tasks for Guiding the Evaluation of Multidimensional Visualizations[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[13]Cawthon N，Moere A V.A Conceptual Model for Evaluating Aesthetic Effect Within the User Experience of Information Visualization[C]//Information Visualization，2006.IV 2006.Tenth International Conference on.IEEE，2006：374-382.

[14]Hffler T N，Leutner D.Instructional Animation Versus Static Pictures：A Meta-analysis[J].Learning and Instruction，2007，17（6）：722-738.

[15]Moere A V，Tomitsch M，Wimmer C，et al.Evaluating the Effect of Style in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（12）：2739-2748.

[16]Demiralp C，Scheidegger C E，Kindlmann G L，et al.Visual Embedding：A Model for Visualization[J].IEEE Computer Graphics and Applications，2014，34（1）：10-15.

[17]Bresciani S，Eppler M J.Extending Tam to Information Visualization：A Framework for Evaluation[J].Electronic Journal of Information System Evaluation，2015，18（1）：46-58.

[18]Reda K，Johnson A E，Papka M E，et al.Modeling and Evaluating User Behavior in Exploratory Visual Analysis[J].Information Visualization，2016，15（4）：325-339.

[19]Dimara E，Bezerianos A，Dragicevic P.The Attraction Effect in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2017，23（1）：471-480.

[20]Plaisant C.The Challenge of Information Visualization Evaluation[C]//Proceedings of the Working Conference on Advanced Visual Interfaces.ACM，2004：109-116.

[21]Carpendale S.Evaluating Information Visualizations[J].Information Visualization，2008：19-45.

[22]Saraiya P，North C，Duca K.An Insight-based Methodology for Evaluating Bioinformatics Visualizations[J].IEEE Transactions on Visualization and Computer Graphics，2005，11（4）：443-456.

[23]Chen X，Ran J.Statistical Modeling for Visualization Evaluation Through Data Fusion[J].Applied Ergonomics，2017.

[24]Tory M，Moller T.Evaluating Visualizations：Do Expert Reviews Work？[J].IEEE Computer Graphics and Applications，2005，25（5）：8-11.

[25]Zuk T，Schlesier L，Neumann P，et al.Heuristics for Information Visualization Evaluation[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[26]Kennedy H，Hill R L，Allen W，et al.Engaging with（Big）Data Visualizations：Factors that Affect Engagement and Resulting New Definitions of Effectiveness[J].First Monday，2016，21（11）.

[27]Shneiderman B，Plaisant C.Strategies for Evaluating Information Visualization Tools：Multi-dimensional In-depth Long-term Case Studies[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-7.

[28]Isenberg P，Zuk T，Collins C，et al.Grounded Evaluation of Information Visualizations[C]//Proceedings of the 2008 Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2008：6.

[29]Andrews K.Evaluating Information Visualisations[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[30]Latorre Postigo J M，Hernández-Viadel J V，Trives J J R.Efficacy of a Group Memory Training Method for Older Adults Based on Visualization and Association Techniques：A Randomized，Controlled Trial With a Placebo Group[J].Applied Cognitive Psychology，2010，24（7）：956-968.

[45]Ghorbel F，Ellouze N，Métais E，et al.MEMO GRAPH：An Ontology Visualization Tool for Everyone[J].Procedia Computer Science，2016，96：265-274.

[46]Chen C，Yu Y U E.Empirical Studies of Information Visualization：A Meta-analysis[J].International Journal of Human-Computer Studies，2000，53（5）：851-866.

[47]Mackinlay J D.Automating the Design of Graphical Presentations of Relational Information[J].ACM Trans.Graphics，1986，5（2）：110-141.

[48]Halim Z，Muhammad T.Quantifying and Optimizing Visualization：An Evolutionary Computing-based Approach[J].Information Sciences，2017，385-386：284-313.

[49]Jansen Y，Dragicevic P，Fekete J D.Evaluating the Efficiency of Physical Visualizations[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.ACM，2013：2593-2602.

[50]Yammine K，Violato C.A Meta-analysis of the Educational Effectiveness of Three-dimensional Visualization Technologies in Teaching Anatomy[J].Anatomical Sciences Education，2015，8（6）：525-538.

[51]章明.視觉认知心理学[M].上海：华东师范大学出版社，1991.

[52]North C.Toward Measuring Visualization Insight[J].IEEE Comput Graph Appl，2006，26（3）：6-9.

[53]Tang C，Carpendale S.An Observational Study on Information Flow During Nurses Shift Change[C]//In Proceedings of the ACM Conference on Human Factors in Computing Systems（CHI），Pages 219-228，New York，USA，2007.ACM.

[54]宋晓蕾.视觉表象的产生与训练：一个整合的视角[M].北京：科学出版社，2015.

[55]Brünken R，Plass J L，Leutner D.Direct Measurement of Cognitive Load in Multimedia Learning[J].Educational Psychologist，2003，38（1）：53-61.

[56]Brath，Richard.Concept Demonstration：Metrics For Effective Information Visualization[C]//In Proceedings For IEEE Symposium On Information Visualization，pages 108-111.IEEE Service Center，Phoenix，AZ，Oct 20-21，1997.

[57]Lam H，Bertini E，Isenberg P，et al.Empirical Studies in Information Visualization：Seven Scenarios[J].Ieee Transactions on Visualization and Computer Graphics，2012，18（9）：1520-1536.

[58]McIntire J P，Liggett K K.The（Possible）Utility of Stereoscopic 3D Displays for Information Visualization：The Good，the Bad，and the Ugly[C]//3DVis（3DVis），2014 IEEE VIS International Workshop on.IEEE，2014：1-9.

[59]Kamal A，Cui F，Shankar G，et al.Teaching Data Structures：Effectiveness of Visualization and Textbook methods[EB/OL].http：//people.cs.vt.edu/～north/infoviz/dseval.doc，2017-08-02.

[60]Grinstein G，Kobsa A，Plaisant C，et al.Which Comes First，Usability or Utility？[C]//14th IEEE Visualization（VIZ03）.Seattle，WA.IEEE Computer Society，2003.

[61]Bernard J，Daberkow D，Fellner D，et al.VisInfo：A Digital Library System for Time Series Research Data Based on Exploratory Search—A User-centered Design Approach[J].International Journal on Digital Libraries，2015，16（1）：37-59.

[62]Freitas C M D S，Luzzardi P R，Cava R A，et al.Evaluating Usability of Information Visualization Techniques[J].2002.

[63]Bertini E，Santucci G.Visual Quality Metrics[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[64]Shneiderman B.The Eyes Have It：A Task By Data Type Taxonomy for Information Visualizations[C]//Visual Languages，1996.Proceedings.，IEEE Symposium on.IEEE，1996：336-343.

[65]Parsons P，Sedig K.Adjustable Properties of Visual Representations：Improving the Quality of Human-information Interaction[J].Journal of the Association for Information Science and Technology，2014，65（3）：455-482.

[66]Andrienko G，Andrienko N，Demsar U，et al.Space，Time and Visual Analytics[J].International Journal of Geographical Information Science，2010，24（10）：1577-1600.

[67]Edsall R M，Kraak M J，MacEachren A M，et al.Assessing the Effectiveness of Temporal Legends in Environmental Visualization[C]//GIS/LIS.1997，97：28-30.

[68]Bartram L.Can Motion Increase User Interface Bandwidth？[C]//Proceedings of 1997 IEEE Conference on Systems，Man and Cybernetics，1997.

[69]Birkhoff G.Aesthetic Measure[M].Cambridge，Massachusetts，Harvard University Press，1933.

[70]Dasgupta A，Chen M，Kosara R.Measuring Privacy and Utility in Privacy-Preserving Visualization[C]//Computer Graphics Forum，2013，32（8）：35-47.

[71]權国龙.CSK可视化知识表征设计、应用及效用分析[D].上海：华东师范大学，2017.

[72]蔡慧英.语义图示工具支持的协作问题解决学习的研究[D].上海：华东师范大学，2016.

（责任编辑：陈 媛）