IT服务企业内部产品文档质量满意度影响因素量化研究

摘要：IT服务企业的产品文档是传递产品知识的重要工具。其质量是用户对服务质量满意度的重要影响因素。然而文档质量本身如何评估，受哪些因素影响，一直以来研究甚少。本文借鉴软件工程和传播学理论，构建适合IT服务企业内部的产品文档质量评价体系，并分析其人口统计学变量与满意度之间的相关关系，为IT服务企业的文档管理机制提出优化意见。

关键词：产品文档;满意度;相关性分析

1. 引言

经过多年的互联网浪潮和技术演进，我国目前正处于互联网+蓬勃发展的阶段，大量面向企业IT服务的创业公司正在涌现。而创业公司的产品大量采用高新技术研发，也给产品本身的推广带来了一定的难度。能否给客户转达或转移适当且准确的产品和技术知识，成为客户在选型过程中的一个重要参考因素。具体到IT服务企业，面向客户的知识主要包括两方面，和客户现场有关的项目知识，以及和IT服务企业有关的产品技术知识。一般而言，后者主要体现为产品技术文档。

一直以来，对于IT外包服务的满意度研究，大多集中在项目或服务的总体质量层面。但很少有人具体关注其中作为必备交付物的产品文档，是否令客户满意，更少有人研究具体的影响因素细节。仅在国外有一份研究（Osman Gök，2019）证实产品文档质量经客户感知质量中介影响客户满意度。此外，周力（2011）在构建IT服务质量评价体系的工作中，发现顾客普遍认为服务过程产生的文档没有得到可靠保存。

本文以国内IT运维服务行业领先的R企业为研究对象，尝试量化其产品技术文档的满意度及影响因素，以期指导IT服务企业产品研发部门，提供更好的产品技术文档，继而有效的影响客户选项意向，提升企业绩效。

2. 文献综述

产品文档质量涉及多学科交叉领域，在软件工程、管理科学、传播学等均有不同侧重的探索。

2.1. 软件工程相关研究

软件工程中，软件定义为由指导计算机操作的程序，以及说明如何使用这些程序的文档构成。在所有软件文档中，客户需求的技术文档包括以下几类：

1. 操作指导说明，比如：安装部署手册、维护手册等;

2. 培训材料，比如：功能介绍PPT、变更说明等;

3. 技术指南：技术架构说明书、底层原理PPT等;

4. 用户指南：功能清单、使用手册等。

在文档质量方面，王良（2009）研究发现，某国产DBMS软件文件的最常见的5个缺陷，除排名第2的为内容不完整以外，其余4个都是不同层面的描述不正确。但并未对导致缺陷的原因做更深入的研究。

此外，冯济舟（2012）研究提出，软件文档可以采用模块化复用的方式提高文档质量。孙宁（2002）和金泽锋（2019）分别针对测试和敏捷开发运维领域的技术文档过程的质量进行了一定的研究。

可见计算机学科对该领域的研究，主要集中在文档本身的客观缺陷和开发过程管控。认为产品文档质量的影响因素包括描述的正确性，内容的完整性，更新的及时性等。

就本文研究目的而言，主要参考其技术文档的分类，作为质量满意度的分析变量。

2.2. 传播学科相关研究

传播学中对于技术文档领域有专门的技术传播学。由于国内长期处于引进技术的阶段，故而技术传播学又与外语翻译有着密切的联系。

2011年，翻译自动化协会提出了动态翻译质量评估框架，基于功用（utility）、时间（time）、情感（sentiment）三个参数，从遵循专业领域标准、可用性评估、错误分类法、充分/流畅度检查、社群翻译评估、可读性评估、内容评级和客户反馈等8种方法评估翻译质量。而IBM文档写作指南（De Respiniset al.，2012）提出文档质量的3个标准，分别是：易理解、易查找和易用。

周姗楠（2016）研究发现，重量级软件的文档完备，反而掩盖了易用性不足的问题。文档体系的完备，一定程度上有助于文档内容的易查找。可见这两个因素可能有某种程度上的负相关。

嵇大伟（2017）指出，技术文档是工业产品，可以采用语料库等手段来保证生产内容的一致性和标准化。

朱鹏飞（2011）提出对技术文档翻译效果可以从读者视角的认知、情感、行动三个层面逐步累积和考察。李双燕（2017）进一步细化该评价模型，认知层面包括认知度和重视度，情感层面包括易理解性、易查性、易用性、愉悦性，行为效果包括使用率和忠诚度。

就本文研究目的而言，基于读者主体视角的传播理论有助于满意度量项的设计。

3. 研究设计

3.1 研究问题

研究问题包括：IT服务企业内部的产品文档的满意度如何？影响因素有哪些？满意度和影响因素与使用群体的各因素之间是否有显著的相关性？

3.2 受试人群

由于产品文档主要针对IT服务的甲乙方。因而本研究对象即为IT服务的售前工程师、售后工程师、项目经理等。

3.3 研究工具

本研究采用问卷形式。围绕上诉问题，问卷分为四部分，共计10题14问。

第一部分（Q1-Q3问）为人口统计学相关题目，包括：从业年资、职业、地域等，以便分析这些变量因素的影响。

第二部分（Q4-Q7问）为文档使用习惯分析。包括：文档类型偏好、文档使用目的、文档形式偏好、疑难行为等。

第三部分（Q8-Q9A5问）为研究核心问题。基于文献研究，就产品文档满意度评价而言，采用基于主观的影响变量较为合适。故而在李双燕调查问卷量项基础上做出调整。第一、刪除其中的愉悦性指标，愉悦程度难以倒推成文档编写过程的具体注意事项。第二、删除其中的认知度指标，本次研究仅限于R公司的相关技术人员，不存在认知问题。最终，文档质量满意度的影响因素模型如图3-1所示。

第四部分（Q10问）为开放性问题，请受试人列举自己印象中比较推荐的其他品牌产品文档，并简述推荐理由。

3.4 数据收集

本次调研借助问卷网创建在线问卷，在R企业内部，通过微信、邮件等方式发布和转发。于2019年7月，共回收问卷50份，剔除1份异常作答后，剩余有效作答49份。

4. 信度及效度分析

4.1 信度分析

问卷的信度指问卷的稳定性和可靠性。其中内部信度反映了同一独立概念的不同条目之间的相关度，通常采用Cronbach's α系数测量。由于本次问卷中，仅有Q9A1、Q9A2、Q9A3同属于情感效果部分，故而采用SPSS可靠性分析对这3个量项进行α信度系数计算。结果如下：

4.2 效度分析

问卷的效度指问卷在多大程度上反映它所测量的概念。其中结构效度反映问卷是否含有理论上期望的特征，通常采用因子分析。采用SPSS对整个Q9的5个量项计算效度结果如下：

可见，本次调查问卷的结构效度大于0.6，说明基本有效。

5. 数据分析

5.1 满意度计算

采用和过往朱鹏飞、李双燕相同的计算思路，考虑到本文问卷量项分值为1-5分的差别，设计各项评估点的满意度计算公式为：（评价总分-受试人数）/4*受试人数。各项效果层面的满意度取本层面评估点满意度分值的平均值。整体效果的满意度取全部评估点满意度分值的平均值。

最终，根据Q9各项分值均值计算，本次调研的满意度分值计算结果及对比见表5-1：

对比过往朱鹏飞、李双燕在更广泛行业的研究，可以看出，IT服务企业内部产品文档在情感和行为效果层面都有较大的提升，反而在最基础的认知效果层面有所下降。这可能是相比外部的产品使用者，企业内部一般有更加便捷的其他知识转移途径，导致员工对文档这一形式有所忽略。而从后续两个层面的满意度来看，文档质量总体是足以满足员工需求的，这也提示我们应该加大员工对产品文档的重视。

5.2 使用习惯分析

除产品文档质量满意度的3个层面以外，问卷还对使用习惯进行了调查。

Q5题是多选题，从表5-2中可以发现，大多数人都同时勾选了三个目的：

在其他选项中，4人表示：文档还可以用于项目投标验收。2人表示：文档可以交给客户自己查阅学习。

Q6题同样是多选题。也是本次问卷中，填写其他意见最多的一题。在11份填写其他意见的问卷中，多达10份提到希望有可复制内容的Word版本。由于国内IT服务市场竞争激烈，各公司通常会采用加水印、禁止复制、只分发不可修改的PDF格式等手段，避免产品材料的外泄。但这也确实给内部员工的交流和项目交付造成了一定的负面影响。此外，在上一节文档使用目的中，也有6份回答提到文档目的是交付给客户使用。因此，IT服务企业至少在企业内部，需要考虑更适合交流、互动和反馈的Word文档形式，提高知识流转速度，降低交流成本。

Q7题也是多选题。其他中，3人均表示会先自己尝试测试验证，然后再问同事。由此可见，在绝大多数情况下，并不会第一时间质疑是文档问题或产品问题，而是以自身知识不足为入手点，先尝试内部解决。这也是产品文档满意度较高的另一种体现。

同时，也要看到，当自身确实无法解决问题时，更多人偏好跳过产品部门，直接询问研发工程师。导致这种选择的原因可能有很多，但显然说明售前售后工程师与产品部门之间的交流沟通不足。这是后续需要改进的。

问卷中的人口统计学变量包括：Q1：从业年资，Q2：职业，Q3：地域。采用SPSS软件对这些变量和其他变量进行了Spearman相关度分析。在分析结果中发现4组相关性显著的变量：

1. Q1和Q9_A2在0.01级别上相关性显著：-0.529

2. Q1和Q9_A3在0.01级别上相关性显著：-0.492

3. Q2和Q8在0.05级别上相关性显著：-0.311

4. Q2和Q4_A1在0.01级别上相关性显著：-0.504

首先，从业年资与文档满意度情感层面的易理解性和易使用性显著负相关。也就是说，在本行业工作5年以上的老资历员工们，对文档的满意度明显低于新入行的应届毕业生们。从某方面来说，这可能是因为老员工已经熟知行业内各种知识，对公司产品文档会有更高的期望。

其次，职业与查看文档的频率相关。售前工程师们50%选择至少1天查看一次，50%选择至少1周查看一次。而售后工程师们则有近10%选择了查看频率在1个月以上。两种职业详细的占比分布对比见表5-5。售后工程师作为使用产品更加频繁的职位，查看产品文档的频率却反而不如售前工程师。一种可能是实施现场气氛比较紧张，售后工程师碰到问题的优先选择是先通过组内外咨询尽快解决问题而非慢慢查文档。Q7的回答情况也可以部分验证这个推测。另一种可能则是

最后，职业与文档类型的重要性排序选择相关。售前工程师认为培训资料最重要，而售后工程师则偏好操作指南和用户指南。售前工程师需要通过新功能PPT等培训材料来更好的说服客户购买，而售后工程师需要通过操作指南来进行实际的实施和维护。所以其排序选择是比较容易理解的。然而技术架构说明材料，是对实施和维护非常重要的内容，竟然在售后工程师选择中普遍位居末位（38%）。这点后续应该引起企业的注意，加强对售后工程师的技术架构能力培训。

最后的Q10開放题，收到24份回答。去除其中表示无建议的7份，一共17份有效回答。整理以后，发现其中按照产品名称分类，提及阿里云4次，华为2次，开源软件3次;按照特点关键词分类，提到漂亮/截图3次、详细/傻瓜化3次。

可见，最容易让人印象深刻的产品文档，主要特点有3个：图文并茂、在线搜索、傻瓜化教程。这也符合人性的特点，无论自身是否已经是专业人士，都期望看到的是毫不费劲就可以获取的知识。当然，就企业而言，在一定程度上满足这种期望也有助于提升产品文档乃至产品的满意度。

6. 结语

基于R公司的调查数据，对IT服务企业内部产品文档的质量满意度及其影响因素进行了检验分析。结果发现：

1. 与更普遍行业的产品文档的质量满意度相比，IT服务企业的产品文档质量满意度更高。但内部员工对文档的重视程度相对不足。

2. 技术人员从业年龄与其对文档的情感层面满意度负相关。

3. 售前部门与售后部门对不同类型的产品文档的需求程度有显著差异。

4. 被大家广泛推荐的可参考对象，主要是著名企业的基于全文搜索的在线文档网站。说明易查找性是最容易提高文档质量满意度的影响因素。而在我国，除公有云厂商以外的广大IT服务企业，目前也确实很少有在官网公开产品文档的行为。

由于本次研究仅涉及一家企业，虽然挑选了代表性的R企业，依然可能不足以反映整个行业的普遍现象。后续可以扩大研究范围，探索全行业下研究结论是否依然成立。此外，量表各项之间按照最简单的均值计算，未能反应不同评估点在满意度中的占比差异，后续还可以对量项权重进行深入研究。

参考文献：

[1]  Gök，O.，Ersoy，P. and Börühan，G. "The effect of user manual quality on customer satisfaction：the mediating effect of perceived product quality"，Journal of Product & Brand Management，2019，Vol. 28 No. 4，pp. 475-488.

[2]  周力.IT服务质量评价研究[D].东华大学，2011.

[3]  王良.用户类文档测试研究[J].计算机应用，2006（10）：2470-2472+2482.

[4]  冯济舟.基于能力成熟度模型集成的文档复用研究[J].质量与可靠性，2012（01）：53-55.

[5]  孙宁，贲可荣.文档测试与文档过程成熟度模型探讨[J].計算机应用研究，2002（11）：17-19.

[6]  金泽锋，张佑文，叶文华，张贺，邵栋.面向完整价值交付的文档DevOps应用研究[J].软件学报，2019，30（10）：3127-3147.

[7]  Görög A.Quality Evaluation Today：the Dynamic Quality Framework[C].Translating and The Computer，2014：155.

[8]  DeRespinis，Francis et al. The IBM Style Guide：Conventions for Writers and Editors[M]. New York：IMB Press，2012.

[9]  周姗楠. 如何提升重量级电信软件产品的信息易用性——文档工程师在易用性方面的独特探索[J]. 工业设计研究.

[10]  嵇大伟.技术写作之标准化流程与相关国际标准探析[J].中国标准化，2017（13）：63-68.

[11]  朱鹏飞. 2011. 读者主体视角下国内技术文档写作与翻译研究[D]. 北京：北京大学.

[12]  李双燕.国内技术文档翻译效果量化研究[J].外国语文，2017，33（01）：132-139.

作者简介：饶琛琳（1988.01-），男，汉，江西，大学本科，研究方向：企业管理，知识管理。

（作者单位：中国人民大学）