关于电信产品运营质量综合评估指数（SQI）研究应用

陈 社，张彦峰，李奕霖

（中国电信股份有限公司深圳分公司 深圳 518048）

1 背景

全业务运营后，电信各品牌产品增加了移动元素，产品的融合度增强。新的产品，特别是3G产品，推出得越来越频繁。后端部门面临如何有效提高新产品开发的支撑能力、产品运营质量分析能力、产品重大疑难故障的快速解决能力的挑战。客户对运营商服务的要求也越来越高，运营商需要不断完善产品服务支撑和产品质量提升，而产品质量评估品质量化目前还是一片空白。

“质量是企业的生命线”，过硬的产品质量一直是在激烈的市场竞争中克敌制胜的法宝。移动互联网的各种产品和应用正以一种小成本、高灵活的方式嵌入网络，客户的选择更加宽泛和自由，用户体验与产品质量被研究到了极致。只有提供更加具有品质的产品，更加符合客户期望的服务，才能走得更远、更好！

2 现状分析

面对激烈的产品运营质量竞争，目前还比较缺乏对产品运营质量、健康度和客户感知的指标综合评价体系：

·月度产品运营分析结果缺乏量化评价手段；

·各维度指标体系完善程度不均衡，不能准确反映整体运营质量；

·网络运行指标量纲不统一，和产品运营质量之间缺乏关联性；

·指标之间存在正相关或负相关关系，各指标对产品质量的影响各不相同，只能反映一个侧面的产品质量。

提升网络运行指标和产品运营质量之间的关联管理能力，是合理分配资源投入配比、快速提升产品运营质量的关键手段。目前需要对已上市产品支撑响应以及产品运营质量、运营质量进行评估及优化，进一步明确公众产品及行业产品的相关KPI（key performance indicator，关键绩效指标），完善质量支撑评估体系，同时，结合产品客户感知以及产品测评和产品分析数据，以统一的门户、统一的平台、统一的展现方式向产品支撑人员、管理人员以及市场销售部门发布。

3 产品运营质量综合评估指数（SQI）研究

产品SQI研究不仅建立网络运行指标、产品运行质量和客户感知之间的关联性，而且对于解决各维度指标完善程度不均衡、分析影响产品质量的关键因素以及准确反映产品整体运行质量等方面提供了帮助。

3.1 SQI研究思路

首先通过引入SQI产品运营质量综合评估方法，搭建起产品整体运行质量健康评估模型，逐渐摸索并建立综合评估指数、产品支撑关键因素、KPI、业务平台运行数据之间的关联性；接下来开展评估模型优化，进一步固化评估模型，利用模型分析重点产品的运营质量，验证并检验模型的完整性、准确性；最后建立在网重点产品运行质量管理体系，理顺前后端流程与沟通机制，提升产品质量健康评估协同能力。

3.2 SQI建模理论

基于自优化的SQI建模流程模型如图1所示。SQI可以理解为用户通过体验产品而获得的使用感知度，即终端用户对网络及业务平台所承载产品性能上的主观感受，可以通过接近量化的方法表述终端用户对产品的体验和感受，并反映当前产品运行质量与用户期望值之间的差距。SQI的评价主体是终端用户，评价对象是业务和支撑业务的网络（主要包括接入网络、无线网络、核心网、业务平台等）。SQI是多个KPI以及产品感知指标结合后采用线性归一化算法聚合计算得出的一个评估产品某方面运行质量的参考值。SQI的量化指标可以用优秀、很好、好、一般、差5个级别来标识，产品感知指标是产品或业务场景下从用户的使用过程中提炼影响客户感知的关键指标。

3.3 SQI模型核心算法

分段线性归一化算法将产品关健运行质量指标值（KPI）根据客户感知通过线性函数映射成五分制分值，使指标值和客户感知之间形成对应关系，解决了不同KPI之间由于量纲不同而无法运算的问题。

（1）提出了基于双因素的KPI归一化算法模型

将客户的期望分解为客户期望强感知（敏感带）和客户期望弱感知（非敏感带）两部分，并针对两种期望感知得到满足后客户感知的差异，得到KPI评价曲线，从而解决了现有模型中单独将客户评价与KPI进行直接相关联造成和客户感知不一致的问题。

（2）KPI评价曲线分界点的确定

根据双因素理论和用户感知经验，用行业平均满意值上限和下限来确定敏感区和非敏感区的分界点；通过经验数据分析或客户调查的方法确定敏感区和非敏感区的分界点。

（3）分段线性生成评价算法

采用低阶分段函数拟合评价线，其可以保证在分段点足够多时曲线的稳定性和收敛性，而且计算量小。本方法可广泛应用于产品健康度和用户感知等模型中。

3.4 SQI研究创新点

·实现了产品质量评估模式的创新，通过构建“SQI产品质量评估指标体系”多角度、全方位对产品进行质量评估，同样对产品质量评估有了全新的认识与总结。

·应用客户服务质量管理理论，建立产品运行质量评估模型，实时/准实时地管理产品健康度及分解后的KPI、CQT测试指标，并对其进行分析及优化，为提升产品健康质量MOS提供持续支撑。

图1 基于自优化的SQI建模流程模型

·可广泛应用于众多现网产品的质量管理，通过建模更加科学地确定了各产品运行质量关键指标，化繁为简，形成了与产品体验相关联的有效质量评估考核体系。

·实现了集团、省产品质量分析工作的有效落地，为后续产品质量优化工作提供了更有价值的数据资源。

4 SQI应用

2011年10 月，组成了专题工作小组，针对ITV、Wi-Fi、3G上网3项产品开展了以上述思路为指导的质量建模及运行分析工作。

4.1 ITV的SQI应用实例

4.1.1 SQI应用场景

首先将ITV的操作点播观看过程进行分解，详细如图2所示。

图2 基于ITV的SQI应用场景步骤分解

4.1.2 SQI相关的KPI指标提炼

将ITV的相关KPI全部汇总并进行提炼，详细如表1所示。

4.1.3 SIQ提炼后的KPI提取

从平台及网络提取相关KPI，并组织整理用户使用感知现场测试指标

4.1.4 SQI各指标权重的确定

ITV产品运营质量健康综合评估得分是根据质量评估模型得出各指标权重初定值，将七大指标评估得分以加权平均值计算产品运营质量综合评估得分。

4.1.5 SQI评估结果

按照ITV产品运营质量健康综合评估得分从高到低排序为（分值相同以拼音先后排序）：罗湖、南山、福田、盐田、光明、宝安、龙岗。ITV产品运营质量指标评估等级是将ITV产品运营质量指标评估得分按照四舍五入法取整后对应的ITV产品运营质量指标等级。除罗湖ITV产品运营质量健康评估等级为“良好”外，其他各区域ITV产品运营质量健康评估等级为“中等”。详细情况如图3所示。

表1 基于ITV的SQI KPI提炼

4.2 SQI应用推广

2012年已完成对3G、Wi-Fi和ITV等重点产品的质量展现，后续将质量评估系统进行复制延续、持续完善、持续优化，继续对重点产品（如光网宽带产品、政企应用类产品等）进行SQI评估，根据优化结果逐渐覆盖到全部现网产品。

5 SQI应用实现IT化

在产品运营质量综合评估的基础上，通过实现IT化逐渐加大对评估成果的推广作用。产品运营质量综合评估系统（简称SQI系统）是针对网运侧重点保障的Wi-Fi、IPTV、FTTx等产品业务，进行产品运营质量评估及产品健康状况的指标评价等数值的在线展示。同时可增加网络运营部门对产品支撑的组织保障、质量提升措施及重要支撑进展等部分内容的展示。该系统主要由产品评估指标体系、产品健康水平评价和产品健康报告、产品支撑及保障资料库等模块组成。SQI系统涉及与现有平台接口的开发、系统软件/应用软件功能需求的确定和实施等，根据系统建设的现状和需求来确定合理可行的实施步骤，该系统在2012年年底前部分模块已上线试用，大大提升产品质量评估工作的效率，扩大评估结果的受众面。

6 结束语

通过电信产品运营质量综合评估指数研究以及应用，提升了网络运行指标和产品运营质量之间的关联管理能力，从理论上建立了相匹配、相对应的关系图，成为产品运营质量分析的关键手段。通过该体系的研究，将促进网运线产品质量分析在市场营销、客户价值提升工作中的价值应用，为网络规划、网络优化、市场拓展、产品质量优化提供新的有效辅助手段。

图3 基于ITV的SQI评估结果

在现有产品支撑管理模块的基础上，充分应用产品运营质量综合评估指数研究成果，通过IT化实现产品支撑工作更上一层台阶，为进一步保障和持续提升产品运营与服务能力提供坚实的分析基础。SQI系统的搭建完善将有利于产品的功能完善、性能优化、质量提升。产品的质量管理对于一个传统运营商来说仍有大量问题有待后续完善及解决。

1 胡文玉，马军.移动通信客户价值提升策略研究及应用建议.信息通信技术，2010（4）

2 周力，何雪飞.UML建模图解教程.北京：人民邮电出版社，2009