质量检测体系淘出优质数据

文/王珊珊 陈云 韩婷

质量检测体系淘出优质数据

文/王珊珊 陈云 韩婷

根据“进去的是垃圾，出来的也是垃圾(garbage in garbage out)”这条原理，为了使高校信息系统建设取得预期成果，就要求信息系统提供的数据是准确的、规范的、完整的。

信息由数据构成，数据是信息的基础，数据已成为高校信息系统建设的重要组成部分和信息化进程中的重要资源，是学校的血液。低质量的数据将导致业务流程阻塞、管理成本增加以及决策困难等一系列问题。根据“进去的是垃圾，出来的也是垃圾(garbage in garbage out)”这条原理，为了使高校信息系统建设取得预期成果，就要求信息系统提供的数据是准确的、规范的、完整的。如果数据质量得不到保证，信息化进程的实施就根本不可能达到预期效果。因此，为保障信息系统正常运行、提升高校信息系统的实用化水平、满足用户对信息化和数据的需求，就必须重视数据质量问题。通过构建完善的数据质量管理体系，提升数据质量，进而推动高校的信息化进程。

数据质量是什么

1.数据质量定义

在不同时期， 数据质量有不同的概念和标准。在过去，国际上关于数据质量的标准基本上是以提高数据准确性为出发点。但是随着质量含义的不断延伸， 对数据质量概念的认识也从狭义向广义转变， 准确性不再是衡量数据质量的唯一标准。数据质量的高低必须从用户使用的角度来看， 即使准确性相当高的数据， 如果时效性差， 或者用户不关心， 仍达不到质量的标准。总体来看，现代数据质量概念主要包括以下几个方面: 一是注重从用户角度来衡量数据质量， 强调用户对数据的满意程度；二是数据质量是一个综合性概念， 需要建立一套有效的数据质量管理体系，从多角度来评价数据的好坏。

2.数据质量影响因素

在数据的生产和处理中， 任何一个环节的问题都会对数据质量产生负面影响。影响数据质量的因素有很多，主要包括管理因素和技术因素:

（1）管理因素：业务数据定义不清、概念混淆会导致数据录入错误；数据标准缺失会影响数据的规范性；数据维护权责不明导致数据多部门维护与重复采集。此外，在信息系统使用过程中，用户操作不当会造成数据质量问题；同时，用户会在业务流程上关注较多，关心数据的流向，对数据本身质量重视不够， 认为数据只是信息处理过程中的副产品。

（2）技术因素：各个信息系统在实施过程中，大多只注重自身的数据处理能力，很少考虑与其他系统的数据兼容性；另外由于程序设计与校验不严，使得数据输入问题产生且未被发现，导致信息系统数据质量问题，比如数据元素定义不清、数据输入格式缺乏校验、数据存在冗余等；有些数据项在设计时缺乏缜密的结构化处理，为了开发方便，采用“备注”字段，造成数据使用麻烦；有些数据缺少更新时间、维护人等补充属性，导致回头查找、确认数据时，没有任何支撑数据可用。

3.数据质量标准

在进行数据质量评价时， 根据具体的数据质量使用需求对数据质量评价指标进行相应的取舍。对于高校来说，数据目前主要用于信息查询、共享与支撑决策，数据质量可以着重从以下几个方面加以衡量：

表数据质量衡量

数据质量管理

1.管理策略

在信息系统的建设过程中，应建立科学有效的数据质量管理人员体系，将数据质量管理以制度化、规范化的方式落实到数据生成、传递和使用的各个过程和人员之中。

（1）领导要重视信息化建设中数据的重要性和问题的迫切性，充分认识到数据质量对学校各项工作开展的作用，把数据质量的改善问题作为一项战略性任务来对待。

（2）从整体上进行全面数据质量管理：建立完善的数据质量管理制度，确定数据质量管理的流程；建立完善的数据认责制度，确保数据在每个环节的质量；建立一套稳定的数据质量检测体系，从而使及时地发现数据质量问题；

（3）成立专门组织负责数据管理工作，责任人落实到各个系统业务主管，制定数据质量标准与规范，开展数据质量监控，如果发现有质量问题及时通报，从而保障数据质量改进的有效推行。

（4）提升信息系统管理和操作人员的技术水平，保证基础数据采集阶段的数据质量。同时，在数据采集时尽量采用“第一手”录入原则，让有相关信息本人进行修正完善，不经过管理员“二手”录入，减少数据错误。

2.技术手段

对数据从获取、共享、维护、应用的每个阶段， 采用信息技术，提升数据质量。

（1）数据获取阶段，加强各业务系统在数据录入时的格式、非空等数据校验，保障数据录入的完整性、准确性和惟一性；

（2）数据共享阶段，构建数据中心，规范管理主数据，并对外部系统提供统一的、开放的、标准的调用接口，进而保障各业务系统中主数据的一致性、完整性、实时性、安全性和准确性。

（3）数据维护阶段，可采用信息技术开展数据质量规则识别、数据质量检测、提交质量报告和数据质量问题处理等一系列活动，此过程是个循环管理过程，只有形成一个有效的数据质量管理的改进闭环，才能发现问题及早纠正问题。最大化利用数据资源。

（4）数据应用阶段，搭建数据仓库，在基础数据采集后及时对数据进行数据抽取、转换和清洗等预处理，避免数据“污染”的衍生和扩散，同时确保基础数据的可用性质量。

图1 数据质量管理组织架构

研究与应用

上海财经大学在经过多年信息化的建设，已经完成了教学、学生、人事、科研、财务、资产等业务系统的建设，积累了大量的数据，在系统实施过程中，发现某些数据质量问题对系统运行、数据集成、数据分析产生了影响，因此，为提升数据质量，学校采取的措施如下：

1.搭建数据质量管理组织架构

2008年上海财经大学构建了数据质量管理组织体系。体系核心为校领导，负责数据质量全面管理与控制；信息化办公室负责数据质量管控的具体执行，负责在技术层面对数据质量进行控制与监管，例如制定数据标准、开展数据质量检测、保障数据安全等；各院系部门IT关键岗位及系统管理人员负责梳理与确定业务规则，及时处理相关业务系统的数据问题；系统终端用户负责在源头上保障系统的数据录入质量。

2.采用信息技术提升数据质量

（1）加强数据质量校验

无论是自主研发还是与第三方合作研发的信息系统，均需遵循数据录入校验规则，包括数据类型校验（字符型/数字型/日期型等）、数据长度校验、空值校验、重复性校验等；此外，充分定义业务数据标准，并作为信息系统数据录入的可选项，保障数据录入的规范性和准确性。

（2）构建数据质量检测体系

系统运维阶段，通过建立一个有效的数据质量检测体系，及时发现并修正数据质量问题。数据质量检测体系如图2所示。

①信息化办公室协同业务部门制定信息系统数据录入与维护规范，目前已完成了人事、科研、资产、办公自动化等系统的数据录入与维护规范的制定，并经信息化项目协调会审议通过并发文。

②根据数据录入与维护规范确定数据质量检测规则，检测规则是整个数据质量管理系统的关键与核心，通过规则的不断完善与优化，各业务系统的实用化也将逐步提升，数据质量提升也会得到阶段性的提升。

③基于数据质量规则，通过不同的配置策略，运用信息化手段对业务系统的静态和动态数据进行实时监控和定期检查，以便及时发现并处理问题数据，提高业务系统的数据质量水平。

④执行数据质量检测后，按业务对象、按规则模型展现问题数据，以报表、仪表盘等多种展现方式对具体数据质量检测结果进行展现，同时通过钻取分析功能，直接从指标数据下钻到基础数据，直观看到影响指标的问题数据明细清单，如图3所示。

⑤业务部门需参照检测结果，对问题数据进行处理，以尽快消除异常数据，保证系统数据质量，尽可能减少问题数据对工作造成不利影响。

（3）构建数据中心与数据仓库

根据数据的业务特性和业务需求进行集成、整合、加工，并下发给后续的集市区和下游系统，是数据中心与数据仓库元数据质量管理的主要内容。使用ETL工具，构建数据中心与数据仓库，保证用于决策支持的数据是准确而有效的，提高数据共享的准确性以及数据分析的可靠性。目前已完成数据清洗并据此搭建的主题数据中心及数据仓库包括人事、科研、教学、学生等。

总之，数据质量的改进是一个持续不断的过程，一方面通过完善数据质量管理制度和流程，对数据进行科学有效的质量管理和质量控制；另一方面通过技术手段实施数据检查，并通过数据质量管理流程进行改进。上海财经大学在数据质量管理方法上进行了初步探索，并取得了一定的成效，在数据的准确性、规范性、惟一性有所提升，以期为高校数字校园过程中提高数据质量提供参考。

（作者单位为上海财经大学信息化办公室）