欧盟数据质量评估框架及其对我国的启示

2013-02-14许涤龙龙海跃

统计与决策 2013年8期

许涤龙，龙海跃

(湖南大学a.金融与统计学院；b.两型社会研究院，长沙 410079)

欧洲统计系统（European Statistical System，ESS）的主要成员包括欧盟统计局（Eurostat）、各成员国的国家统计机构（NSIs）以及负责收集官方统计数据的政府部门与中央银行,其主要任务是为欧盟及其成员国提供高质量的统计信息服务[1]。鉴于欧洲统计数据对于欧盟及其成员国决策制定的重要性，欧盟统计局将质量管理视为统计工作和日常机构管理的核心内容，并制定了一套完整的质量管理工具以保证统计数据的真实性和可靠性。目前，欧盟统计质量管理的战略目标已基本实现，从数据的收集、储存和发布等整个统计管理过程发生了深刻变化，数据质量明显提高，数据管理过程更加公开透明，在国际统计界中的引领地位得到巩固[2]。

1 欧盟的数据质量评估框架

ESS的数据质量评估框架（Quality Assurance Framework，QAF）[3]建设以《欧洲统计实务守则》(以下简称《守则》)为基础。《守则》为欧洲官方统计数据的生产和发布设置了关键性原则，对每项原则定义了一组代表良好实践的指标，提供了对《守则》执行情况进行评估的参照标准。质量评估框架中标识了可能的活动、方法和工具，可以为指标的实施提供指导或依据，依照《守则》中的步骤落实各项指标[4]。

在制定QAF时，ESS综合考虑了数据生产方、使用方的各项要求，按照统计数据从搜集到发布各个流程的先后顺序，将该框架结构的第一层级安排为三个大的类别：机构环境（Institutional environment）、统计程序（Statistical Processes）和统计产出（Statistical Output）；第二层级为第一层级三个类别中各应遵循的原则，共15项；从这些原则入手，第三层级为各种质量保证做法的标题，在每个标题下对该标题可以包含什么内容进行详细的说明和指导，所采取的方式是联系每项原则提出指标，同时也可以根据模板很容易地与审计或评估工作对应起来。这是一个清晰的由总体到局部的结构安排。

ESS的质量保证框架涵盖面广，通用性强，是可供各国统计局借鉴采用的一套相当详细的标准范例。该质量评估框架分别从统计数据的生产者、生产过程、产出结果入手构建内容体系，着重于与数据质量相关的统计机构管理、统计程序管理和统计产出特征，具体内容包括：

(1)统计机构环境。机构和组织的作用对统计当局在欧洲统计的发展、生产和传播过程中体现的有效性和公信力有着显著的影响。该部分的评估标准主要针对的是统计工作中的众多机构，如国家统计局、中央银行或财政部门等。具体要求和良好做法的指标包括：

①专业独立性。立法保证国家统计机构和各统计组织在统计发展、生产和发布过程中的独立性，从法律上保护统计活动不受外部压力影响。

②数据收集授权。统计当局收集欧洲统计资料用于改进、生产和发布活动的许可须在相关法律中明确规定。

③资源适足性，即人力，财力和足够的计算资源可满足当前统计在数量和质量上的需要，统计的范围、详情和成本与统计需求相符合。

④质量承诺。面向公众提供质量方针的定义，并且公布欧洲统计质量标准。

⑤统计保密性。统计保密性得到法律保障，工作人员须签订法律保密承诺，任何故意违反统计保密规定的人员或行为须受到相应处罚，并向社会公布保密政策。

⑥公正性和客观性。统计结果是由统计学思路客观确定的。

（2）统计过程。这个部分对统计收集、处理和使用、传播过程中统计部门须遵守的欧洲和其他国际标准、准则和良好做法进行了总结和概括，以此保障统计数据的公信力，提高统计部门的声誉和管理的效率。相关要求有：

①合理的方法。制定出欧洲统计方法的整体框架，用于遵循欧洲或其他国际标准的指导方针和良好做法。

②适当的统计程序。按要求使用适当的编辑和估算方法，通过健全和透明的程序确保数据的质量。

③受访者负担。该原则建议在统计调查时通过提高受访者答卷质量提高统计质量，避免不必要的负担。

④成本效益，内部和外部独立监测统计机构使用的资源，统计当局推进和实施标准化的解决方案，提高效益和效率。

（3）统计产出。统计产出是为了满足用户需求。欧洲统计需要符合欧洲质量标准，且可服务于欧洲各机构、各国政府、研究机构、企业，同时听取公众意见。另一方面，统计数据要满足用户对相关性、准确性、可靠性、及时性、连贯性、不同国家和区域之间可比较性的原则：

①相关性，统计数据包含所研究领域的相关信息。

②准确性和可靠性。定期评估和验证源数据、中间产物和统计产出，根据欧洲标准测量和系统记录抽样误差及非抽样误差，定期进行修订讨论，以改进统计流程。

③及时性和准时性。数据提供的时限应符合国际数据公布标准。

④一致性和可比性。统计数据本身在算法和会计角度上是连贯一致的，在一段合理的时间内统计数据具有可比性。

⑤可获取性和清晰性。统计数据和相应的元数据以正确的方式提供，并可进行有意义的比较。

2 欧盟的数据质量管理工具

过去10余年来，欧统局一直在制定一个统计数据质量评估计划，目的是总结整个欧洲统计系统的业绩。具体地说，它的目标是：评估数据质量在各个领域之间和在不同时间的变化情况；确定良好的做法和结构上的弱点；通过一个共同的监测框架，提供更好的管理资料。

为了实现ESS的使命和愿景，2001年，由欧洲统计领导专家组起草的《欧洲统计系统质量宣言》[5]（Quality Declaration of the European Statistical System，以下简称《质量宣言》）获得统计方案委员会通过，作为ESS正式迈向全面质量管理（TQM）的第一步。《质量宣言》包含ESS的任务说明、愿景说明，以及以《联合国基本原则》为基础，同时根据欧盟具体情况作了修改的10项原则；2003年10月，欧洲理事会召开第六次会议上讨论通过了《ESS统计质量定义》[6]（ESS Definition of quality in statistics），明确并且统一了欧盟统计局及各成员国国家统计机构的统计数据质量概念；之后，在《质量宣言》的基础上又拟定了《欧洲统计业务实施守则》[4]（European Statistics Code of Practice，也称《欧洲统计实践规范》，以下简称《业务守则》），于2005年由欧盟统计委员会颁布。按照《业务守则》，欧统局和欧盟成员国的国家统计局承诺采取共同的综合做法，制作高质量的统计资料。《业务守则》在ESS质量定义的基础上，提出了15项关键原则，涵盖体制环境、统计程序、统计产出各个方面，并为每一项原则定义了一组反映良好做法的指标，用作进行评估的基础。

在《业务守则》颁布之后，欧统局一直使用自我评估和同行审议两种工具，对欧盟成员国的国家统计局遵守守则的情况进行估量。根据《欧洲调查管理人员自我评估检查单》[7]（Checklist for Survey Managers,即DESAP)，可以很快地对一项调查及其产出进行系统全面的质量评估并找出有可能加以改进的地方。DESAP有电子版，包括电子版用户指南。

《欧洲统计系统质量术语》（ESS Quality Glossary）于2003年第一次发表，收录了许多质量文件方面的技术术语，每个术语有简短的定义，并注明了定义的来源。《元数据最新词汇》是一份更全面的最新词汇，由包括欧统局在内的多个国际组织合作编制。

根据领导专家组的建议，欧统局和欧洲各国的统计局制定了一套完整的通用质量工具——《欧洲统计系统质量报告标准》[8]（ESS Standard for Quality Reports），于2003年颁布，在2009年做了修订，为各国的统计局和欧统局各单位编写综合质量报告提出了建议；《欧洲统计系统质量报告手册》[9]（ESS Handbook for Quality Reports）也是在2009年做了修订，提供更多细节和例子。两个文件都包含整套欧洲系统标准质量和业绩指标的最新版本，以供总结统计产出的质量之用。

除此之外，ESS的《通过程序变量分析改进质量手册》（Handbook on improving quality by analysis of process variables）对用来确定、计量和分析各项关键的程序变量的一般做法和有用工具作了说明。欧盟委员会发布的《数据质量评估手册：方法和工具》[10]（Handbook on Data Quality-Assessment Methods and Tools）详细介绍了用来评估程序和产出质量的各种方法及支持这些方法的工具。

3 欧盟数据质量评估框架的评析

作为ESS所制定的质量管理框架具有鲜明的特征，在结构和内容方面与联合国官方的统计组织原则以及IMF制定的DQAF存在明显的差异[11]。

在结构方面，它按照统计活动进行的顺序从统计活动的组织机构环境、统计过程、统计数据输出三个包含了理论上行为的实施者、实施方法和结果的步骤组织起来，为应用中具体评估对象和针对性的评估方法增加了灵活性和可操作性；在内容方面，QAF不仅涵盖了反映数据质量的常规的主要维度指标，而且考虑了与数据质量相关的统计机构的制度环境，拓展了对数据质量评估与管理的视野；此外，在对三个方面的具体评估之间，既保持了基本内容的一致，又充分体现了各个方面所关注的对象的不同特色和相应的技术特点，强化了数据质量评估规范的统一性和专业性。这些特征就决定了QAF的广泛适用性，可以作为其他国家或者地区的一个良好借鉴。比如说欧盟及其成员国，制定质量框架的初衷是为了向其成员国乃至全世界提供高质量的统计信息服务，要做到高质量则必须加强对数据质量的监管，因此提高数据质量管理水平是隐含的目标，二者相辅相成，不可分割。目前ESS也将这个框架用于对一些国家统计制度的了解，并且不断加以改进以形成一个更普遍适用于欧盟之外的国家的管理框架，进而作为设计和提供统计技术援助的基础。相应的，各国政府或统计数据的提供机构也可以对照QAF对其统计机构制度环境、统计过程和统计结果输出做出自我评价。此外，一些私人或公共的数据使用者也可以按照各自特殊的目的，借助该评估框架的相关标准对其所关注的数据进行质量评估。

质量管理、全面质量管理、质量管理系统、质量保证框架、质量保证、质量导则、质量评价、质量评估等用语，有相当大的重叠，甚至引起混淆。我们认为，一个完善的国家质量保证框架，应定位在与ISO9000系列所描述的质量管理系统大致相同的组织级别，但可根据具体各国统计局面临的具体情况和环境作出修改，同时该框架也应涉及到国家统计局的整个统计方案，包括支持建设基础设施，而不是某一项特定的调查；质量保证框架重点是对各种统计只能的管理工作，是前瞻性的，就如何组织当前和将来的质量保证工作作出提议，而不是只对质量做评估，对衡量标准和过程宜粗不宜细，只提出良好做法，不必加以描述[12]。

通过以上介绍的ESS质量评估框架和质量管理工具就可以看到，ESS的整个数据质量管理系统包含国家质量保证框架必需的下列要素：

（1）总体情况：文件拟定时的情况，目标、愿景及其与其他政策的关系，各种框架和步骤，有时在国家统计局的任务和价值观里面提到；

（2）质量政策：由高级管理人员作出的简短说明，表明其对质量管理的承诺的性质和范围；

（3）质量模型：从机构制度环境、程序范畴和产出质量/构成部分的角度，对何谓质量作出定义；

（4）质量目标、标准和导则：将质量目标定的与机构所采纳的国际或当地标准和导则相符；

（5）质量保证步骤：尽可能作为制作程序的一部分或者包含在其中；

（6）质量估量步骤：具体包括一组质量和业绩指标，尽可能把收集为计算质量指标而需要的数据的步骤包含在制作程序之内；

（7）质量评估步骤：ESS采取定期进行方式，基于一个自我评估检查单，即DESAP检查单；

（8）质量改进步骤：不断地改进和改造国家统计局特有的举措。

QAF符合上述要求，涵盖面广，通用性强，是各国的统计局可以采用的一套相当详细的标准的例子。不难设想，可以大致上依照它来制定一套通用的质量导则；其次，它不但可以处理统计技术问题，其重点更多地是放在国际性的统计机构的组织结构和统计技术的运用环境，因为在不同的国家或地区统计机构之间，组织结构和制度环境方面的不同，很可能远大于统计技术上的差异。另外，ESS的质量框架有相当的权威性，在其制定过程中，不仅有众多欧盟成员国统计专家的参与，而且还有与其他国家（如加拿大）和国际组织（如国际货币基金组织）的相互合作，所以该评估框架得到了国际认可。

4 欧盟数据质量评估框架对我国的启示

在我国，统计数据的质量是长期困扰政府和统计界的一个难题。除了统计制度环境、统计技术水平等方面的因素外，缺少一个全面适用的统计数据的质量评估标准也是个不容忽视的重要原因[13]。如前文所述，QAF作为一个适用性广的国际规范，它所采用的标准定义、概念和良好统计实践，不仅可以用于全面、客观地评估统计数据的质量，而且也为统计体制、统计过程和统计产品的改进提供了可供借鉴的范本。因此，对我们这样一个迫切需要提高统计数据质量的国家而言，深入了解QAF并借鉴其经验制作一个适用于本国的国家质量保证框架模板，是非常具有现实意义，同时也是可行的。

参考ESS质量框架的设计思路，设想中的框架模板的一般要求是：以它为基础，可以拟定个别具体统计项目的框架，并且需要配上相应的实施导则来指导如何制定框架及投入运作，同时提出实际例子来说明可以包含什么内容。针对不同国家的国情，这个模板可以有不同程度的细节。为了有效地发挥作用，并且避免给统计机构带来不必要的负担，模板应允许它们将其在质量方面的各种做法与标题很容易的对应起来。同时，模板还应尽可能遵循任何相关的质量标准和最佳做法，尤其是最好能同我们所参考的对象《欧洲统计业务守则》保持一致。

为此，我们就如何借鉴ESS的质量框架对我国数据质量保证框架进行建设提出以下建议：

（1）成立数据质量评估机构。为了保证评估结果的公正性和客观性，有必要成立一个独立的统计数据质量的评估机构，如同对会计数据进行监督的审计机关一样，专职负责对我国统计数据质量评估框架的制定、实施与管理。首先，这个机构的构成人员要求具有专业性和代表性，包括国内从事统计工作的人员、统计专家、学者以及相关的数据使用者，在必要的时候也要聘请一些国际组织或发达国家的统计专家和顾问；其次，这个机构自身也要建立起决策部门、执行部门、监督部门多方制衡的自我管理体制。我国的数据质量评估正处于起步阶段，在人事变动、机构权责等各方面的准备工作尚未成熟，要建立一个国家质量保证框架并付诸实践仍有些难度，而且必须多方配合，工作才得以顺利展开，因此有必要达成一个共识，确定这样做的好处是否得到一般认同；如果是的话，可先设立一个专家组，对制定工作进行前期铺垫，该专家组任务是：①界定模板的范围和内容，即确定数据质量评估的对象；②参照现有的框架拟定模板，以ESS的QAF为主要参照对象，并为它们建立配对关系；③同时拟定标准的质量术语，在本文中以ESS发布的《欧洲统计系统质量术语》为参照；④制定工作人员培训计划，实施连续性职业培训的政策。

（2）制定国家数据质量保证框架模板。在不同的国家统计机构之间，框架的内容可能有相当大的不同，取决于其发展阶段、资源、运作环境，以及当前在质量方面所关切的事情。同时，国家数据质量保证框架导则还应指导如何将框架投入运作，例如确保高级管理人员作出承诺，把框架视为一项长期承诺（即持续进行的方案，而不仅是一个项目），细化各种分工，明确各方责任，制定质量目标和准备所需的质量工具。此外，还应当定期地对国家框架作出修改，以反映新的质量问题。

（3）设定数据质量评估方法。依照ESS的质量框架，统计数据的质量评估实质上是一个定性分析的过程，因此不妨考虑采用“专家意见法”等一些常用的定性方法作为辅助[11]。例如，评估机构先把数据质量评估结论设定为三个等级:完全符合、基本符合、不符合；然后将某项统计数据与QAF各项标准进行逐一比较,以此了解两者的相符程度并据此给出该数据质量的评价等级；最后,再分别针对QAF的每个部分（三个过程、三个层次要求）,对这项数据的评估结论进行汇总和评述。

（4）完善数据质量评估报告。质量报告是数据质量管理的最后一个环节，它意味着质量管理活动的阶段性结束，但并不是最终结束，也不可能结束。只要统计活动仍在进行，就有必要对数据进行质量管理，随着管理的复杂程度的加深，质量报告也应作出相应的修改和完善，才能最有效地发挥作用。

质量报告应以每节提到的主要质量问题做总结，同时附上每个问题的改进建议。此外，还要指出质量报告的目标用户和用途以及后续行动的说明。在结论中需要写出：主要质量问题；改进建议；后续行动项目。

[1]王华.欧洲统计系统用户满意度调查的经验及启示[J].统计与决策,2011,(7).

[2]余芳东.外国统计数据质量的意义、管理以及对我国的启示[J].统计研究,2002,(2).

[3]Eurostat.Quality Assurance Framework[EB/OL].欧盟统计局网站，2011-08-04.

[4]ESS.European Statistics Code of Practice[EB/OL].欧盟统计局网站.2011-09-28.

[5]ESS.Quality Declaration of the European Statistical System[EB/OL].欧盟统计局网站，2001-02-01.

[6]Eurostat.Definition of Quality in Statistics[EB/OL].欧盟统计局网站，2003-10-02.

[7]ESS.Checklist for Survey Managers[EB/OL].欧盟统计局网站，2005-05-08.

[8]ESS.Standard for Quality Reports[EB/OL].欧盟统计局网站,2009-01-02.

[9]ESS.ESS Handbook for Quality Reports[EB/OL].欧盟统计局网站.2009-01-02.

[10]Eurostat.Handbook on Data Quality Assessment Methods and Tools[EB/OL].欧盟统计局网站,2007-06-07.