动物疫病报告评价指标体系的建立

韩 焘，刘林青，付 雯，王羽新，杜 建，王 芳，刘玉良，邴国霞

（中国动物疫病预防控制中心，北京 100125）

动物疫病报告是预防控制动物疫病的前提条件，是有效预测、控制动物疫病的基础。当前我国建立并完善了以畜牧兽医从业人员为报告主体，动物疫病预防控制机构为收集主体的逐级报告机制[1]。动物疫病报告是动物疫病被动监测的主要手段，其质量直接关系到疫病监测质量。医学上对于法定传染病报告的研究起步较早，建立的评价体系能够有效分析传染病报告工作的现状及不足，对于加强传染病防控具有重要意义[2]。疾病预防控制机构已连续多年开展法定传染病网络报告评价工作，提升了传染病报告的效率和准确率[3]。当前，我国缺乏对各地动物疫病报告工作的系统评价方法。动物疫病报告的工作流程不同于人传染病，其工作不能直接使用传染病直报的评价指标。

德尔菲法是一种通过有控制的反馈，更为可靠地收集专家意见的方法，具备匿名性、反馈性和统计性三大特点，被广泛应用于各领域的指标筛选研究，是一种成熟的指标筛选方法。为研究制定动物疫病报告评价指标体系，本研究运用德尔菲法，经过多轮专家咨询，建立了动物疫病报告评价体系，以期为建立和完善动物疫病报告评价标准，以及实际评价工作提供参考。

1 对象和方法

1.1 方法

采用德尔菲法，对拟定指标的重要性进行评价，专家人数控制在15～50人。通过计算指标重要性评分的加权平均数（X）和变异系数（CV）筛选指标，计算权威系数和协调系数[4]。

1.1.1 筛选专家 本研究拟建立的报告评价体系以评价省级行政区划的疫病报告质量为目标，因此主要从省、自治区、直辖市、新疆生产建设兵团以及计划单列市，从事动物疫病诊断、报告、监测等工作的技术专家和管理专家中筛选。

1.1.2 拟定评价指标 初步拟定一级评价指标4个，分别为覆盖面、及时性、准确性、全面性；二级评价指标10个，分别为周报率、月报率、来源面、快报及时率、响应及时率、填报及时性、审核及时性、审核通过率、实验诊断率、完整填报率。

1.1.3 重要性评分 重要性评分决定指标是否应被纳入评价体系。按照等级数差评分法，将指标重要性分为5级——非常重要（10分）、很重要（8分）、重要（6分）、不太重要（4分）、不重要（2分）。指标纳入标准为，重要性评分均值（X）＞6，且重要性评分变异系数（CV）＜0.35。

1.1.4 权威系数 该指标反映专家的权威程度，由专家自我评价。专家除填写条目评价表外，还需填写判断依据和对问题的熟悉程度。熟悉程度分为5级：非常熟悉（1分）、较熟悉（0.8分）、一般熟悉（0.6分）、较不熟悉（0.4分）、不熟悉（0.2分）。判断依据：实践经验（1分）、理论分析（0.8分）、行业了解（0.6分）、参考文献（0.4分）、直观感觉（0.2分）。权威系数Cr计算公式为Cr =（Ca + Cs）/2，式中Ca表示判断依据，Cs表示熟悉程度。一般Cr≥0.7即认为研究结果可靠[5]。

1.1.5 协调系数 协调系数反映专家评分一致性，一般在0～1之间取值，越接近1表明参评专家对指标评分较一致。协调系数应用肯德尔协同系数检验方法进行计算。

1.2 计算指标权重

参与评价的专家先后两次对指标进行评价。以第二轮专家各指标评分的加权平均数，作为各指标初始权重，逐步计算指标加权权重和归一化权重。各一级指标、同一级指标所属二级指标权重系数之和为1。

二级权重 = 一级指标归一化权重 × 二级指标归一化权重。

1.3 统计分析

采用SPSS和Excel软件进行数据处理和统计分析。

2 结果与分析

2.1 专家情况

参与评价的专家年龄为28～57岁；学历以本科及以上为主，其中本科占48.28%，硕士占37.93%，博士占6.9%；中高级职称占79.31%，10年以上工作年限专家占75.86%；从事疫病监测和疫情处置的专业技术专家占72.41%，管理型专家占20.69%（图1）。从专家情况看，参加咨询的专家多为工作10年以上、具备中高级职称的动物疫病防控技术专家，同时也涵盖了综合管理专家，专家队伍具备较高的专业素养。

图1 专家基本情况

2.2 评价情况

2.2.1 积极程度 第一轮评价发出评估表36份，收回有效评估表35份，积极系数为97.2%；第二轮评价发出评估表32份，收回有效评估表29份，积极系数为90.6%。结果表明各位专家对两轮评价工作予以重视，积极性较高。

2.2.2 权威程度 根据Cr公式计算，一级指标Cr平均值为0.88，标准差为0.11；二级指标Cr平均值为0.89，标准差为0.10。两级指标的Cr均大于0.7，表明专家对各指标比较熟悉，对打分具有较大的信心和把握，能够保证指标评价结果的权威性和可靠性。

2.2.3 协调程度 第一轮评价的协调系数为0.445，第二轮评价的协调系数为0.332。利用多个相关样本非参数检验（K-related samples），分别对2轮评分进行一致性检验，结果P值均大于0.05，两次专家评分差别均无统计学意义，表明两次专家评分具有较高的一致性。

2.3 指标筛选

第一轮评价中，一级指标平均分为8.69～9.14，均大于6分，CV为0.17～0.20，均小于0.35；二级指标平均分为8.23～9.54，均大于6分，CV为0.09～0.24，均小于0.35。结果表明一、二级所有指标均符合接受标准。在此轮评价中，有专家认为动物疫病的“症候”报告也应纳入评价指标，并建议在一级指标完整性下增加1条二级指标“症候报告率”，用于描述动物疫病发生时临床填报情况的指标，专家建议分值为10分。通过第一轮评价，接受了所有的一级和二级指标，并新增了1条二级指标。

2.4 指标权重

利用第二轮打分情况计算指标权重，并将第一轮增加的专家建议指标纳入第二轮问卷中，问卷类型与第一轮相同，将第一轮专家统计情况告知专家。在第二轮评价中，专家对各指标没有提出新的意见和建议，问卷回收统计后，进行归一化权重计算、组合权重计算和百分制化处理。指标归一化权重越大，表明对评价体系的贡献也越大，在实际评价工作中赋分也较高。一级指标权重排名为，及时性、准确性、覆盖面、完整性；二级指标权重排名较高的前五位为，审核通过率、实验诊断率、完整填报率、症候报告率、疫病月报率；百分化后结果为，一级指标覆盖面25.34分、及时性26.08分、准确性25.17分、完整性23.41分（合计100分），11个二级指标得分为6.25～12.88分，详见表1。

表1 动物疫病报告评价指标体系各级指标平均数（X）、标准差（S）、CV和权重

3 讨论

我国动物防疫法明确提出，动物疫病预防控制机构承担动物疫病的监测、检测、诊断、流行病学调查、疫情报告以及其他预防、控制等技术工作。但长期以来我国缺乏对动物疫病报告质量的定量评价指标体系[6]，造成了动物疫病报告成效难以评价的局面，不利于疫病报告工作的科学开展。

我国卫生健康系统的法定传染病网络报告评价是从2003年SARS公共卫生事件之后逐步建立完善的，中国疾病预防控制中心在2005年和2009年开展了全国性调查[7]，并在调查的基础上，基于不同单一指标传染病报告信息质量评价，开展了多指标综合评价[8]。卫生健康系统对于法定传染病报告评价研究主要是针对医疗机构[9]，报告的评价指标主要包括报告率、及时率、完整率、准确率、一致率、及时审核率、重复报告率[10]，这些评价指标对于动物疫病报告评价有一定的借鉴意义。

农业农村部对于动物疫病报告的具体要求有别于卫生健康委对于传染病报告的要求。动物疫病报告病种涵盖农业农村部发布的《一、二、三类动物疫病病种名录》，法定报告单位和个人涵盖所有畜牧兽医从业组织和人员，各类单位和从业人员均可以直接向属地的动物疫病预防控制机构报告，报告的病种多、覆盖面广、信息复杂。近年来，农业农村部先后印发了《农业农村部关于做好动物疫情报告等有关工作的通知》（农医发2018〔22〕号）、《动物疫病信息周报告实施方案》（农办牧2020〔26〕号）等文件，对于动物疫病的快报、周报、月报以及审核都进行了明确要求。本研究在分析国内外大量关于人法定传染病和动物疫病报告评价系统的基础上，结合 我国动物疫病报告管理的有关文件规定，使用德尔菲法初步构建了用于评价某一行政区域内动物疫病报告情况的指标体系。从评价指标制定情况看，评价体系包含了报告的及时性、准确性、全面性和来源面等方面，每个一级指标由2～4个二级指标组成，着重根据有关文件要求对疫病报告的具体情况进行赋分评价。参与制定指标的专家专业水平高，领域研究深入。从专家结果的一致性情况看，利用K-Related Sample Test检验第一轮和第二轮专家一致性，结果两次一致性均较高，因此保证了建立的动物疫病报告评价指标体系的完整性、系统性和可操作性。该评价体系对今后我国开展动物疫病报告评价工作具有参考意义。2023年1月，中国动物疫病预防控制中心应用该评价体系对31个省、自治区、直辖市和新疆生产建设兵团2022年第四季度动物疫病报告情况进行了评价，结果全国疫病报告平均得分79.76分，其中高于平均分的10个优秀省份获得了通报表扬，这对动物疫病报告评价工作能力提升具有积极意义。

当然本研究构建的评价体系也存在一定程度的不足：一是在制定指标时，仅考虑以省级行政区划为单位进行报告评价，但市、县级在使用该体系时，部分指标难以完全适用，造成该指标在评价较小区域时可能存在偏差。二是当前动物疫病报告缺乏全国范围内适用的规范性文件，在实际指标制定时，各专家对于报告指标的理解存在一定的偏差。这需要国家进一步出台动物疫病报告规范性文件并加以完善。三是随着我国动物疫情防控形势的变化，国家对动物疫病报告工作不断提出新的管理要求，疫病报告指标体系需要不断动态调整，这样才能进一步满足新形势下动物疫病报告工作的要求。