第三方机构评价业务全流程监管实践探索<br/>——以辽宁省为例

第三方机构评价业务全流程监管实践探索
——以辽宁省为例

2022-10-12沈光波夏和飞

财政监督 2022年19期

●沈光波苗宇夏和飞张通

2018 年，中共中央、国务院印发《关于全面实施预算绩效管理的意见》，对全面落实预算绩效管理提出了明确的要求，“引导和规范第三方机构参与预算绩效管理，严格执业质量监督管理”。在此基础上，2021 年，财政部先后印发《关于委托第三方机构参与预算绩效管理的指导意见》（财预〔2021〕6 号）、《第三方机构预算绩效评价业务监督管理暂行办法》（财监〔2021〕4 号）等相关文件，并同步上线运行 “预算绩效评价第三方机构信用管理平台”。明确从委托方角度对第三方机构参与预算绩效管理的相关业务活动作出引导规范的同时，提出要加强对第三方机构的指导和监督，推动执业质量的提升。

近年来，第三方机构积极参与财政支出绩效评价工作，为促进区域预算绩效管理水平提供智力支持，但同时由于第三方机构能力水平、认识程度不同，在推进绩效评价工作的过程中还存在诸多问题。为提升财政预算管理部门对第三方的管理能力及管理质量，辽宁省积极引入第三方绩效监管平台，依托平台对委托评价工作及成果进行严格的质量管理，提升委托评价管理工作效率，防范委托任务过程风险，积极推动预算绩效管理工作提质增效。

一、现实需求

面对绩效评价工作提质扩围的要求，第三方机构参与预算绩效管理作为提高财政预算管理质量的重要方式，已然成为推动全面实施预算绩效管理的重要力量，对强化预算管理、提升绩效评价的独立性和可信度、加强社会监督和扩大公众参与发挥了积极作用，未来也将成为绩效管理的“新常态”。面对第三方在预算绩效管理中的积极广泛参与，如何发挥第三方专业性、提升其业务能力和服务质量、加强监管是需要重点考虑的问题，从而确保最终委托工作质量，切实反映政策项目实际效益，以提高结果应用的准确性。

目前加强第三方机构监管的现实需求主要包括：一是加强第三方机构参与预算绩效管理工作的业务指导和培训，使第三方机构充分贯彻委托方的工作意图；二是培养第三方机构的绩效思维，个别第三方机构由于从审计、资产评估等领域转型，评价思维路径较为固化，绩效评价业务素质及经验匮乏，整体操作思路还未适应绩效评价工作需求；三是开展第三方机构实际工作情况的过程监管，减少方案质量差、核心指标不足而导致的评价结果不准确的情况；四是规范绩效评价工作流程，绩效评价需考虑项目设立、执行以及产出效果全流程，整体评价工作涉及方案制定、评价体系及标准、社会调研对象选点、满意度调查、数据收集、报告撰写以及阶段成果汇报等多流程，评价过程中第三方机构存在流程缺失、调研走过场、数据分析不到位等现象，没有严格按照标准的评价工作流程来实施绩效评价；五是加强第三方机构事后管理，评价完成后对其工作情况、服务态度、职业道德、行业规范等事项作出考评，考评结果作为遴选第三方的重要依据，以构建第三方机构全流程管理机制；六是加强绩效评价业务电子档案规范管理，线下管理方式易造成档案丢失，尤其容易出现人员调整导致的档案信息丢失。

二、管理思路

为加强第三方机构评价业务监管，辽宁省财政厅依托源头培育、过程监管、验收评价思维路径，构建全流程监管方式。一是积极引入 “学习云”，搭建第三方机构绩效评价业务学习平台。“学习云” 为第三方机构从业人员提供分层次的线上绩效学习课程，提升学员专业知识储备，为绩效工作高质量开展打下坚实基础，从而加强对第三方机构的业务指导。二是积极引入“委托云”，搭建绩效评价业务全流程管理平台。通过“委托云”实现了对第三方机构、专家学者的管理，同时实现了对绩效评价任务、评审任务的管理及风险预警，从而规范了第三方机构参与预算绩效管理的方式，并加强了评价业务全流程监督。三是积极引入 “工作云”，搭建绩效专业业务操作平台。 “工作云”为第三方机构开展实际业务提供了专业化、规范化的绩效评价工作平台，实现了评价效率的提升，从而积极推动第三方机构履职尽责。

通过第三方绩效云平台，辽宁省财政厅形成“两管一学”培育+监管工作推进思路，即实现第三方机构库和专家库人员管理、评价/评审项目工作任务全流程工作管理以及预算绩效管理系列专题讲座等课程学习等全流程管理模式。

（一）“学习云”——致力于第三方机构专业基础培养

辽宁省财政厅通过引用“学习云”平台对第三方机构专业素养进行培养，通过分层次、分领域预算绩效管理课程体系的业务学习，让第三方机构能够快速掌握预算绩效管理方面的专业知识。一是通过政策解读课程普及绩效管理知识，使第三方机构明确预算绩效管理的改革背景、重要意义、基本概念、责任主体、主要内容、政策要求、改革举措等内容，以树立绩效意识；二是依托实践操作课程，提升第三方绩效管理业务操作能力，通过学习实践操作课程，并结合案例剖析，系统讲解和辅导，帮助第三方机构一步步实操绩效工作；三是引入职级课程+案例课程，以拓展第三方机构绩效评价业务知识，其中案例课程主要为各行业领域重点评价项目的分享，为第三方机构在不同领域的评价工作提供操作指南，大大提高了第三方评价报告的整体质量；四是引入专题讲座，提升绩效管理创新能力，第三方机构人员可根据当前关注领域和本地区实际发展情况，选择部分行业和领域的绩效管理专题讲座进行学习。通过分行业分领域专题课程的深度剖析，有效促进学员对该行业领域绩效管理的认识不断深化和拓展。

（二）“委托云”——提供第三方机构绩效评价业务监管工具，形成“1+3 管理模式”

通过“委托云”平台，辽宁省财政厅除了可以对所有绩效评价参与主体、成员进行动态信息管理，还可以实现对评价任务的全流程、全天候监控，从而实时追踪项目开展情况。主要工作模式为：一是目前省财政厅通过云平台对年度重点评价项目实时创建绩效评价任务，并下达评价任务至第三方机构，从而管理并跟踪第三方机构的任务开展情况等；二是第三方机构在接到委托单位的任务后，按照要求的规范标准流程及时间节点完成工作任务，并通过周报管理模块，对项目推进情况进行说明；三是省财政厅根据管理要求可随时查看工作任务进展，并对推进情况较差的项目提出整改意见。通过常态化的跟踪管理督促第三方机构和专家按照委托单位的要求保质保量完成工作任务，从而保障第三方参与预算绩效管理的有序实施。

与此同时，协同第三方绩效云平台建立3 项第三方机构管理保障机制，从而形成以平台为依托的“1+3 管理模式”，加强对第三方咨询机构的管理。

1、机构信息管理机制。依托预算绩效评价第三方机构信用管理平台相关要求，辽宁省财政厅通过云平台对第三方机构的基本信息、项目经历、监督考核情况进行管理，形成一个动态调整的第三方机构信息库。省财政厅可查阅各个机构基本信息、法人信息、主评人信息、分支机构信息（非独立法人机构）、合作专家信息、其他绩效评价从业人员信息等，对第三方机构信息开展全生命周期管理，防止因人员流动，造成相关信息不对称。同时，通过平台可开展机构信息审核、修改、停用、退出以及查询详情等功能。

2、第三方机构评分管理机制。通过平台内置机构评分表单，可对完成评价任务的第三方机构就其服务态度、工作效率、服务质量等维度开展单个评价项目评分及机构年度评分等工作，将评价结果作为后期遴选第三方的重要依据。

3、第三方机构违规管理机制。若第三方机构在实际评价过程中出现各种违规行为，省财政厅可通过平台对其违规行为进行记录，建立第三方机构违规档案，作为第三方机构信息中的一部分。

（三）“工作云”——搭建第三方机构评价工作标准路径，规范评价流程，提高报告质量

伴随绩效评价工作提质扩围的要求，各主体对第三方机构水平及绩效评价质量的要求也越来越高。在此背景下，辽宁省财政厅积极引入“工作云”，给第三方机构提供一个专业化、规范化、标准化的评价工作平台，以解决第三方机构绩效评价经验较少、管理流程不够规范、专业能力不足、评价方法不够科学、评价质量较低等一系列问题。

通过“工作云”平台，第三方机构依托规范的工作流程和科学的组织管理体系，能节约评价时间和成本，整体提升评价工作质量。主要体现为：

1、评价工作流程科学规范，提升工作质量。通过“工作云”平台提供完整的评价工作流程，一方面，项目负责人按照规范的评价流程将不同阶段的工作内容进行分配及管理，同时可实时了解整体项目评价进程并发现问题；另一方面，就项目工作成员而言，平台在评价任务管理及任务安排、预选方案、评价指标分析、数据采集、数据分析、报告生成、方案及报告质控、项目归档等环节均提供了一套科学规范的工作流程及工作方法，支持第三方机构人员以专业、高效的方式开展评价工作，同时保障评价工作的数据安全及质量。

2、智选评价案例，保障评价质量。为助力第三方机构高效完成评价报告，“工作云”平台的智能报告支持共享示范案例，实现智能考核评价，让绩效评价更便捷。智能报告预设不同领域、职能的示范案例，支持评价人员自主修改，加上大数据、人工智能、智能爬取、知识图谱等技术植入到智能报告生成的各环节，释放人工搜集、方案撰写的人力成本，大幅度提升评价任务执行效率，有效提升第三方机构工作效率。

3、专业工具支撑，提升工作成效。 “工作云”平台提供了大量的工具支持模块，旨在帮助第三方机构开展实际业务时，灵活借助云端工具开展评价工作，提高评价效率。工具支持模块包括“问卷”“访谈”“基础表”“评价指标”等内容，第三方机构可以结合实际工作需求选择相关工具开展工作，同时平台支持线上线下工作数据互通，高效率、低成本、高质量地推进评价工作。

三、实施内容

为加强对第三方服务的质量管理，辽宁省财政厅于2021 年引入第三方绩效监管平台，致力于打造辽宁特色管理方式。 2021—2022 年辽宁省财政厅通过监管平台分别开展了30、50 个重点项目评价及分行业领域指标体系建设工作。项目情况详见表1。

表1 2021—2022 年辽宁省重点项目情况表

省财政厅通过监管平台对第三方评价工作进行全流程监管，监管内容涵盖评价项目前期对接、评价方案制定、评价项目执行以及评价报告撰写和验收等项目全生命周期监控，不断夯实第三方服务质量。在全流程监管的同时，通过监管平台为第三方评价机构提供评价业务便捷工具、模板数据库、评价案例以及培训课程等辅助工具，为第三方机构开展绩效评价工作提供全方位支持。

依托监管平台的运用，目前省级绩效评价方案及报告整体质量较以前年份有大幅提高，切实反映了项目实际效益，且整体评价效率也稳步提升，主要体现为：一是评价思维贯彻更清晰。第三方机构能更好地贯彻省财政厅评价思维路径，整体方案设计、关注要点更能结合省厅需求。二是评价指标设计更科学。第三方机构出具的项目绩效评价指标设置更科学，能围绕项目核心产出及效益指标设置，多以定量指标角度评判为主，改变以往产出及效益多以定性指标衡量的现象，大幅减少第三方机构自由裁量权过大而导致的评价结果不真实情况。三是评价工作推进更高效。通过绩效云监管平台便捷工具，第三方能大幅提高工作效率，例如通过监管平台开展满意度调查工作，大幅减少纸质问卷发放范围覆盖低、收集效率低的弊端。与此同时，监管平台还能对收集的问卷结果进行结构分析，分析各个影响因素，明确影响项目效益发挥的关键要素，减少评价人员线下收集、分析的时间，避免人力财力浪费。四是评价过程监控更直观。省财政厅通过平台能实时查询第三方机构各个流程节点工作安排及实施进度状态，同时通过第三方周报功能适时了解评价工作整体推进情况。此外，通过平台监管对评价工作整体推进较慢或存在问题的项目，省财政厅会予以反馈，确保项目按时推进，保障整体工作时效要求。

截至目前，15 家第三方机构通过绩效云平台完成了80 个重点评价项目全流程线上评价，同时省财政厅依托平台对第三方机构进行线上综合管理，并从社会调查、指标评分、项目概况以及项目经验、问题及建议等4 个维度共计17条评价指标综合考量第三方绩效报告质量，评价结果终身记录，切实保障第三方机构服务质量，弥补了对第三方机构后期工作评价的缺失。

四、实施效果

（一）提升委托管理工作质量，全流程管理更精细化

一是提升对第三方机构的管理能力。通过第三方绩效监管平台，辽宁省财政厅实现了对所有入库第三方机构的统一管理，并建立了规范的审核及评分机制，对机构进行严格的资质以及评价质量管理，提升了评价工作质量的同时也促进了机构人员和专家专业水平的提升。二是提升第三方机构服务能力。通过专业化流程设计及辅助工具的提供，规范线上工作流程，在一定程度上解决了第三方“不会评”工作难题，提升了对绩效评价任务过程及质量的管理水平，同时，通过平台的任务跟进功能，实现了及时掌握各项目的实际任务进度，严格落实过程管控。三是评价结果应用更具说服力。通过平台科学的管理评价流程，将项目管理、质控管理和工作管理深度结合，助力第三方机构完成专业化、高质量的绩效评价成果，促进省财政厅更好开展资金分配工作，将资金配置到效果更好的领域，使预算绩效管理落到实处并取得实效。同时，针对第三方机构提出的资金分配结构或补助标准不合理、支持对象不精准、管理不规范等问题，厅内相关业务处室和主管部门已作出完善政策设计、修订制度办法、改进项目管理等工作安排。四是提升评价档案管理能力。通过平台管理能对第三方机构开展评价项目数据及材料的线上管理，实现评价档案电子化管理，促进档案管理精细化。

（二）提升委托管理工作效率，全过程管理更高效

一是便捷工具辅助评价工作开展提升评价效率。绩效平台提供了问卷调查分析、评价调研、评价指标设计以及基础数据表设计等便捷工具，支持第三方机构灵活借助云端工具开展评价工作，大幅降低委托单位和第三方机构时间、人员、沟通、财务成本，提高评价工作效率。二是评价数据收集分析功能促进评价工作更高效更真实。通过平台问卷功能，实现满意度线上调查线上分析，减少纸质问卷发放范围覆盖低、收集效率低的问题，且依托平台功能限制个人填报次数，解决相同人员多次填报的问题，数据质量得以提升，切实反映项目受益人满意度情况。三是实时监控工作任务提高监管效率。一方面，通过平台提供的管理模块、任务模块、工作模块、工具支持模块等，帮助委托单位实时高效的管理部门及机构成员，提升管理效率；另一方面，省财政厅通过“委托云”及时有效地跟进委托任务，了解项目实际推进情况，发现问题及时解决，提升委托方监管效率。

（三）防范委托管理工作风险，全流程管理更规范

一是实时掌握任务状态。通过平台可直观了解任务的当前状态及进展，汇总所有逾期任务信息，进行预警，并及时催办，降低委托任务风险。二是创新周报管理机制。通过平台实现委托单位对评价任务实时的跟进管理，通过周报内容掌握任务最新状态，及时化解风险问题。三是项目重点成员变更预警。平台对已建立的项目变更主评人及重要工作人员，及时提醒委托单位，帮助委托单位及时掌握项目变更情况，做好风险防范，保障委托评价任务有序实施。四是强化第三方服务质量管理。通过监管平台实现对第三方机构绩效评价报告的质量管理，并通过平台终身记录，对评价报告质量不佳的情况将适时建立退出机制，确保整体评价质量。

五、进一步展望

伴随评价业务提质扩围的要求，不断夯实第三方机构管理质量的同时还需加强对绩效专家的管理，也要进一步加强对市县的绩效评价工作指导，整体提高区域预算绩效管理水平。为此，辽宁省财政厅将进一步加强绩效专家管理，并打通全省绩效评价数据链条，实现评价资源整合，具体如下：

（一）加强部门和专家动态管理，实现信息共建共享

进一步管理本/下级财政部门、预算部门，实现绩效评价统一信息管理。通过“委托云”平台贯穿各层级信息渠道，实现对市级、区县级财政部门、预算部门（单位）的评价任务、评审任务、第三方情况、专家情况的统一管理。通过平台对各级评价任务、评审任务等数据总览，以及评价任务、评审任务等详情信息，保证管理人员及时掌握各部门单位及委托评价任务现状。

（二）积极启用“质控云”平台，加强质量控制

为进一步提高评价质量，辽宁省财政厅计划建立专家咨询机制，引导和规范第三方机构参与预算绩效管理，严格执业质量。并引入监督管理“质控云”平台，通过平台搭建第三方机构与质控师（经财政部门认证后的质控专家）之间的合作桥梁，通过“质控云”平台委托专家学者对评价方案及报告提供的专业线上评审及质控工具完成相应的评审及质控服务，从而保证委托评价/评审任务的质量。