明晰主体职责 严格过程管控——上海市闵行区中小学“电子书包”(一期)绩效评价解读
2015-01-21上海市闵行区财政局上海闻政管理咨询有限公司
●上海市闵行区财政局上海闻政管理咨询有限公司
闵行区是上海市最早探索财政支出绩效评价工作的区县之一。目前,闵行区预算管理工作已形成制度化、程序化、常态化机制:每年3月开展上年度财政支出结果评价、8月开展本年度绩效跟踪评价、10月份开展下一年度立项评审。从“前评价”到“跟踪评价”,再到“结果评价”,三份绩效评价报告贯穿了预算绩效管理的事前、事中和事后环节,在财政资金的投向、管理、效果方面层层把关。
本文结合上海闻政管理咨询有限公司开展的2012年度闵行区中小学电子书包(一期)绩效跟踪和绩效评价项目,梳理“闵行模式”的特色做法,从预算绩效管理不同主体职责的视角解读闵行区全过程预算绩效管理体系。
一、项目概况
闵行区是国家教育部教育电子政务试点工程单位。为进一步提高信息化教学能力,解决教育资源不均衡、填鸭式教学、个性化教学缺乏和教学反馈不及时等问题,闵行区于2012年启动“电子书包”项目,计划通过探索试验(2012年)、深化应用(2013年)和推广应用(2014年)三个阶段初步构建具有闵行特色的数字化智慧教学模式。其中,探索试验阶段又称为“闵行区中小学‘电子书包’(一期)”,即本次解读案例中跟踪和评价的对象。项目主要内容包括:开发供教师、学生等多方使用的电子书包教学软件平台,制作数字化教与学的资源(含数字化教材、学习课件资源、多媒体导学资源、试卷试题资源、教师备课素材资源等),购买学生使用的终端设备(上网笔记本和平板电脑)以及建设学生班级无线上网的环境。
该项目由上海市闵行区教育学院立项和实施,闵行区教育局审批,教育局将预算和方案递交闵行区财政局,财政局委托闵行区工业和信息化委员会对项目方案进行论证,并由信息委批复方案并调整硬件类和软件类方面的预算。财政局调整应用类建设预算并批复整个项目预算。预算批复后,由闵行区教育学院实施。该项目预算资金来源于教育费附加,资金用于硬件购买(包括服务器、无线局域网设备和终端设备等设备)、软件建设(构建区域在线学习门户、单点登录、学习内容管理系统、学习管理系统和网上测评系统等软件平台)、应用推进(包括电子教学资源制作、教师培训和教学推进)等方面。探索试验阶段覆盖40 所学校,其中高中3所、初中7 所、小学30 所,每所试点学校选择一个年级1-2个班级开展试验。高中、初中和小学的试验课程均为语数英。试点阶段每个试点学校分配约100个终端设备,试验班级的每门试验课程每周至少开一次课。第二阶段计划扩展到46 所学校,第三阶段计划扩展到66所学校。
二、绩效评价实施过程
2013年度闵行区选取了包括“电子书包”(一期)在内的50个涉及民生公共服务类项目开展绩效跟踪。绩效跟踪的主体为预算单位,第三方评价机构负责辅导。跟踪结果显示,截至2013年10月20日,项目当年预算实际执行金额为0。项目预算执行滞后的原因主要在于前期准备不足,预算论证不够明细。依据绩效跟踪结果,为持续跟进项目进展,该项目被列入2014年度闵行区绩效后评价人大听证项目。绩效评价在闵行区绩效评价工作领导小组(由区人大、政协、监察局、国资委、审计、财政等相关部门共同组成)的领导下,由区财政局统一组织,预算主管部门和预算单位配合,第三方评价机构独立评价。在绩效评价实施过程中,相关主体各司其职,共同成就了颇具特色的“闵行模式”:
(一)闵行区财政局作为评价工作的组织实施部门,严格质量和时间控制,积极引导协调
一是层层筛选,确保高质。在绩效评价第三方机构的确定上设立了两道门槛:先入围,有资格参与方案比选;再择优,同一项目至少两家入围机构进行比选,形成竞争机制。同时比选即引入财政、绩效和行业专家,进一步提升了评价的科学性和专业性。二是节点明确,力求高效。在评价实施过程中,闵行区财政局严格时间控制,各项工作严格时间管理,方案比选于2014年3月完成,评审于4月完成,报告评审于2014年6月完成,报告定稿于2014年7月15日提交。在评价开展过程中,闵行区召集评价机构召开了多次沟通会议,一方面明确各项工作要求,另一方面倾听中介遇到的问题和困难,给予相应指导。评价的及时完成提高了后续结果应用的时效性。三是统一操作,注重规范。闵行区对方案和报告的格式进行详尽、细致的规定,并为评价机构提供样例。规范化的管理方式既保证了评价的有序开展,也提高了管理部门的工作效率。
(二)闵行区教育局和闵行区教育学院分别作为该项目的预算主管单位和预算单位,对本次绩效评价工作十分重视
一是闵行区教育局的高度参与,不仅参与了项目的启动会议、方案评审会和报告评审会,还积极配合评价组的访谈和调研。闵行区教育局分管信息化推进的局长更是亲自参与了沟通,自上而下打通了协调通道。二是闵行区教育学院的全程主动配合。教育行业对于社会、经济发展的贡献是多方面的,部分间接产生的效果衡量难度高。在指标设计上,闵行区教育学院邀请华东师范大学的教育专家一同参与研讨。在数据采集上,本项目受众广,涉及多所学校师生,闵行区教育学院高度配合,使得评价组顺利完成了40 所学校的基础数据采集和复核,12 家单位(教育局、教育学院和10 所试点学校(负责人、任课教师和学生))的面对面访谈,16 所学校的电话访谈,30 所学校师生线上电子问卷调查,10 所学校线下纸质问卷调查。最终共计回收138 份教师有效问卷、1209 份学生有效问卷。
财政部门和预算主管部门、单位的积极态度也激励了评价组。考虑到教育信息化项目的复杂性,评价组聘请了教育领域的专家开展全称指导,同时引入了有信息系统开发背景的评价人员。
三、绩效评价结论
在多方的参与和配合下,此次绩效评价最终得以完成。一般而言,根据绩效评价目的的不同,绩效评价可分为三种类型:管理改进型,责任控制型和预算控制型。本次绩效评价对象为一期即整个项目的探索试验阶段,在此阶段进行绩效评价对“二期”、“三期”乃至更长远阶段的管理都具有借鉴和参考意义。换言之,本次绩效评价属于管理改进型。经过评价,项目值得在今后继续发扬的经验做法包括:第一,重视顶层设计,教育部门委托专业机构为电子书包项目的推进作了整体规划;第二,采取区域整体推进模式,发挥试点学校自身创造力;第三,依托专家团队、委托专业机构按需开展分层次培训,提升学校领导和一线教师的数字化教学理念;第四,预算单位与终端设备供应商签订三年质保合同,有力保障项目后期运维。同时,该项目还存在以下问题需要关注:第一,对经费投入的可持续性、试点对象和范围的论证有待进一步完善,部分论证内容归档不够全面;第二,项目硬件投资比重偏高,软硬件教学适应性有待进一步提高,教师对推进电子书包的共识情况有待进一步提升;第三,小部分试点学校的设备使用对象发生变更,电子书包资产在试点学校的管理情况的监管力度存在可提高的空间。针对上述问题,评价组从提高绩效、改善管理的角度提出了相应的意见和建议。第一,控制试点规模,加强对试点群体变化情况的跟踪观察,实施过程中应健全对项目发展和经费投入可持续的论证;第二,加强信息化教学资源的整合,提高软硬件的教学适应性,就项目实施与一线教师达成更广的共识;第三,充分利用学校已有设备,加强对各试点学校电子书包资产管理情况的监管。
四、绩效评价的经验探讨
从评价对象的选取到第三方机构的管理再到信息公开与结果应用,“闵行模式”颇具借鉴价值。
(一)绩效后评价对象的选取:有重点、有指向、重民生
闵行区一般从具备一定资金规模、能反映部门职能和特点、有显著社会和经济影响、社会关注度高的项目中选取绩效后评价对象。同时前评价、跟踪和后评价一环扣一环,除遵循上述甄选原则外,后评价还优先选取绩效跟踪评价过程中值得持续关注的项目。本次解读的项目归属于民生之基——教育领域,资金投入大,受众面广,其纳入后评价也参考了跟踪评价结果。评价对象选择有重点、有指向、重民生,能够使绩效评价工作更为有的放矢,评价结果应用更能贴合部门实际工作以及民众心声。
(二)第三方评价服务机构的选取:定点、定额、比选、考核
闵行区财政局通过公开招标方式确定了15 家第三方机构,作为区全过程预算绩效管理的定点服务供应商,适用期为三年(2014-2016年度)。在此基础上明确服务费用限额标准,有效控制绩效评价服务费用。针对每个项目特点,在工作方案确定阶段从定点机构名录中选择至少两家机构进行技术服务能力方案的比选和商务谈判,在同等条件下根据低价、择优的原则,确定项目最终服务评价机构。本次后评价评价机构的确定即通过两家入围中介比选产生,竞争提升了方案水准,强化了服务质量控制。
在绩效评价工作完成后,各预算单位还要对服务机构的服务质量进行测评,填制《第三方评价机构参与绩效管理工作情况反馈表》,报送区财政局。区财政局对第三方服务机构实行全面、统一的综合考核和管理,对第三方评价机构工作的考核内容及权重分别为财政评价(30%)、单位评价(20%)、专家评审情况(50%),加权70%以上得分方为通过。考核结果将作为评价机构服务能力综合考核依据,二次考核不通过的机构取消报价比选资格一次,三次考核不通过的机构取消其定点服务资格。
通过定点、定额、比选和考核,闵行区实现了对第三方评价服务机构的全过程管理,从选取上提高门槛、从限额上控制预算、从比选中提升质量、从反馈中不断完善。
(三)监督强化绩效意识:重视多方参与,信息公开切实透明
在专家论证环节,除邀请财政、绩效、行业等专家参与外,还会邀请区人大、政协、监察、审计、政研室等相关职能部门甚至社会公众代表参与。由人大代表乃至普通民众的监督参与,财政支出绩效评价避免了财政部门、预算主管部门和预算单位的“闭门造车”,促进了财政资金使用部门的自省自查。
同时,按照政府信息公开有关规定,闵行区对绩效评价结果形成总报告实时公开。绩效评价总报告既是对当年度绩效评价工作的总结,也能以“展示”、“排名”形式将各预算单位的工作“晒晒单”,普通民众不仅可从中了解“政府钱袋”里的钱往哪里花,花得怎么样,还可以清楚地知道会如何受益。“电子书包”(一期)的跟踪结果已在闵行区财政局官网公开。
除此之外,闵行区还要求被评单位将各自组织的绩效评价结果信息进行公开。内容主要包括:项目名称、预算金额、主管部门、评价分值、评价等级、主要绩效、主要问题、整改建议、整改情况、评价机构等方面,事无巨细。以预算主管部门为主体的公开方式既能增强预算主管部门、预算单位的责任意识,也提高了他们对绩效评价工作的配合、参与意识。本次绩效评价过程中教育局和教育学院的全力配合也是闵行区多年推动预算绩效管理背景下绩效意识提升的结果。
(四)应用反馈力度空前:砍预算、砍项目、结果应用不是空话
根据绩效评价结果应用规则,如果绩效评价结果在60分以下项目评级为不合格,那些绩效目标设置不合理、项目管理及效果存在重大问题的评价项目,不再“写写检查、高枕无忧”:一方面,绩效评价结果在众多部门反复论证通过后,会以《评价结果反馈书》的形式反馈至项目单位,内含对项目存在问题的针对性建议,相关部门须在评价组织方规定时间内形成书面整改报告,报送评价组织方;另一方面,闵行区将绩效后评价的结果作为安排下一年度预算的依据,绩效评审结果也会列入闵行区各单位行政效能考核指标。
本次绩效评价属于管理改进型,但绩效后评价实施至今闵行区已有2个项目因得分60分以下而被取消了下一年度的预算安排,而评价结果从参考依据变为考核指标则大大提高了各预算主管部门、预算单位对绩效评价与绩效预算管理的重视程度,各政府部门通过转变思路,把绩效目标真正当成自己的政绩目标,势必促进财政资源的优化配置和高效使用。