EXCEL在基层农业统计中的应用
2014-08-07吴仁程
吴仁程
(温岭市统计局,浙江 台州 317500)
一、引 言
农业统计是各级政府维护粮食稳定、制定农业扶持政策和决策依据的重要来源。基层农业统计工作是整个农业统计工作的基石,要抓好农业统计工作,就必须优先抓好基层的农业统计工作。从目前看,农业全面统计制度仍是今后相当长时期内各级政府获取农业生产数据的主要渠道,因此必须通过加强数据审核力度来强化农业统计基础建设,促使农村基层调查员“干实事、说实话、出实数”。温岭市统计局经过积极探索和大胆尝试,设计出一套能与国家程序SARP相衔接、具有较强数据管控能力、适合在基层农业全面统计工作中推行的数据处理程序,在全市应用,并取得实效。现将具体的设计思路、做法和经验与大家一起探讨。
二、EXCEL平台确定及优势
基层统计工作量大,情况复杂。特别是2001年温岭全市范围进行第二次乡镇行政区域调整后,乡镇个数由原来的34个调整为16个,使部分乡镇农业统计报表数据处理工作量成倍增加,效率低、差错率高的手工操作已经不能适应工作需求,必须依靠现代化的手段帮助完成统计数据的整理工作。
(一)EXCEL平台的确定
SARP程序稳定可靠,是农业统计使用的官方软件。温岭市局在2001年年报时选取了部分条件较为成熟的镇进行SARP应用试点,希望“以点带面”实现农业统计报表的全面电子化,但没有成功。此后,不少乡镇自发利用EXCEL进行简单的数据汇总,温岭局经过适当的规范和整理,开始在乡镇使用EXCEL报表。经过总结和分析,通过功能的扩展和完善,EXCEL报表可以完成基层农业统计的数据处理任务,与SARP相比较更适宜乡镇使用。一是用户基础好,EXCEL是机关事业单位人员岗位培训的必修课程之一,行政、事业单位在职人员都会EXCEL的基本操作。二是工作界面直观,EXCEL的工作区就是一张大型的二维表,不仅简洁直观,而且与农业统计表高度契合。三是数据管理能力强大,EXCEL强大的数据管理能力被广泛应用于统计领域,多表格管理也符合SARP的管理模式。四是可编程,通过EXCEL的VBA编程功能对重复的操作进行后台处理,节约时间,提高效率,特别适合数据的审核工作。五是“一簿多窗”方便比对,“一簿多窗”即在多个窗口中显示同一工作簿,并可以独立操作同步数据,可用于相关联的不同工作表间的数据对比,排查错误原因。六是能与SARP无缝衔接,用EXCEL处理完毕的数据过录表可直接保存为“*.CSV” (一种纯文本格式)文档,而后在统计单位前添加单位代码,即可被SARP程序导入。
(二)EXCEL程序的优势
SARP是一款比较成熟的统计软件,其小巧、简单、功能齐全、通用性强、硬件需求低、兼容稳定性高,跨表运算、跨表审核和跨表汇总能力强,其多文档批量导入下级数据等优点突出,但基层更注重直观和易用。因此,基层使用的EXCEL程序作为SARP的延伸和补充,就必须做好两者兼顾,取长补短,既继承SARP的突出优点,又弥补SARP的主要不足,配合使用,相得益彰。
1.易用。SARP在易用性上较弱,主要表现为以下三个方面:一是专业要求较高,推广阻力较大;二是操作窗口单一,数据对比不便;三是分级体系不健全,移植难度较高。当前乡镇农业统计人员流动性较大,计算机基础受教育程度相对较低,故而供其使用的程序必须结构简单,流程单一,一学即会。如在自编的EXCEL程序中,将农业定报报表和畜牧业定报报表分置于两个独立的程序中,不仅便于管理也简化了程序结构,操作流程更是简便,即录入→审核→上报(图1)。
图1
2.直观。SARP程序采用一维表显示,可读性较差,审核结果代码显示多、文字提示少,不能提供过录表浏览查询,交互界面过于多样化。EXCEL程序中数据有关的交互信息全集于EXCEL工作表之中,秉持了简洁的风格。二维的工作表样式与纸质报表格式一致,衔接度更好。巧妙利用格式和批注功能反馈审核错误信息,“变色提醒,文字说明”,问题数据无以遁形。 “一簿多窗”方便报表间数据比对,把“因”与“果”的联系展现在前台,数据触碰更为直接(图2)。
三、EXCEL功能选用与比较
在选择功能上,本程序遵循了两个原则,即满足程序功能需求和确保程序体积小运行快。主要引用了EXCEL的多表管理、套用表格格式、函数计算以及VBA编程等功能,其中VBA编程功能用于实现数据审核、表间计算和程序及报表管理等程序核心功能。
(一)报表管理“一分一合”
EXCEL有着良好的多表管理功能,据官方资料,一个EXCEL工作簿至少可容纳255个工作表,整个SARP农业统计制度各类报表的总数仅为44个,理论上 EXCEL完全有能力管理所有的农业统计报表。但是实际应用中必须以程序设计者的能力与用户的硬件为基础。
一分,即按行业不同分设工作簿。跟SARP的集年报、定报以及农业、牧业等所有报表于一个程序的做法不同,目前EXCEL程序以处理定报数据为主,并将农业和牧业等按行业不同分别设置工作簿,单独处理。一是为方便管理。首先是内部管理,主要针对报表数据的管理,包括数据检索和数据审核,分设工作簿后减少了行业类别的逻辑识别条件,降低代码嵌套层级,减轻开发人员负担,方便程序维护;其次是外部管理,分设工作簿可进一步方便文档管理,分门别类灵活建档。二是为提高效率。首先是运行效率,分设工作簿后缩小了报表和数据规模,简化了程序代码,降低了资源消耗,可有效提高运行效率;其次是开发效率,分设工作簿能降低程序设计难度,缩短开发时间,同时根据报表上报的日期合理安排编程截止时间。如:根据制度安排,温岭市局确定各镇、街道2014年农业和畜牧业定报的首次上报分别时间为2月17日和3月14日,前后相差近一个月,分别设计程序相当于多出一个月的时间,使开发测试工作时间更加充裕。
一合,即把全年定报合并为一个工作簿。将全年的EXCEL季度报表以近似模板的形式按照报送的先后顺序整合到一个EXCEL工作簿,并加入“字典库”、过程工作表和管理程序等,使全年的定报融合为一个整体。对全年报表的整合是对SARP优秀的报表管理能力的继承和延续,全年各季度定报之间数据关联密切,必须经过整合以便加强数据对比审核,提高数据质量,同时方便全年数据汇总。
(二)表格长度各取所需
程序的使用单位不同,填报单位多寡各异,所需的表格长度(报表行数)也不一。表格内容(包括单元格的格式和数据)的多少,是影响EXCEL文档大小的重要因素,过多的冗余会占用大量的CPU和内存资源,影响程序运行速率,必须对此严加控制。EXCEL提供了“套用格式”功能,使表格容量按需而取,有效降低数据冗余。
“套用格式”就是对已经设定好的表格格式的一种复制,包括表格内的公式。经过“套用格式”设置的表格非常类似于一个二维数据库表单(示例图中修改后的表名为SpringPlantingTable),设置的表头可以视之为数据库字段,且字段名同样不可重复。“表单条目”和“字段”可以自由追加,并可以利用“字段名”(列名)进行各种运算(图3)。
(三)数据运算内外有别
EXCEL的数据运算能力非常强悍,形式也多种多样,不同的运算方法、运算形式和运算场合会有不同的效率和效果,选用何种运算手段,必须取决于运用环境。比如公式运算,其优点是运算及时,随改随算;缺点是常驻于内存,消耗较大,影响程序运行效率,而程序运算则截然相反。
因此在程序中数据运算的形式上,结合实际的需求采取了“内外有别”的方式。内即表内运算,通常为汇总或平均之类的简单运算,有及时性的需求,符合公式运算的特点,并且内存占用相对较少。如农业报表内的面积、产量的汇总、分类汇总,总产量和单产的计算,畜牧业存出栏数及肉蛋奶产量的汇总等等均采用公式计算,以背景色为淡黄色为区分。外即表间运算,一般为季度累计或全年汇总,如农业报表中的年终定案数汇总、全年预计报表的生成以及畜牧业报表中的分季度累计等,虽然运算比较简单,但是涉及报表较多,公式较长,内存损耗较大,只需用户有需要时计算,采用程序运算更为妥当。
(四)审核手段舍简取繁
数据审核是确保数据质量的重要手段,通过数据审核,使用户及时了解报表数据中哪些存在问题,存在哪些问题,因此错误单元务须明确,错误说明务求详尽。
EXCEL2007中可通过两种方式实现对报表数据进行自动比对审核,即条件格式(之前版本条件格式功能数据引用仅限于表内)和VBA程序,两者各有所长。条件格式是一种格式设置,使用简单,准入门槛较低,而且信息立即反馈,时效性非常强,但缺乏必要的文字说明,比较适合自编自用程序或者初学者使用。VBA程序可通过程序代码命令,完成EXCEL的各种操作,因此在审核程序中通过设置条件,改变出错数据所在单元格各种格式,完成类似条件格式的功能,并在此基础上添加单元格批注,以文字说明的方式提示错误原因(图2),错误信息更加详细,能帮助用户明确排查的错误目标,提高效率。虽然VBA程序需要通过激活来运行,没有条件格式即时反馈的特性,但仍有及时效率,最主要的是提供更为详尽的参考信息,更适合面向第三方的基层农业数据处理程序使用。
四、EXCEL程序试用取得的成效
EXCEL基层农业统计数据处理程序由简入繁,在温岭基层农业统计工作中应用了较长的一段时间,从测试的结果来看,基本弥补了SARP的不足,部分继承了SARP的突出优点,在减轻镇街道的农业统计人员负担、提高统计工作效率、加强基层农业生产数据质量控制等方面起到了积极的作用,填补了SARP在基层的空缺。
1.培训少,易推广。基于EXCEL广泛的用户群,省却了专门的程序培训,只需提供操作流程说明就能掌握程序操作,完成相关工作,即便人员更迭比较频繁也不会导致工作脱节,乡镇也较为认可,程序能够较快得以推广。
2.效率显著提高。在审核程序投入使用前,村级数据审核需要依赖手工,不仅速度慢,而且质量差,很多前后季的数据联系没有重视,表面上看没有问题,但经不起深入探究,比如畜牧业季报中的生猪出栏数与猪肉产量(表1)。
?
从表面上看,3、4季度的数据(白色背景区域为报表指标示例数据)都没有问题,而且表内分析平均每头生猪的肉产量也在合理范围之内,但是一旦两季数据联审,把4季度数据还原到当季数据后,平均每头生猪的肉产量就跌出了该地生猪的合理肉产量范围了。这样的错误数据在手工审核时不仅主观上容易被忽略,长达几天的机械性劳动和杂务干扰致使的精力分散、思路断裂都会限制审核的深入。应用程序审核后,发现此类错误仅需数秒,进一步把数据质量的控制推向了一线。
3.差错率大幅降低。手工审核不仅需要更多的时间,更依赖足够的经验,没有足够的实践经验给再多的时间也审不出潜在的错误。程序审核使发现、排除数据错误更加及时,也降低了“人为因素”(业务人员的素质因素)对数据质量的影响,增强了数据可信度。与此同时,详尽的错误提示有助于基层统计人员对错误成因的认识,认清自身的不足,促进其业务水平提高。对于核实性的错误,基层人员通过修改“批注”加以说明,简单明了,使市局对错误数据的反馈更为准确。从目前来看,经过EXCEL审核后,农作物播种及产量数据能够100%通过SARP审核,而畜牧业数据的过审率也在99%以上,存在错误也一般是个别镇、街道牛羊平均头重与上年均数存在轻微差异之类的核实性问题。
4.数据衔接更顺畅。程序不仅利用纯文本文件(*.CSV文档)这一数据接口实现了与SARP的衔接,而且引入了SARP“字典库”管理经验,并延续了以行政区划码为标准对统计单位进行排序的做法,使“字典库”管理得到统一,为同一指标数据在不同报表制度间的衔接理顺了关系。如《村社会经济基本情况》与《农业年报》两套报表中的常住人口、户籍人口、从业人员数量等等,可直接对比或取数。
基层农业统计EXCEL数据处理程序刚具雏形,功能还不够健全,需要在今后的实践中不断总结、完善和提高,使我们的农业统计基础工作更加扎实、可靠。