计算机批量数据处理方法

◎赵明



计算机批量数据处理方法

◎赵明

在信息时代快速发展的当下，计算机技术广泛应用于各个不同的领域，各类形式的计算机数据处理也就相应的随之出现。批量数据处理比较集中地反映了各类形式的计算机数据处理过程中可能遇到的多种问题,本文着重讨论其过程特征,程序系统、处理流程、操作标准化和质量控制等主要问题。

在工作和生活中，我们有各类数据要进行处理，这都需要用到计算机。而计算机的作用主要就是数据处理。数据处理是指对数据的采集、存储、检索、加工以及变换和运输。数据处理广泛在于社会生活生产中，对人类社会发展有重大的作用。对数据进行处理时有两种方式，分别是人工处理和自动化装置处理。计算机应用的很大一部分中都有数据处理，在它的基础上也可以对其他计算机应用进行开发。由于要处理的数据规模不同，并且根据数据来源、类型、结构和时效不同，在进行计算机数据处理的时候，其采用的处理方式和方法也有多种选择。批量数据处理能够对计算机数据处理过程中出现的多种问题进行反映。此文章对计算机批量数据处理的问题进行了系统的介绍。

数据处理的特征以及系统设计要考虑的问题

计算机运算速度快，精度高，数据处理的好与坏受系统设计优劣的直接的影响关系。对于一个批量数据处理项目而言，其系统总体方案就要考虑数据处理实现的功能目标、工作量估算和效率效益分析、处理流程和程序系统以及操作标准化和现场管理的问题。

数据处理的硬件软件环境考虑。数据处理需要什么样的机器设备和程序软件，主要由数据处理对技术提出的要求来考虑。原始数据量、录入员的录入速度以及限定的时间都决定着数据输入设备的数量。而键盘部分、显示器、主频频率都影响着机器的性能。输入机器与主机机器类型必须保持一致，如果用终端主机输入，则只要考虑主机性能。主机不仅需要数据处理程序系统需要的系统软件环境支持，还应注意硬件和软件的兼容性。

程序系统设计。计算机系统设计有四个定量原理：以经常性事件为重点（对经常发生的情况采用优化方法的原则进行选择，以得到更多的总体上的改进），Amdahl定律（加快某部件执行速度所能获得的系统性能加速比，受限于该部件的执行时间占系统中总执行时间的百分比），CPU性能公式（执行一个程序所需的CPU时间），程序的局部性原理（程序执行时所访问的存储器地址分布不是随机的，而是相对地簇聚）。系统研究、系统设计、系统发展以及系统操作构成了一个应用系统的开发。而数据处理技术过程实现最主要的部分就是程序系统，输入、编辑、处理、输出几部分。根据数据处理的用途不同，还可能有查询检索、更新、连接、数据库等部分。

录入程序设计。数据录入程序要综合考虑原始数据的结构和主机处理的要求，设计时要在方便操纵、提高录入质量，有效地控制数据的重录、漏录、数据项错位等方面寻找对策，以减轻主机编辑、差错的压力；主机处理程序设计。由于主机程序设计方法受主机处理实现功能的影响有许多不同的选择，而适合使用的语言也非常广泛。程序设计另一个要考虑的问题是数据的安全问题，其被引起破坏的原因可能是硬件故障、系统故障、计算机病毒侵袭等，易造成数据丢失、或被非法修改失效等，针对这些问题，只要在程序系统设计时采取有效预防措施，当系统或数据遭到破坏时，就能及时得到修复。

数据处理流程和现场管理

整个计算机处理过程中各个环节的工作程序和实现他们之间的先后次序构成了其工作流程。数据收集工作完成后，就可以进入计算机处理阶段，一般包括数据录入、编辑净化、查错改错、数据加载运行和输出结果过程。当大批量数据输入时，一定是在标准化文件的统一要求下对现场进行实时监控。要求现场主管必须了解掌握许多不确定的情况，并做好处理。在人工环节部分，要找经验性强的人来担任职务，比如，怎样快速有效地查错、审核和修改，现场的组织调度等，这些工作的质量对处理工作速度和效率有非常大的关系。

数据处理的质量控制与分析

数据处理就像工厂中的生产过程一样，其产品称为信息产品。信息产品的质量优劣极其重要。因为信息产品非同一般产品，它具有反映现实，指导决策，引导市场，可反复使用等独有的特性，在某些情况下信息产品还会被作为制定政策的依据，从某种意义上来说是具有权威性的。

数据质量受多种因素控制，数据处理过程中出现的不同程度的差错都会对其产生影响。所以必须降低错误率，比如在纵向方面，根据实际情况把项目所允许的最大错误率分配到数据处理各阶段，然后再在各处理阶段所允许的最大差错进行限制，从而制定具体的工作细节。

成果应用效益

更过效益分析有助于方案的总体设计，可以使方案更全面，更合理，克服主观盲动性。无论是设备、技术还是管理等，都有可能影响到数据的处理效率。因此效率分析要做到定量定性相结合。

应急指挥处置更加高效。应急指挥微信平台提供的新型载体可将配网故障的实时图片、视频、损失数据等信息实现“零时差”传递，有效的提高了主管部门对一般故障情况的掌握程度。在应急状态下，指挥机构能第一时间掌握受灾现场的各种动态，不仅能抓住先机，而且在抢修过程中能及时调配指令，使整个应急指挥及处置过程更加有效。

应急资源调用更加便捷。利用网络平台使应急工作更迅速，传达工作任务仅需几秒钟，并且应急指挥机构及相关管理人员在应急状态下无需携带或者查阅书面版的应急预案，工作效率显著提高。

现代社会计算机飞速发展，我们必须借助网络力量通过二次功能开发，突破传统的单一框架，设计更加严密的程序系统，严格监管数据处理流程和现场管理，加强数据处理的质量控制，使得应急指挥处置更加高效，应急资源调用更加便捷。利用微信平台提高工作效率，科学利用网络资源及前沿通信科技，推动企业安全生产。

(作者单位：广东省潮州市75240部队)