基于自动化信息收集管理系统的研究及应用

丘美景，王倩桃，熊筠野

（广东电网有限责任公司梅州供电局，梅州 514000）

随着办公软件的普及，越来越多管理人员使用EXCEL表格对下级单位进行资料搜集，由于大多数下发搜集的管理人员处于一对多的关系，搜集上来的资料随业务的增加而成倍增长，越来越多的EXCEL反馈表格（有些还有N个版本）使管理人员汇总时容易疲劳、出错。

该系统是针对上述痛点进行设计的一套软件，意在解决管理人员在资料搜集过程中存在的各种痛点（防止资料误删、误改、误增、误操作等），从而提升业务能力和管理水平。系统将搜集的资料以任务的方式进行下发，功能模块包括任务下发、任务跟踪、任务提醒、任务处理等功能，支持线上线下操作功能，简单实用。同时通过系统数据进行图形化进行大屏展示，任务情况一目了然，极大地提升管理水平，管理逐步形成信息化、自动化。

1 概述

用户信息采集系统出现较早，是基于Web信息采集系统，其类型主要分为以下几种：

（1）Web信息采集。Web信息采集作为一种应用最为广泛的信息采集方式，信息采集主要是经根节点至关联的子节点，并对所有的链接节点进行采集，直到采集完毕为止。

（2）主题信息采集。根据采集主题的约定，对与主题相关的数据进行采集，并可以通过多种数据文本来描述主题。

（3）增量式的信息采集。在数据采集时，需要在静止的页面下不断更新Web页面，只需要对部分页面数据进行更新，这样会节省大量的采集时间，且能够提升信息采集效率。

（4）个性化的信息采集。在信息采集时，我们可以结合用户的需求进行信息采集，这样可以满足不同用户的使用需求。

（5）分布式的信息采集。在信息采集时，我们可以设置不同的采集节点，利用信息的协同性进行采集，并将采集数据进行合并，此采集方式具有性能好、速度快等优点，能够有效提升采集服务质量，确保采集的协调性。

2 总体需求分析

2.1 技术原理

本文实现基于自动化信息收集管理系统总体需求分析，包括系统功能和性能分析。在系统架构模式上，采用了B/S设计模式，有利于减少系统维护的工作量，降低系统开发成本。其系统的技术原理如下：

该系统采用B/S架构，HTML、JS、JAVA等开发语言，Mysql数据库用于存储数据；因当前这种开发技术已成熟，系统操作较为简单，故我们可以根据用户的需求，构建自动化信息收集管理系统，并对系统功能结构进行划分。在系统功能结构设计时，其结构功能主要分为以下几种：信息采集功能、加工功能、统计分析功能、系统管理功能和参数设置功能。其中，系统管理功能主要由用户管理、系统操作管理、角色管理、访问权限管理等几个部分组成。

2.2 系统研究内容

自动化信息收集管理系统的应用，其应用内容主要包括以下几个方面：一是自动化信息收集管理系统开发技术，主要包括：技术架构、功能设计、开发平台介绍等；二是系统总体需求分析与设计；三是开发自动化信息收集管理系统的功能模块。

2.3 非功能性需求分析

根据非功能性需求分析，其需求如下：在界面设计需求上，自动化信息收集管理系统设计界面满足总体需求，使信息采集更快速，体验更丰富，界面更友好；在功能扩展要求上，自动化信息收集管理系统采用了扩展功能，对系统进行升级，在系统维护时，采用远程更新方式。

3 系统设计

（1）该系统采用B/S架构，并采用HTML、JS的开发语言和Mysql数据库，用于存储数据。

（2）安全设计方面，既保证数据安全又保证服务安全；数据方面采用HTTPS加密，消息内容加密、Token校验、防SQL注入、非常用登录地址邮件提醒和同一用户操作频率的监控等安全技术手段；服务安全方面采用nginx反向代理。

（3）使用Nginx做反向代理提高服务吞吐量、便于服务器分布扩展、安全；nginx作为代理可以满足大量客户端的同时请求并均衡的分发到相应服务的实例，同时避免了服务器ip和端口直接与外网联通从而达到防止攻击的效果。

（4）服务端采用微服务进行项目设计与开发以达到业务解耦的效果（即高内聚低耦合）使复杂的业务模块化便于扩展和维护。

（5）在微服务的基础上实现分布式部署提高系统的容错性（一个服务的瘫痪并不会让整个系统瘫痪，用户使用的功能均正常）、动态增加和减少服务实例。

（6）服务实现两套对外接口便于系统之间的对接，一是RESTFUL风格方便已有非微服务业务程序调用（即：可以方便其他有相同或类似业务需求的人员使用）；二是rpc（远程服务接口过程调用）风格便于微服务业务扩展及相互之间高效率的数据交互。

（7）预警体系，对服务内出现的报错、接口请求超时、数据库请求超时等各种异常增加一套预警系统实时监控及发送邮件到相关负责人。

（8）服务部署，mysql采用多主多从的集群方式部署，根据业务需求对数据进行定时备份；微服务均使用多实例部署以达到7*24小时不停机保证高可用。

（9）使用成熟开源的分布式任务调度架构xxl-job（可实现浏览器界面操作，简单，方便，功能强大），以满足一些调度业务需求。

4 技术关键点及创新点

（1）技术关键点。①将人工下发任务方式进行信息化，系统自动汇总查重，消除人工误操作的风险；②将业务信息修改提供数据级审计，提高数据准确性及可追溯性。

（2）创新点。①改变原有资料搜集方式，由系统统一下发，业务高效、准确；②减少人工汇总时间，提高工作效率；③对于资料搜集的数据进行流程变更把控，提高数据准确性及可追溯性。

5 结束语

本文实现对自动化信息收集管理系统的设计与实现工作，得到了以下几点结论：

（1）实现系统的需求分析和系统文档设计。

（2）实现系统功能的优化与完善，并适当增加系统其他功能。

（3）与通过邮件或纸质形式搜集资料的办公方式相比，该系统将该流程进行信息化，大大缩减了人力物力。

（3）系统会自动进行重复数据删除、汇总，消除了人工EXCEL表格汇总误操作。

（4）实现对自动化信息收集管理系统的数据操作的审计。

（5）此系统是针对普遍管理人员工作方式的痛点，提高工作效率及准确性，消除人工误操作，具备通用性及推广性。