炼铁厂铁量网页数据获取系统的设计与实现

2017-01-06王春芳高永兵

中国新通信 2016年21期

关键词：网络爬虫统计分析

王春芳+高永兵

【摘要】本文介绍了基于ASP.NET的炼铁厂铁水铁量网页数据获取系统的设计与实现，包括系统的分析、设计与实现。系统应用于企业管理的数据统计分析中，提高了工作效率，增强了数据的及时性、可靠性，效果良好。

【关键词】网络爬虫数据获取统计分析

互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景。检索网页所返回的结果并不是用户心中理想的数据，为了解决这个问题，一个灵活的爬虫有着无可替代的重要意义[1]。

一、系统分析

炼铁厂生产铁水经过计量处过重后运往其他单位，记录员将过重情况记录到磅单返回到炼铁厂，相关人员录入到管理程序中。存在的问题：及时性差，劳动量大，中间环节多增加数据不一致性的风险；通过开发炼铁厂铁量网页数据获取系统可以解决此问题。

炼铁厂经过多年的信息化建设，已建成覆盖全厂的局域网络，各车间部门办公电脑普及。炼铁厂在用数据库SQL Server 2005，并且搭建了数据库群集服务器，每天晚上进行差异备份，每周进行一次完全备份，数据安全性得到保障。此系统在开发过程中几乎无费用产生，具备开发条件，方案切实可行！

二、系统设计与实现

前台通过Visual Studio 2008开发环境（编程语言C#），后台数据库SQL Server 2005，开发炼铁厂铁量网页数据获取系统，开发架构C/S模式。通过Visual Studio 2008中WebBrowser控件使用户在窗体中导航网页并获取html源码；遍历table元素行、列得到表格数据；插入到数据库中[2～4]。

经过研究计量处物资计量网铁水数据查询网页，设计表结构如图1。

三、系统功能

炼铁厂铁量网页数据获取系统主要完成功能：从系统界面中导航铁水铁量查询网页、将铁量相关数据导入到炼铁厂SQL Server数据库中；可以从管理程序中查询原始数据，面向局域网用户；经过后台处理与铁水成份关联为原始数据、经过统计分析然后生成报表，面向生产统计人员；经过后台处理，运用到动力费统计、生产查询等多个管理程序中。操作界面如图2。

四、结束语

基于ASP.NET的炼铁厂铁量网页数据获取系统，通过计量处物资计量网铁水数据查询页面，抓取炼铁厂铁水铁量数据到炼铁SQL Server数据库中。提高了数据统计分析的灵活性；降低了相关人员的工作量、提高了工作效率；确保了数据的及时性、准确性、安全性；进而达到了节约成本的目的。