基于WONDERWARE平台的自定义历史数据库的设计与实现

2015-09-21王立烁张兴波

网络安全与数据管理 2015年17期

王立烁，张兴波

（北京国际系统控制有限公司，北京 100083）

0 引言

美国Wonderware公司创建于1987年4月，致力于开发基于IBM PC及其兼容计算机的、应用于工业及过程自动化领域的人机界面（HMI）软件，是一家领先的工业自动化与信息软件解决方案供应商[1]。Wonderware平台是美国Wonderware公司为适应严格的实时工业环境而开发的产品，其提供了一个工业化的应用服务、一个强大的历史数据库服务、一个易于使用的信息服务、以及无与伦比的连通性[2]。但是在实际使用过程中发现，当历史数据的数据量多到一定程度时，该平台自带的历史数据库服务无法满足同时存储这些数据的要求，历史服务器的日志中会出现告警和错误。针对该问题，本文深入研究了Wonderware平台收集历史数据的体系结构，摒弃了平台自带的历史数据库服务，并在此基础上研发了一种新的历史数据库，保证了在数据量巨大的情况下历史数据仍然能够正常进行存储。

1 历史数据存储体系结构

1.1 Wonderware平台配置历史数据库服务

在Wonderware平台的IDE 中可以实现对整个平台服务的配置，在Platfrom级别和Engine级别的对象下包含历史数据服务的配置[3]。如图1所示，选中“Enable Storage To Historian”后，就开启了历史数据服务功能，经过正确配置后就可将该引擎下所有的历史数据存入历史服务器。

通过图1中的几个关键配置项，可以实现历史数据的存储。其中Historian用来配置历史数据服务器名称，Storeforward deletion threshold用来配置存储转发数据块的删除临界值，Storeforward minimum duration用来配置存储转发最小间隔，Forwarding chunk size用来配置转发数据块大小。通过这些配置可以发现，Wonderware自带历史数据服务的关键是通过存储转发完成历史数据的存储，即通过简洁的界面配置就可在系统各平台内进行历史数据存储。但是，在实际运行中发现，当Wonderware平台接入的数据点非常多时，历史数据服务存在低概率出现错误的可能性，会影响系统的正常使用。

1.2 自定义历史数据库的数据存储结构

数据库连接是一种关键的、有限的昂贵资源，建立一个数据库连接需要消耗大量系统资源，频繁地创建数据库连接会大大削弱应用性能，所以在自定义的历史数据库中，如何尽可能减少数据库的连接是关键所在。通过研究Wonderware平台自带的历史数据服务可以发现，历史数据通过存储转发策略进行存库。同样，在自定义历史数据库中也采用这种存储转发的策略，使用ADO.NET技术，将系统接收的数据连续存入中转文件[4]，然后再将中转文件内容复制到历史数据库，每一个中转文件一旦被成功读取并将数据存储到数据库后就被删除，这样就在极大程度上节省了宝贵的数据库资源，降低了系统负载，杜绝历史数据存库的失败。本文中，在遥测对象中增加脚本程序，使用接口函数接收数据，对数据进行周期性和突发性地存储，然后将数据存入本地文件。在引擎中增加脚本程序，使用接口函数获取本地文件，将本地文件周期性存入历史数据库，然后删除已经被读取过的文件。流程如图2。

2 自定义历史数据库的设计

Wonderware平台以开发工具包的形式扩展了Microsoft Visual Studio.NET，并且在脚本中支持绝大部分.NET函数。但是由于在脚本中进行代码编辑不方便，并且有些函数和类库使用起来不如在.NET中简单，所以此处采用编写外部函数库的方法，使用C#语言完成自定义函数库的开发。数据库平台选用SQL Server。

2.1 将历史数据存入中转文件

历史数据分为周期性存储和突发性存储，定义周期性存储间隔为5 s，当历史数据发生突变并且变化范围超过阈值时，进行突发性存储。在每一个对象的Function Script中获取数据后，将数据用“，”分隔，拼接成string类型的字符串，先放在动态数组里。动态数组是C#提供的一种优秀的数据结构，可以动态地分配存储空间，而不是像普通数组那样必须先定义好数组长度，所以使用List可以有效节省内存。

代码如下：

string combinedata=time+“，”+name+“，”+value+“，”+quality；

public static List＜string＞ Liststr=new List＜string＞（）；

Liststr.Add（combinedata）；

中转文件可以采用多种格式，此处采用TXT文件，按照存储周期为1 min将数组存入TXT文件。TXT文件被特定的命名格式（如“站名-点名-时间精确到分”）存放在D盘的名为“Data”的文件夹下。代码如下：

string Path=＂D：\中转文件 \Engine_＂+EngineName+＂_当前时间＂+＂（＂+DateTime.Now.ToString（＂yyyyMMdd_HH-mm＂）+＂）.txt＂； //时间精确到分钟

2.2 将中转文件数据存入数据库

如果是用readline方法来逐行读取TXT中的数据无疑是最容易被想到的办法，但是这样会大大降低数据存储速度，并且会持续性占用大量数据库连接资源。所以需要一种更加优化的方法来进行数据的存储。

利用ADO.NET中的Datatable技术和SqlBulkCopy类，将TXT文本文件中的数据存储到数据表中，然后将数据表中的数据复制到数据库中。虽然使用SqlBulkCopy类只能向SQL Server表写入数据，但数据源不限于SQL Server，可以使用任何数据源，只要数据可加载到DataT-able实例或可使用IDataReader实例读取数据即可[5]。此方法可以大量节省数据库资源，是一种高效的处理方式。

创建DataTable实例：

DataTable dt=new DataTable（）；

dt.Columns.Add（new DataColumn（＂时间＂））；

dt.Columns.Add（new DataColumn（＂名称＂））；

dt.Columns.Add（new DataColumn（＂数据＂））；

dt.Columns.Add（new DataColumn（＂质量＂））；

…

SqlBulkCopy将DataTable复制到数据库中：

System.Data.SqlClient.SqlBulkCopy sbc=new

System.Data.SqlClient.SqlBulkCopy（SQL

ConnectionString）；

{