基于光纤到表的虚拟数据平台的设计与实现

刘静，刘瑞敏，沈鑫

(1 昆明理工大学信息工程与自动化学院，昆明 650500；2 云南电网有限责任公司电力科学研究院，昆明 650217）

随着智慧城市的建设和智能家居的广泛应用，以及国家“三网融合”战略的有效落实，电力光纤到户通过远程控制的方式为智能小区提供通道服务以及增值服务，避免线缆的重复铺设，提高资源利用率，降低生产成本，实现节能减排。电力光纤到表的建设是智能电网发展的基础支撑，开展光纤到表仿真研究实验室建设是基于通信技术、业务管理及仿真模拟下的重要技术性研究验证的重要手段，将对电力行业通信采集业务的建设起到极大的促进作用。进一步地，为户变关系识别建立数据平台，为供电部门管理提供决策依据。

基于对虚拟数据平台的研究，结合现场设备规约及业务规划模拟各类工业及居民用电特征的负荷数据及数据采集功能，如模拟电表和终端，采集AMI、光纤实验室中的电表、虚拟仿真电表及实施工程中电表数据，同时为服务平台提供数据服务接口，支撑服务平台中电表数据采集、满足服务平台在大数据理念下用电数据交互业务的需求，对终端设备采用不同通信通道下的性能测试和对测试结果进行评价。

1 服务器虚拟化

服务器虚拟化是基于系统虚拟化技术实现。通过虚拟化技术在一台物理机上虚拟出一台或多台VM，并为其上每VM提供一套独立的、虚拟的硬件环境，包括虚拟的处理器、内存、I/O及网络接口等，为VM提供了良好地隔离性和安全性。相对于传统模式，采用服务器虚拟化，简化了应用配置的运行环境，所有应用都是一个VM实例，只需要设置参数、拷贝VM即可启动。整合了服务器资源，同时，解除了应用运行与服务器之间一对一的绑定，通过VM的迁移，可以关闭闲置的服务器及其相应的设施。

虚拟数据平台是根据现场设备规约及业务规划，利用软件程序模拟各类工业及居民用电特征的负荷数据及数据采集功能。通过虚拟数据，对不同用电场景、不同负荷种类典型负荷建模，模拟各类真实设备，按照对象模型自动生成大量有效、接近现实的用电信息实时和历史等数据。虚拟数据平台虚拟的终端类设备包括上网宝（集中器）、能源管理终端；虚拟的表计类设备包括电能表（单/三相工商用户、居民用户、公用配变考核计量点）、水/气/热表、智能家居等。其逻辑结构关系如图1所示。虚拟数据平台满足《主站与前置通信规约接口（集中器、上网宝部分）》，含“四表合一采集拓展通信协议”部分的协议与《主站与前置通信规约接口（能源管理终端部分）》的协议。

通信管理：通信IP和端口设置，记录前置机IP和MAC，根据分布式虚拟数据平台调配IP和端口和对应的档案映射关系。

任务解析：虚拟数据平台响应服务平台的调控策略，解析当前任务生成运行控制模型。

协议解析：解析各类终端协议，如645、1 376.1。

2 数据架构

图1 虚拟数据平台逻辑结构关系

档案管理：根据服务平台生成档案更新虚拟数据平台表计档案。

任务管理：根据平台下发任务和当前任务生成当前任务序列。

状态监测：监测当前各数据模型运行状态和预测各模型后续数据趋势。

需求模型管理：根据各类用户生成需求数据模型，参考新联需求侧模型，按照模型和时间生成需求曲线。

运行控制管理：虚拟数据源按照预定的需求数据模型生成当前数据，参照服务平台下发的需求控制策略，虚拟平台根据下发控制调整测试响应需求控制，可模拟用户交互控制和数据模型响应。

协议管理：增减各类表计、智能终端协议，如645、1 376.1。

统计查询：查询虚拟表计数据、统计各类表计数据，支持虚拟数据平台集群数据统计和查询。

省公司系统读取营销业务应用中的档案数据，接收营销业务应用下发的采集任务，完成电能信息数据的采集，并通过参数下发对终端进行管理。系统采集的数据通过校验、汇总、统计后发送给营销业务应用。图2(a)为集中式部署模式的数据部署图。数据在省公司系统进行集中存储，包括档案数据、电能信息数据等，并实现和省公司营销业务应用数据库的数据交互。地区公司没有数据存储。部分省公司由于通信组网的原因，某些通道的通信接入在地市公司完成。这种情况下部署在地市公司的通信子层部分是省公司系统在地市公司范围内的延伸，作为省公司系统的一个组成部分。

当用电信息采集系统采用分布式部署模式时，营销业务应用可能是集中式，也可能是分布式。地区公司系统接收省公司营销业务应用的档案数据、采集策略、采集任务等，完成电能信息数据的采集和存储，并将省公司系统需要抽取的数据传输到省公司系统。省公司系统抽取地区公司系统的电能信息及汇总统计数据，并提供给省公司的营销业务应用。图2(b)为用电信息采集系统采用分布式部署模式、营销业务应用采用集中式部署模式的数据部署图。

数据在省公司系统和地市公司系统进行分布式存储。地市公司系统存储从省公司营销业务应用中传输的档案数据、采集策略和采集任务，还存储地市公司管理范围内的电能信息数据。省公司系统集中存储从各个地市公司抽取的汇总统计数据，满足省公司的业务应用需求，并向省公司营销业务应用提供用电信息数据。地区公司系统接收地区公司营销业务应用的档案数据、采集策略、采集任务等，完成电能信息数据的采集和存储，将采集的电能信息数据提供给地区公司营销业务应用，并将省公司系统需要抽取的数据传输到省公司系统。省公司系统抽取地区公司系统的电能信息及汇总统计数据，并提供给省公司的营销业务应用。图2(c)为用电信息采集系统采用分布式部署模式、营销业务应用也采用分布式部署模式的数据部署图。

3 数据处理

3.1 分布式多任务数据处理技术

结合多线程技术和集群技术，采用C/S结构方式，充分挖掘了计算机的多核、多线程的并行处理能力。当任务调度中心服务故障时，其它数据处理子服务根据当前任务的执行量和处理效率，快速竞争成为主调度中心，避免了任务的丢失。业务变更操作引起的电量的重新计算和更正，业务工作站通过业务事件触发计算服务生成重新统计计算任务，将任务分配给计算服务器，重新统计电表或对象的电量并将数据差别性标志的存入到数据库，保证电量计量的及时性和准确性。

3.2 多线程／数据库连接池技术

通过线程、数据库连接池技术，将需要处理的数据量动态建立数据库连接，保证大容量数据采集、计算入库及多用户并发访问的性能。通过开辟计算机缓存内存，当有数据块存入到缓存区域时，自动生成存储线程，通过连接池申请与数据库连接，数据处理完毕后，释放对数据库的连接，实现快速、及时、并行处理数据的存储。

3.3 Epoll模型

图2 数据部署图

Epoll是Linux内核为处理大批句柄而作改进的Poll，该模型能够显著的减少程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。对朴素、Select、Poll和Epoll网络编程模型进行对比分析，朴素模型是最基本的网络编程模型，该模型使用单线程去实现，一次只能处理一个请求，需要通过多线程或者多进程的模式对该模型进行改进。Select模型解决了朴素模型同步的执行问题，而且还解决了一次只能处理一个请求的问题，但最多只能同时处理1 024个请求，这种限制是在内核代码中。Poll模型结构和Select模型是非常相似的，但是Poll模型不再依赖于结构体的位数来限制最多处理的Socket数，而是采用一个数组去保存数据。Poll模型的问题是其效率随着同时连接的Socket数而下降。因为它和Select模型有着相同的缺陷就是需要遍历所有的Socket，因此，它的效率会随着Socket的增多而下降。由于在无效循环的比例的差异和内核源码相对比，Epoll模型的源码更高效，Epoll模型对大量并发用户的请求进行及时处理，完成服务器与客户端的数据交互。

4 仿真实验室平台运行示例

使用模拟数据，其中集中器终端5万，每集中器下100块电表；上网宝5万，每上网宝下5块电表，共计10万终端，505万用户，525万块电表；模拟生成1年的电流、电压、功率等业务数据，生成模拟操作用户200个。采用电力线载波（窄带、宽带）通信技术和RS-485总线结合的典型组网方式。

通过搭建仿真模型，实现了光纤到表仿真实验室平台的建立、开发与运行。该平台具有良好的数据管理功能，虚拟数据平台模拟各类真实表计生成当前数据和历史数据库，按照需求模型和对象自动生成实时数据，存储生成历史数据。另外，此平台对象包括电能表、水表、热表、智能家居设备、负控终端、采集终端、计量表计等，具备档案管理、任务管理、状态监测、运行控制管理、数据库管理、协议管理、统计查询等功能；虚拟数据平台采用主从方式，支持横向扩展。以采集点档案报表页面为例。图3是公共事业终端信息查询界面，该页面具有终端运行情况统计图、所有终端、能源管理终端等切换统计终端类型的按钮。图4是采集点数据报表下的采集点档案报表页面，点选显示信息，录入采集点编号、采集点名称或供电单位，点击“查询”按钮，则在列表中显示满足查询条件的采集点档案信息，点 “Excel”导出按钮将查询结果导出为Excel文件格式。

5 总结

本文是对“光纤到表”项目基础设施完成后的应用场景进行物理仿真模拟，光纤到表带来的电网和用户的双向互动，同时对试制的电表上网宝、能源管理终端等设备的功能进行验证。建设以云南电网公司电力科学研究院为基础的、全光纤为通信链路的仿真实验平台，对专变、普通用户进行统一光纤抄表，对户内智能家居进行互动的仿真研究实验室。通过仿真实验室的搭建，为后续的光纤到表建设提供规范和统一的设备和通信规约，以及成套的、可供使用的监控和服务平台的设计方案，支撑光纤到表的建设。

图3 公共事业终端信息查询界面

图4 采集点档案报表界面