食品安全监管系统数据交换平台探讨
2018-01-22王玮健
王玮健
【摘 要】在大数据的背景下,异构的软硬件平台以及数据结构等环境下交换和共享数据是整合电子商务的难点。食品安全跨部门在应用中,将类似于中间件的数据交换平台提出来,这样将底层的数据结果和存储的方式分离,使交换和共享数据的目标得以实现,为各业系统的有效性和协同性提供了保障。而且较强的扩张性以及可靠性等都是该系统具备的特点,其能够将不同应用系统的互联互通问题合理的解决。因此本文主要是对食品安全监管数据交换平台进行了具体的研究与分析。
【关键词】食品安全;监管系统;数据交换平台
0 前言
人类生存和健康的重要保障就是食品的安全性,其与国计民生也有紧密的联系,所以一直是社会关注的热点问题之一。近几年,我国各级政府大量的工作都是围绕食品安全问题开展的,而且取得的成效也非常明显[1]。但是关于食品安全事故依然在发生,所以当前最为主要的问题就是将食品安全监管的力度不断加强。食品安全问题不仅与广大人民群众的生命安全和身体健康息息相关,同时对社会经济的发展和稳定性也具有一定的影响。因此具体研究食品安全监管数据交换平台具有非常重要的现实意义。
1 食品安全监管系统的论述
食品安全监管系统业务的内容主要包括是三个方面,即数据采集平台的建立、多个横向职能部门协同监管平台的建立和食品安全公众服务平台的建立。数据采集平台是从食品检测一直到检测车检测信息的整个过程,录入和管理各种检测信息等相关信息,从而使在线受理业务和处理数据的目标得以现实[2]。多个横向职能部门协同监管平台,工商、卫生和城管等多个职能部门是食品安全中食品在商品流通领域中涉及到的各个环节,由于各个环节中具有不同的政府职能监管部门,因此在监督和管理食品安全卫生时要对横向职能部门之间信息的联动性充分的考虑,将横向部门食品检测信息和生产经营食品市场主体的监管信息及时的获取和交换,从而使整合和共享食品安全监管数据的目标尽快实现[3]。食品安全公众服务平台,其不仅对新闻通告等进行提供,同时可以对食品检测信息公示以及网上投诉受理和反馈等及时的提供,使食品消费者之间信息交流的渠道及时建立。
2 设计与实现数据交换平台
2.1 设计平台功能
目录的管理与服务、信息的交换以及平台的管理等这些功能是通过数据交换平台的东方通可靠消息传输技术的消息中间件技术和具有集成适配器框架中间件技术来实现的。
2.2 处理核心数据功能
加工处理数据的基本功能是由核心处理数据功能来完成的,其中采集、清洗和加载等都是主要的内容。
2.2.1 采集数据
将数据从各个数据源中抽取,使SDO数据对象得以形成,以下几种设计是根据不同的数据源区分的:(1)从文件中抽取,各个职能部门向前置机内上报文件,文件由前置机的程序读取。Text和Excel文件是被支持的[4]。一般由业务数据库直接导出Text文件,用制表符分割文件内的每列数据,而Text文件形成的SDO数据对象可被平台中的文件源组件直接读取。由手工录入Excel文件,数据内容具有多样化的格式。由于其复杂性比较强,一般先将xml根据Excel文件的内容配置,之后再将xml接口文件形成的SDO数据对象用Excel解析组件从文件内抽取数据。(2)从数据库中抽取,这种抽取方式的情况可以分为两种,一是可以在部门生产库中直接连接前置机,同时触发器在部门生产库内是允许建立的,这样导出组件可以通过平台生产库内需要抽取的表进行建立,导出组件的运作是由触发器来完成的,之后将Oracle数据库装置到前置机内,同时将需要抽取的表的副本及时建立,最后将导入组件建立。二是前置机只能利用网闸定时访问部门生产库,在这种状况下,需要将Oracle数据库装置到前置机内,将物化视图和副本表根据需要抽取的表合理建立,将某个时间段确立之后要查询物化视图,将全量结果集A得出来,之后通过对对应副本表的查询将全量结果集B得出来,通过这两种结果将增量更新对应的副本表找出来[5]。将导出组件用平台对全部副本表进行建立,可以将每次更新产生的增量数据及时的抽取。
2.2.2 转换清洗数据
SDO数据对象在采集数据源后得以形成,接下来需要解析数据对象,同时要筛选、过滤和转换数据中的某些关键字段,身份证和部门编号等都是这些关键字段所拥有的,而且在确定某些数据时需要相关的业务状况,由于这些关键的信息数据有些部门无法提供,所以在处理程序的过程中,需要灵活的配置,为上述的状况提供保障[6]。因此中间件平台提供的组件扩展抽象类编码,即simple process需要组件进行继承。另外rules这一属性需要添加到关键类中来接收经过清洗转换组件传递来的参数,其主要是将关键信息及时的标明,从而使在过滤和转换关键字段时合理配置该字段的名称的目的得以实现。
2.2.3 比对数据
要比对部门个人数据、企业和权威部门的数据,要比对个人数据与身份证的准确性,而企业数据则要比对组织机构代码或者企业的名称,而且也是在平台自定义的基础上实现比对功能的。
Find Qualified Date为关键类,首先要将权威表数据根据table Name數据进行加载和缓冲,存放在Hash Map容器中,要根据PK属性确定Map的键,之后将业务部门上报的数据也根据bus table Name进行加载和缓冲,存放在Hash Map容器中,要根据attId属性确定Map的键,最后对比Map的键。如果具有大量的数据,则可以分页处理,这时需要设置cut Size属性。
2.2.4 增量查找
有些部门会全量的上报数据,因此需要比对本次全量上报的数据和上一次上报更新后的全量数据,将增量找出来,再将中心数据库的对应数据进行更新,而且也是在平台自定义的基础上实现增量查找功能的。endprint
Find Add Capacity Pro为关键类,首先将数据库中目标表的数据根据table Name属性进行加载和缓冲,存放在Hash Map容器中,要根据PK属性确定Map的键,之后再将SDO对象数据根据attId属性加载和缓冲,再将增量通过比对两个Map的主键找出来,新增、修改和删除为增量的主要功能[7]。
2.2.5 加载数据
为系统提供数据传输的消息总线就是消息中间件,其能够为不同逻辑节点之间数据传输的安全性和可靠性提供保障。将之前处理完的合格数据传输到消息中间件,在中心数据对象表中通过平台的导入组件进行更新,SDO对象就是通过触发导出组件更新增量数据而形成的,而xml接口文件是利用平台xml接口文件形成的,也是在平台自定义的基础上生成xml接口组件的。
2.3 设计数据交换流程
数据交换系统的主要作用是通过消息中间件和适配器技术交换中心与各个单位之间的政务信息。通过对消息中间件的使用可以使集成和转换数据以及大范围传递信息的目标得以实现,为同步实时交换和更新中心到各业务部门政务信息提供保障。各單位向交换前置机发送业务数据以后,向中心前置机发送交换数据的工作是由交换中间件来负责,中心前置机通过中心数据交换管理系统整理以后向共享数据库保存信息[8]。下图是交换处理数据的流程图。
2.4 在系统中接入数据交换
数据交换平台将灵活的接入系统方式和接入实现机制提供给用户,各个节点在选择接入方式时可以根据前置机共享数据库等进行,而且也可以利用直接接入数据交换平台的方式。
2.4.1 数据库的前置机共享
委办局向委办局前置机的接口数据库中发送业务系统数据,而且要将前置机上的数据库对平台开放,平台利用对数据库适配器的配置或者交换数据流程等,使接入共享业务数据的目标得以实现。
2.4.2 数据文件的前置机共享
在数据交换节点服务器软件没有部署在前置机上的情况下,委办局需要用数据文件打包业务系统的数据,向前置机某一文件目录中进行发送,同时将前置机目录向平台开放[9]。平台利用ftp文件的配置和数据流程的交换,使接入共享业务数据的目标得以实现,下图是数据文件交换图。
2.4.3 直接接入
委办局通过对平台提供节点服务器软件和各种适配器组件的应用,将数据从业务系统中抽取出来,而且可能在平台交换流程中通过人工加入到其它数据里。这种方式就是委办局将数据从业务系统中直接抽取出来,但是双方之间的沟通和协调是实用这一方式的重要前提。
3 结论
由此可见,各个部门进行信用信息资源的共享和交换的重要保障就是数据交换平台,其在整个信用信息技术框架中的作用非常重要,其职能主要包括服务中心以及支撑信息交换基础中心等。通过对平台提供给了适配器组件应用系统的利用,可以最小限度的改造已建的应用系统,将信息的孤岛性逐渐打破,将重复建设的现象及时避免,同时可以将建设信息化的周期大大缩短,为既往的投资提供保障。食品生产和流通过程中涉及较多的环节,而食品安全将横跨的政府管理部门也比较多,这个过程中的监督和管理是全方位和多角度的。要想将政府对食品消费的监管和引导作用充分发挥出来,需要在技术层面将数据交换和共享平台及时的建立,从而可以为食品的安全性提供保障。
【参考文献】
[1]陶光灿,谭红,宋宇峰,林丹.基于大数据的食品安全社会共治模式探索与实践[J/OL].食品科学,2017,31(01):156-157.
[2]李丽,马巍巍,王静.港口危险化学品安全监管信息化发展思考[J].水运管理,2016,38(11):19-22.
[3]刘津.天津市食品安全监管与服务平台的设计与实施[D].天津大学,2014.
[4]汤丹,匡晓红.食品安全监管系统数据交换平台研究[J].软件导刊,2014,13(05):123-126.
[5]杨晓哲.基于SOA架构的食药数字监管平台[D].吉林大学,2014.
[6]余华伟,彭凯宁,曾嵘,罗霞.基于数据交换服务总线的食品安全监控系统设计[J].内蒙古科技与经济,2014,23(02):72-73.
[7]李小军.安全生猪的养、运、宰、销全程监控数字化系统研究与示范[D].南京农业大学,2013.
[8]何尚宪.食品(酒类)安全溯源系统设计与实现[D].华南理工大学,2012.
[9]杨洪志.基于电子政务的食品安全诚信平台建设研究[D].天津大学,2010.endprint