农业大数据中心构建研究

唐勇

【摘 要】文章立足我国当前农业实情，提出农业大数据中心的构建思路和方案。详细阐述了基于应用层、数据层、网络层和感知层的体系架构，同时阐释了建设过程中的关键技术，并对使用方法和范围给出了建议。

【关键词】农业；大数据中心；构建

【中图分类号】F323.3 【文献标识码】A 【文章编号】1674-0688（2016）09-0047-03

0 前言

我国作为一个农业大国，农业现代化始终是我国现代化进程中的重要环节，利用信息化技术推动农业现代化的发展，不但能提高农业生产水平，还能推动农村的大力发展，为我国扶贫、小康等多项国策奠定基础。近些年，随着云计算、大数据技术的不断涌现及农业数据中心的建立，农村、农民、农产品的现状更加精确地展现出来，为发展农业提供准确的数据支撑。

1 农业信息化现状

近些年，信息化技术虽然取得了飞速发展，但在农村，尤其在偏远山区，农业信息化几乎是空白，主要表现在以下方面。

（1）基础设施缺乏。由于经济相对落后，有的地方甚至连计算机、打印机等基础设施都没有。农村仅有的信息化基础设施，也就是各电信运营商的发射基站。

（2）农民信息化技术缺乏。农民文化水平相对较低，加之知识更新慢，其信息化技术相对薄弱，能够正常操作计算机的非常少。

（3）无法复制城市的信息化经验。农村地大物博，人口分散，要想发展信息化，不能照搬城市的信息化发展策略。

尽管农村基础设施落后，但随着农民手机使用率大幅度提高，农民利用手机处理信息的能力也相对提高。在此基础上，建立一个农业大数据中心，处理农业数据，农民通过手机使用中心的资源即可，避免了多点建设、重复建设等问题，节约了建设成本，可以加快农村信息化进程。

2 构建方案

传统的数据中心只包括数据库、存储设备及应用系统，本文提出的农业大数据中心在智慧农业体系架构及实际使用的基础上，增加了数据采集部分，各类采集设备的信息也要存储在数据中心，以便统一管理。农业大数据中心一共分为4个层次，分别为应用层、数据层、网络层和感知层。其体系结构如图1所示。

2.1 应用层

应用层是应用软件集中的层次，集中了3类软件：

第一类是大数据中心管理系统，主要用于管理系统的硬件和资源，以及资源的调度。大数据中心管理系统类似于计算机的操作系统，是管理员管理数据中心的接口。在本层中，主要包括用户权限管理、资源管理、安全设定管理、监控管理、计量计费管理、租户用户管理等功能。在这些功能中，监控和计量功能是最为基础的功能。它管理着用户获取资源池中所有虚拟机的状态信息，利用OpenStack提供的Restful API可以实现对整个系统的操作及管理。

第二类是大数据备份系统，主要用来备份大数据中心的数据，以增强数据中心的健壮性。数据备份采用“三朵云”备份方式，“三朵云”采用异地部署方式进行。主数据中心部署的“主云”为用户提供数据基础；容灾中心部署一套独立的“容灾云”，为“主云”提供数据级容灾保护，当主云发生灾难时，可将整套云平台及相关业务系统全部切换到容灾中心的容灾云中，继续提供服务。“主云”与“容灾云”部署在同一城市，在异地再部署一个二次备份云，以防“主云”和“容灾云”所在城市发生自然灾害而损坏数据。

第三类是业务系统。农民、农村、农产品的所有业务系统集中在这一模块，这一模块是用户使用数据中心的接口。包含农民、农村、农产品所有信息的处理，通过几十个甚至几百个业务系统来实现。由于信息化建设已经进行了很多年，在数据中心建设之前有关农业的各类信息管理系统已经建设好，大部分系统是从原来的数据中心移植过来，这些系统都有自己独立的数据库，数据库之间没有任何联系，形成了一个个信息孤岛。在当前形势下，需要将所有的信息综合起来进行统计分析，形成各类决策，在此背景下，数据中心需要建设一个综合分析系统，综合分析系统的基础是建立中间件和中间库，利用中间库来与原来的各数据中心相对接以转换数据格式。

2.2 数据层

（1）数据。农业数据中心的数据主要分为5类：一是农村数据，是指农村的相关信息，如村名、村的地理位置、村的人口数等，这些信息是农民和农产品数据的统计基础。二是农民数据，主要是指农民的个人信息，包括农民的姓名、身份证号、年龄、家庭地址等信息，这些信息可以有效地管理农民个体。三是农产品数据，是指农民种植产品的数据，这些信息可以有效地管理农产品，这类数据非常庞大，是数据中心最为重要的数据之一。四是設备数据，主要是指各层的设备数据，这部分数据是保证整个数据中心正常运行的条件。五是各类业务数据，是指各类管理系统、信息交换系统等因使用产生的数据或者从外面引入的数据，此类数据是数据中心与外界相连的基础。

（2）集群方式。农业大数据中心的数据量非常庞大，需要集众多数据服务器才能存储相关的数据。主要设备有空间管理存储服务器数据库、空间管理存储服务器系统、空间管理存储服务器、数据存储服务器（外挂备份存储硬盘）、硬盘笼。这些数据库服务器可以按照功能类别进行集群，比如将多个web server服务器集群在一起，将FTP服务器集群在一起等。在进行数据服务器设计时，需要考虑设置主数据服务器和从数据服务器，同时设立主服务器群和从服务器群，主数据服务器群不直接与外界进行数据交换，只与从数据服务器群进行数据交换。

数据库集中，负载均衡是必须采用的技术，可以利用专门的硬件来实现，也可以利用网络设备中的负载均衡功能来实现。硬件负载均衡的功能相对强大，直接在服务器和外部网络间安装负载均衡设备，独立于操作系统，整体性能得到有效提高，加上多样化的负载均衡策略，智能化的流量管理，可达到最佳的负载均衡需求。

2.3 网络层

网络层承担数据中信息连接的任务，农业数据中心的网络层可分为2个部分，一部分是内，一部分是外。“内”是数据中心中“室内”的部分，与一般的数据中心一样，主要由二层交换机、三层交换机、路由器等设备构成，按照业务需求对其进行网络配置和管理。“外”是指“室外”的网络部分，承担着将设立在农村的各类传感器数据传输回数据中心的任务，这部分的网络可以利用3G/4G网络进行，但成本较高。近些年，Zigbee技术得到了飞速发展，具有传输速度快、性能稳定等优良特征，将“外”的数据传输回室内时，可以利用Zigbee网络进行传输。AD HOC网络由于无需中心服务器，每个节点既有信息终端也有信息中端的功能，AD HOC网络还具有良好自修功能，具有较好的抗震性，利用AD HOC网络进行信息传输也是一种比较理想的选择。

2.4 感知层

感知层负责感知农村外界的信息，由各类传感设备组成，主要包括光传感器、温度传感器、适度传感器、监控设备等，这些设备通过网络层连接起来，将感知的外界数据通过各类网络传输到数据中心。感知层构建好以后，可以分类来进行管理，也可以按照项目来进行管理，在针对单个传感设备进行信息编辑时，既要打上设备类型数据，又要打上项目类别数据。感知层属于硬件系统，但其感知的数据要存储到数据库中，其本身的设备信息也要存储到数据库中。

3 关键技术

农村大数据中心的构建涉及的技术非常多，但其核心技术主要有虚拟化技术、分布式处理技术、分布式存储技术和大数据中心管理技术4类。

（1）虚拟化技术。虚拟化将数据中心中所有的资源整合成一个资源池，用户可以通过申请来使用此资源池。农业大数据中心有4类虚拟资源：应用虚拟化、网络虚拟化、桌面虚拟化和存储虚拟化。国内外有很多相关企业已经实现了相关技术。目前，性能最为稳定的是VMware，国内主要3galsses、蚁视、暴风等。在农村，信息化水平相对落后，经济水平也相对较低，可以将打印机、信息处理设备等进行虚拟化，以供农民们使用。将信息处理设备虚拟化后，农民使用手机即可调用资源池中的计算设备进行数据计算，同时为农民虚拟数据存储空间存储数据。虚拟化技术大大降低了农村信息化的成本。在進行农业资源虚拟化时，要向移动端设备倾斜。

（2）分布式处理技术。分布式处理技术是保证农业数据计算速度的重要技术。在进行数据处理前，先通过算法将一个大任务分配成多个小任务，数据中心通过任务调用算法来调用任务[1]。在执行时，通过MAP函数，将不同的任务分配给不同的计算模块进行计算，计算完毕以后，调用REDUCE函数将处理结果进行回收。由于农业数据量大，利用分布式处理技术可以快速计算海量数据，快速得到计算结果[2]。

（3）分布式存储技术。大数据中心数据量大，在存储时很难将之存储在一个服务器上，故需要将这些数据分散在多台具有存储功能的服务器上，并将之冗余存储，以保证数据的安全性。当前，分布式存储的主要架构有直连式存储（DAS）、网络附加存储（NAS）和存储区域网络（SAN）3种。在设计分布式存储时，不仅要考虑数据的冗余备份，还应该考虑通过分布式存储来提高计算的性能，减少数据搜索时间和计算响应时间。

（4）大数据中心管理技术。由于大数据中心的数据分布在不同的存储设备上，需要通过一定的管理方法来调用这些数据，目前比较主流的大计算数据管理技术主要有Google的BigTable技术和Hadoop的HBase技术[3]。

4 总结

我国是农业大国，不同地方的农村实际情况不一样，建设农业大数据中心，应立足于当地农业实情，做好精准的需求分析。通过农业大数据中心管理农业业务，同时应该与更高级别政府的数据中心进行对接，数据规范做到统一，通过一定的方式将数据中心的数据共享给政府，为政府在制定农村决策时提供数据支撑，充分发挥数据中心的价值。

参 考 文 献

[1]刘鹏.云计算[M].第2版.北京：电子工业出版社，2011.

[2]Venkata Joysula，Malcolm Orr，GregPage.云计算与数据中心自动化[M].张猛，译.北京：人民邮电出版社，2012.

[3]岳红丽，张侃.云计算在区域医疗信息化中的应用探索[J].计算机与现代化，2012（8）：141-143.

[责任编辑：钟声贤]