我国水产大数据及应用技术研究初探

2016-05-30王东雨郑纪业王迪刘延忠

山东农业科学 2016年10期

王东雨郑纪业王迪刘延忠

摘要：随着物联网、移动互联、智能终端的广泛应用，农业跨步迈入大数据时代，工业4.0的兴起，间接带动农业4.0的快速发展，农业大数据逐渐上升到更高层次。在此背景下，本文从水产大数据着眼，阐述了其相关概念，对涉及水产大数据的各项应用技术进行介绍，并分析了我国水产大数据应用平台未来发展面临的挑战和机遇。

关键词：水产大数据；应用平台；关键技术

中图分类号：S9文献标识号：A文章编号：1001-4942（2016）10-0152-05

随着物联网、云计算、移动互联等新技术的兴起以及社交网络的发展和智能终端的普及，各行业中的数据量骤增，大数据时代悄然来临。大数据泛指数据集的大小超过了目前主流软件工具在合理时间内所能获取、存储、管理和分析的范围[1]，具有Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）的“5V”特点[2]，数据形式多样化、非结构化特征明显，蕴含着巨大的应用价值，已经给互联网技术、网络经济学、生物医药、环境科学等多个领域带来了发展机遇[3]。2011年6月，麦肯锡研究院（MGL）发布研究报告《Big data： The next frontier for innovation， competition and productivity》，详尽地分析了大数据的影响、关键技术和应用领域等方面，指出大数据将带动未来生产力的发展和创新，并且能够拉动消费需求增长[4]。

随着大数据概念的兴起，农业产业各环节也都纷纷提出自身领域的大数据概念。许世卫认为农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值并难以应用通常方法处理和分析的数据集[5]。欧美和日韩等国信息化程度较高，通过建立全国范围的农业信息服务网络，全方位、多层次地收集、处理、分析涉农大数据，并实现数据资源共享，有力地促进了农作物生长以及农产品增产。水产大数据作为农业大数据的分支，其内涵及外延尚未有明确定义，但水产大数据已经应用到水产行业的生产经营中，成为指导生产经营的有力工具。

1水产大数据的概念及其应用技术

1.1水产大数据的概念

朱泽闻认为“水产大数据是把生产经营过程的相关数据进行采集，通过可追溯系统从生产到消费过程进行全方位的记录，如生产环境、水域状况、市场前景等数据，这些数据就构成了大数据的基础。此外，还需要智能决策系统，包括专家库、知识库、决策库等，指导水产业的生产经营活动，提高养殖生产效益” [6]。

基于大数据的概念及内涵，本文在分析总结前人关于大数据概念的基础上提出了水产大数据的概念，即通过物联网设备对水产养殖环境中的温度、pH值、氧溶解量等数据进行采集，运用相关大数据分析处理平台、技术对采集的数据进行分析处理，然后通过智能决策支持系统科学设置生产经营的各因素、各环节，从而真正利用数据来指导水产养殖业的生产经营。

1.2水产大数据涉及的应用技术

1.2.1数据采集技术数据采集是挖掘大数据价值的首要环节，是数据集成、分析和可视化的基础。大数据来源主要有RFID射频数据、传感器数据、社交数据及移动互联数据等。物联网技术的应用使得水产大数据的来源更侧重于RFID射频数据和传感器数据，涉及技术主要有数据采集技术、传感器技术、信号处理技术、数据传输技术等方面，包括了数据传感体系、网络通信体系、传感适配体系，实现对结构化、半结构化、非结构化的海量数据的智能化接入、传输、处理和管理等[7]。

1.2.2数据集成技术大数据时代，数据类型逐渐转变为结构化数据、半结构化数据和非结构化数据的集合，其中充斥着无用的或是空值数据。大数据处理，首先要对采集到的数据进行预处理，从中提取出关系、实体和有效数据，经过关联和聚合，采用统一结构来存储[8]。在物联网中，不同传感器终端每天都会产生大量数据，而不同传感器产生的数据格式或保存格式往往不同，这就会给后期的数据分析造成影响，因此需要改变数据格式使其具有统一的结构，以方便存储和分析处理[9]。

1.2.3存储和处理技术大数据存储和处理是当前应用最广泛的技术，最著名的当属Apache Hadoop系列开源平台，包括： HDFS、MapReduce、Pig、Hbase、Hive等子项目。传统的关系数据管理技术扩展性能较差，无法胜任大数据分析任务，而以MapReduce为代表的非关系数据管理和分析技术以其良好的扩展性、容错性和大规模并行处理优势，逐渐成为大数据处理和存储的主要技术手段；它能提供编程模型和框架，用于大规模计算机集群上编写对大数据进行快速处理的并行化程序，便于数据快速处理和存储[10，11]。

1.2.4数据分析技术大数据的分析与处理尚没有绝对合适的工具，只有相对适用的工具。Hadoop是当前最为流行的大数据处理平台。Hadoop最先是模仿GFS和MapReduce实现的云计算开源平台。对Hadoop改进并将其应用于各种场景的大数据处理已成为业界研究热点，研究成果多集中在Hadoop平台性能改进、高效查询处理、索引构建和使用、基于Hadoop的数据仓库构建、Hadoop与数据库系统的连接、数据挖掘、推荐系统等方面[12]。

1.2.5数据可视化技术该技术在农业领域的发展与应用仍处于初级阶段，但其在模拟植物生长、虚拟立体农业、三维可视化的农产品发布、可视化仿真实验等方面应用前景广阔。目前应用最广泛的可视化工具有R、Google Chart API、Tableau、ECharts等，随着高质量图形处理芯片、高性能计算机和多扩展外围设备的发展，数据可视化技术将会进入各个领域。新技术的引入和发展进步必将改变水产业领域的面貌，为水产业科技进步增加新活力[13]。

2水产大数据应用中存在的问题

当前国家政策利好，院校和企业纷纷进驻大数据领域，技术进步发展快速，推动了大数据技术的发展和普及，为水产大数据的发展打下坚实的基础[14]。但由于大数据概念兴起时间短，总体发展水平还处于上升阶段，将其应用在水产业生产经营中，还存在许多问题。

2.1大数据应用核心技术落后

就目前我国发展情况来看，与水产大数据相关的现代化装备生产应用较少，水产养殖装备自动化水平落后，使水产大数据的收集面临难题。另外，我国大数据的现实应用还处于起步阶段，涉及水产业大数据应用的关键技术还有待进一步研究，相关水域数据产品和设备技术研发还需加强，这些原因使我国大数据技术推广难度加大且装备和后期维护费用高昂，影响用户使用的积极性。水域环境的复杂性，需要微型化、精准化、抗侵蚀且性能良好的传感器，而我国相关方面的传感器研发生产技术落后，往往需要从国外进口，费用高昂，基层农户难以接受，大数据技术面临落地难题，制约着我国现代水产业的规模化发展[15]。

2.2水产大数据应用标准尚不明确

我国还没有出台完整的水产大数据应用标准体系，收集的数据信息不完整、不全面，造成现有业内标准制定很不规范，与市场应用脱节，加上水产大数据应用市场分散、技术设备制造和服务成本高，水产业发展面临恶性循环。我国水域面积广阔，不同物种水域生长环境和气候不同，需要物联网技术和监测设备进行水域环境监测和分析，指导具体的生产活动，而落后的物联网技术使得我国水产业存在严重的数据缺失，很难运用到实际中，制约着我国水产业现代化的发展[16]。

2.3大数据应用分析平台营销推广手段不成熟

尽管很多企业已经进驻到水产大数据平台的研发、建设和推广工作中，但是缺乏成熟的营销推广手段，使得我国水产大数据使用受限。就目前水产大数据应用市场现状来看，市场需求仍以大数据基础设备采购、网络接入为主，这是由发展初期大环境决定的，但我国水域传感控制设备等物联网关键研发技术还比较落后，相关设备批量生产困难，致使相关设备和网络费用价格昂贵，大数据的优势无法在短时间内转化成现实生产力，无形中使得水产大数据应用面临着更大的推广难题[6]。

2.4缺乏水产大数据技术专业人才

水产大数据的使用要求技术人员对农学、通信、软件编程等方面知识都有较高的了解和掌握水平，而我国缺乏基础设备传感器的开发、运算评价模型、数据存储和分析挖掘、物联网设备铺设维修等方面的复合型人才，加之我国跨学科教育优势还没有体现出来，致使大数据技术发展缺乏关键的人才资源。要想水产大数据能够发挥其真正的价值，必须培养跨学科的复合型人才，只有这样才能保证研发出符合学科发展和实际需要的水产大数据平台，更好地为水产业的生产经营服务[17]。

3我国建设和发展水产大数据应用平台面临的挑战和机遇

目前，我国水产业仍以传统水产养殖为主，信息化程度较低，加上大数据技术在我国应用还处于上升发展阶段，要建设能够真正为水产业生产经营提供优质服务、辅助决策的大数据应用平台，还面临诸多挑战和机遇。

3.1我国建设和发展水产大数据应用平台面临的挑战

3.1.1水产数据积累少且量化度低我国水产业属于粗放产业，生产经营以传统经验生产为主且大多数以家庭为单位，生产规模小，不注重数据的积累。据有关统计我国水产业实际所储存的数据仅为美国的6%，日本的10%，中西部水产业数据累计更少，其中能被有效利用的数据少之又少[18]。虽然近年来物联网技术的使用可将整个水产养殖过程数据进行比较详细的记录，但其应用范围有限，也没有大规模普及，获得的数据量仍然很小，信息化进程缓慢，传统的经验数据短时间内无法转化成通用的现实生产力，而且我国的水域环境变化大，南北水产品种差异大，生态环境多样，很难找到共通的信息化方式来实现水产业的信息化[19]。

3.1.2水产大数据的异构性使其融合难物联网技术下水产大数据来源主要分为物联网中射频和传感设备收集的数据、农业信息化网站数据以及各方移动终端和数据平台公开的数据等，致使数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合，给数据的存储、处理和分析造成不便。怎样将这些异构数据进行格式转换、统一存储，怎样运用适当的分析工具和分析方法来统一分析异构性数据，将是今后发展水产大数据平台面临的难题。另外，我国水产业生产现状仍以分散式经营为主，与欧美发达国家相比，生产水平落后，使得水产业生产很难在全国范围内形成统一规划，也使得水产大数据的收集、存储及融合变得困难[20]。

3.1.3水产大数据的实时性差信息具有时效性，随着时间的推移，数据中所蕴含的知识价值往往也在衰减，因此实时性也是水产大数据分析过程中必须考虑的问题。尤其是在与天气、环境状况相关的数据分析方面，分析不及时可能会导致环境灾害的发生。由于数据量密集，能否在所能忍受的时间内完成指定工作也成为衡量大数据分析的主要方式[21]。另外数据的实时性还体现在收集到的数据能否及时上传，如果收集到的数据不能及时上传到数据库，就会造成数据缺失和不完整，致使分析结果不能准确地指导生产实践。实时处理和存储要求数据库能够瞬时处理不同格式的数据，进行统一转换格式和存储，但是现实中的数据库设计理念创新性不足，在面对多种类型的数据时还不能达到即时统一处理，这就要求新型的数据库系统以不断变化的角度对待数据，增加了数据实时收集、处理、存储和分析的难度[22]。

3.1.4水产大数据的挖掘能力有限水产大数据的异构性导致数据类型多样，数据集过大，传统的数据挖掘、机器学习等算法的使用对象都是传统数据集，如果将这些方法用于大数据的分析处理可能会导致数据处理效率低甚至无法使用的情况，因此，这些方法并不能直接适用于水产大数据的挖掘。水产大数据应用的重要特点就是实时性，算法的准确率不再是唯一指标，这就需要在处理数据的实时性和准确性上找到突破口，确保实时处理数据结果的准确性[23]。

3.2我国发展水产大数据应用平台面临的机遇

虽然我国发展水产大数据面临着上述挑战，但也应清醒地认识到其中蕴藏的机遇。抢搭农业4.0快车，借助先进的信息化理念和物联网技术提升传统水产业的发展机遇，即在物联网技术基础上建设全国范围内的水产业大数据应用平台，科学指导水产业的生产经营，使中国水产业摆脱粗放模式[24]。就目前我国水产业发展现状来看，建设水产业大数据应用平台是可行的，主要体现在以下方面：

①国家和地方政府均鼓励“互联网+”环境下的农业创新活动，提出利用信息化、机械化与科技创新，合力打造现代高效农业，加快推进农业现代化的方针政策，为水产业大数据应用平台的建设发展提供了良好的契机。

②我国大数据、云计算、移动互联等技术，虽然起步较晚，但成果丰富。水产大数据平台的建设可以吸取其它行业大数据平台建设的经验和教训，根据自身实际进行相应的平台建设和开发，这对于水产业大数据平台的顶层设计、架构设计、应用模式设计以及营销推广模式的确立具有十分重要的价值[25]。

③水产装备、服务终端和服务体系的应用普及以及院校和企业的大力推广，使用户对于物联网技术有了初步的认识，并且部分用户已经开始将物联网技术用于生产活动中，已经开始产生大量的水产大数据，各种成熟的信息技术平台的应用可以方便地收集、储存和管理这些数据，为用户的科学生产提供数据支持。

④当前水产业大数据平台的建设和应用完全可以跨越传统行业的信息化发展阶段，直接应用“互联网+”发展战略，推动传统水产业换代升级，这种做法可以使大数据平台在短时间内产生巨大的社会和经济效益，同时也可以节约传统信息化建设中大量人力和资金的投入[26]。

4结语

发展和应用水产大数据技术，是水产业实现信息化和智能化生产、销售、管理及科研深度融合的重要手段，将水产生产经营环境中涉及的物联网技术、大数据技术、数据化思维等融合，使其互为前提，才能保证大数据在水产业中真正发挥其价值，推动我国水产业的现代化进程；进一步利用水产大数据，通过相关分析和挖掘技术，可以提高信息的综合利用率，发掘隐藏在结构化和非结构化数据中深层的价值，用于水产市场的未来预期、风险规避、商机把握，提高我国宏观层面水产业政策制定的科学性和合理性，提升我国水产业科研和生产的创新水平及创新能力，加快我国水产业的现代化进程。

参考文献：

[1]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013，25（8）：142-146.

[2]姚远，赵荣彩.基于编译指示的向量化方法[J].计算机工程，2012，38（12）：272-275.

[3]刘晓英.《大数据时代》阅读的启示与思考[J].高校图书馆工作，2015，35（5）：84-86.

[4]Manyika J， Chui M， Brown B， et al. Big data： the next frontier for innovation， competition， and productivity[R]. McKinsey Global Institute， 2011：1-137.

[5]许世卫.农业大数据与农产品监测预警[J].中国农业科技导报，2014，16（5）： 14-20.

[6]朱泽.智能化养殖开启渔业“大数据时代”[J].渔业致富指南，2015（2）：3-4.

[7]王文生，郭雷风.农业大数据及其应用展望[J].江苏农业科学，2015，43（9）：1-5.

[8]孟祥宝，谢秋波，刘海峰.农业大数据应用体系架构和平台建设[J].广东农业科学，2014（14）：173-177.

[9]张浩然，李中良，邹腾飞，等.农业大数据综述[J].计算机科学，2014，41（11）： 387-392.

[10]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报（工学版），2014，48（6）：957-972.

[11]吴亚坤，郭海旭，王晓明.大数据技术研究综述[J].辽宁大学学报（自然科学版）， 2015，42（3）：236-242.

[12]张锋军.大数据技术研究综述[J].通信技术，2014，47（11）：1240-1248.

[13]董庆华.数据可视化技术在农业领域的应用探讨[J].山西农业大学学报，2007， 27（5）：52-53.

[14]谷悦.“互联网+水产”的发展之路[J].中国食品，2015（22）：104-107.

[15]董双林.高效低碳——中国水产养殖业发展的必由之路[J].水产学报，2011，35 （10）：1595-1599.

[16]陈威，郭书普.中国农业信息化技术发展现状及存在的问题[J].农业工程学报，2013，29（22）：196-202.