大数据技术在南海鸢乌贼资源调查上的研究进展

冯菲

摘要 介绍了南海鸢乌贼（Sthenoteuthis oualaniensis）的资源调查现状，分析了大数据技术在南海鸢乌贼资源调查中的应用情况，总结出大数据技术在鸢乌贼资源调查中的应用框架，为南海鸢乌贼资源的生产和评估提供重要的科学依据。

关键词 大数据;渔业大数据;鸢乌贼;渔业资源

中图分类号 S951.2文献标识码 A文章编号 0517-6611（2018）33-0012-02

随着我国经济和人口的快速发展，南海海域渔业资源过度捕捞，渔业生态环境不断恶化，导致近海区渔业资源枯竭[1]，南海鸢乌贼又称红鱿鱼或南鱿，属于鞘亚纲，枪形目，鸢乌贼属，柔鱼科，其生命周期较短，生长率高，产量十分丰富，是具有较高开发潜力的物种，是我国南海重要的渔业资源之一[2-4]。通过声学评估分析，南海鸢乌贼的资源量达到2.36×106 t[5]。因此对南海鸢乌贼的资源调查极具价值。

2003年，我国首次对印度洋海域鸢乌贼进行资源调查[6-7]。2017年，范江涛等[8]依据渔业声学调查数据，用传统的数据处理软件对南沙海域鸢乌贼资源进行分析，表明渔场有空间自相关性。由于信息化技术刚起步，结合大数据技术对鸢乌贼资源的调查极少。随着复杂的调查数据管理需求增加和信息化技术的突飞猛进，基于大数据技术下的资源调查已经成为高效存储和共享资源调查数据进行预测分析评估的必要手段之一[9-11]。受不同的环境因子、资源密度、捕获量、渔民需求等因素影响，使用大数据技术对南海鸢乌贼进行观测分析越发必要。利用各种传感节点和无线通信网络对南海鸢乌贼资源進行采集，结合大数据分析技术进行传输、存储和处理等，正广泛运用到鸢乌贼资源调查的各个方面[12]。

相比传统的调查分析技术而言，大数据技术背景下鸢乌贼资源调查规模大、质量高，能获得海量、全方位的数据，且包括所有能收集到的信息，利用大数据理念和技术对资源进行整合、分析，可有效推动鸢乌贼资源的发展[13]。

该研究介绍了鸢乌贼资源现状和大数据技术应用现状，将大数据技术与鸢乌贼资源调查相结合，有望促进渔业领域的可持续发展。

1 南海鸢乌贼资源研究现状

1.1 大数据技术发展现状

我国经济发展进入新常态，信息化技术已经成为促进改革创新，推翻传统渔业模式的决定性因素，信息化技术是衡量一个国家科技发展水平高低的重要标志。信息化技术在发展的同时产生了爆炸式的大数据。据《中国大数据产业发展水平评估报告（2017）》指出，大数据浪潮正在席卷全球，我国也正在向着“数据强国”的目标不断前进[14]。据Winter Corp调查，数据量正以每两年3倍的速率快速增加[15]。

大数据的简单定义就是无法利用传统的数据处理软件在一定的时间内对这些数据进行采集，分析存储和处理并且获取大量信息的数据集合[16]。大数据的特点包括4个方面：数据容量海量性、数据处理的高速性、数据类型多样性和商业价值性[17]。大数据技术包括海量数据的收集、存储、传输、建模和分析等一系列活动形成的产业链，同时和其他行业结合在一起，从而获得巨大的效益[18]。

大数据技术在各行各业都有了广泛的发展，比如近年来，刘海英[19]将大数据技术与共享链结合共同促进共享经济的发展。郭少青[20]利用大数据技术治理气候变化问题，促进城市的可持续发展。蒋鹏飞等[21]把空间遥感大数据技术应用在农业“防灾减灾”领域，从而获得更加准确的参数信息。但是，大数据技术在南海鸢乌贼资源方面的应用较少，加上渔业活动较为分散等原因，导致渔业信息化水平较低。

将大数据应用于渔业领域，有利于提升渔业科学研究和生产水平的创新能力，提高渔业资源政策的科学性，创新其发展模式，促进渔业从跟跑到领跑式的发展[22]。其原理是利用大数据和相关技术的思想架构，结合数学模型处理渔业信息化产生的大量数据，并根据需要对有用的结果进行分析和渲染，进而处理渔业资源领域出现的问题[23]。随着水产养殖和捕捞业的快速发展和应用，使得鸢乌贼资源获得的数据量也不断扩大，其数据资源多种多样、结构复杂、分布较广，使得大数据技术在南海鸢乌贼资源管理方面的应用较为复杂。

1.2 国内外南海鸢乌贼资源调查研究现状

早在20世纪70年代，南海鸢乌贼资源就已经出现，但因为传统渔业资源丰富，且鸢乌贼的经济价值较低，所以鸢乌贼资源未被重视。如今，传统渔业资源的逐渐衰退使得南海鸢乌贼资源成为我国南海最重要的渔业资源之一，在我国引起很大的关注[24]。目前国内外对南海鸢乌贼资源的研究大多集中在其生长繁殖、种群结构遗传结构[25-29]等生物学特性方面，对鸢乌贼的资源量调查大多集中在灯光罩探捕调查[30]以及资源量的水声学评估[5]等方面，将大数据技术用于南海鸢乌贼资源调查的研究少之又少，再加上数据混乱、数据分析人才的缺乏，导致大数据技术的应用更为复杂。

1.3 大数据技术应用在南海鸢乌贼资源管理中的意义

由于我国渔业的信息化程度普遍较低，而探索大数据技术在渔业中的应用处于刚起步阶段[22]。当前，渔业仍沿用大量消耗资源和粗放经营的传统方式[10]，对鸢乌贼资源的调查也仍然采用传统的数据处理软件对抽样所获得的数据进行分析评估，分析效率低，资源浪费，预测评估不及时，存储的数据量少，导致分析结果精准度低。

利用大数据技术，可以提高渔业信息的综合利用率，发掘隐藏在其中的信息，并产生新知识用于渔业资源市场的预期。南海鸢乌贼有着丰富的资源量，更需要大数据技术的支持。比如从不同的地区和不同年龄的渔民的购买数据中分析出鸢乌贼的需求量，根据需求情况调配资源和管理，从而开拓更大的市场。另外大数据平台的众多外部资源可以对南海鸢乌贼所处的环境进行分析，查找影响其生长繁殖和捕获量的各种因素，对大规模数据进行分析，关注整体动向，预测其变化规律[31]。

2 大数据技术在鸢乌贼资源调查中的应用框架

2.1 数据的采集和传输

采用传感器测量南海鸢乌贼资源环境中的各种变量，将采集的信息转化为可读的信号，通过无线网络载体，将信息传播到数据采集点以待处理[32]。其传感器的原理是由电池供电，微小传感器收集所感知的数据，基站在节点部署完成之后发布收集命令，这样不同节点产生的感知数据将会被汇集，之后转发到基站以待处理[33]。例如传统的鸢乌贼资源调查航次分析主要依靠人工录入捕捞日志等信息来确定和判断航次，而基于大数据下的鸢乌贼资源调查可以快速提取每搜渔船的捕捞航次信息，能够直观地看出每年出海捕捞情况，可以协助进行渔船的精准化管理。另外采集方式还有信息系统数据、互联网数据等[32]。

2.2 数据的存储与处理

所收集到南海鸢乌贼资源的各种数据，包括每年探捕的鸢乌贼量，每年度中每季度的鸢乌贼的资源量以及其分布的区域的经纬度等信息数据，通过Haddoop体系进行存储计算。Haddoop体系包括HDFS（ Hadoop Distributed File System）和 Map Reduce两部分。HDFS将调查鸢乌贼资源获得的大数据切分成大小相同的小数据块进行存储，存于多个数据节点上，并进行校对、负载等。一般用HDFS存储数据，不容易丢失，且容量大。Map Reduce将海量数据分为不同的数据块进行过滤处理，每个数据块都对应一个任务，将所得中间结果保存在本地，将中间结果传输到各个Reduce节点进行最终的Reduce聚集处理，最后将最终结果输入到分布式存储文件系统[34]。另外它可以存储离线数据，Map节点和Reduce节点相互配合，以最快的速度完成计算，从而提高运算效率。另外其存储技术还包括分布式文件系统，分布式数据库等。与传统的关系型数据管理系统比较，基于大数据技术背景下非关系型数据管理系统具有扩展性好、存储性能好且运算效率高等特点。

ETL对南海鸢乌贼资源调查过程中收集到的分散数据进行提取、转换、清洗并加载至数据仓库中，使得这些数据成为智能化有用的数据[35]。

2.3 数据的分析

通过ETL数据清洗得到标准化的鸢乌贼资源数据，从不同的业务中提取数据的特征，利用局部区域近十年的数据进行统计，并构建栖息地指数模型或者广义可加模型（GAM），根据模型对整个南海鸢乌贼资源数据进行预测和分析[36]。在鸢乌贼资源管理过程中，会涉及多个过程，包括养殖、捕捞、运输、加工等过程，其间包含环境因子、各种生物成分，以及安全问题、生产效益、渔民需求等因素。此外利用BI分析平台，将复杂难懂的数据配合多维专业工具转化为简单、易理解的图形方式体现，对需要的指标进行多角度分析，并且生成分析报告，從中得到有用的信息[37]。

3 展望

传统的鸢乌贼资源调查大多要经历几个环节，并且需要不同的人员相互配合共同完成，多以现场采样、统计以及记录的方式采集数据，并对数据简单处理，通过Excel进行分析数据得到有用的信息，这个过程比较繁琐，稍有失误将会影响整个调查结果。基于大数据技术下的鸢乌贼资源调查可以提供标准化的数据结构，同时具有数据备份系统以免数据丢失，从而保护数据的安全性，还能提供数据共享[11]。另外大数据技术可以帮助构建渔业云平台，向相关的渔民提供在线查询、数据分析、共享交流等服务[38]。将大数据技术应用于渔业资源管理中，有望为将来的渔业资源领域开辟一条新的道路。

参考文献

[1] 余景，胡启伟，李纯厚，等.西沙-中沙海域春季鸢乌贼资源与海洋环境的关系[J].海洋学报，2017，39（6）：62-73.

[2] 江淼，马胜伟，吴洽儿.南海鸢乌贼资源探捕与开发[J].中国渔业经济，2018，36（2）：65-70.

[3] 马静蓉，杨庆贤，马海霞，等.南海鸢乌贼肌原纤维蛋白的热稳定性研究[J].食品与发酵工程，2015，41（5）：80-84.

[4] 吴静，胡晓，杨庆贤，等.鸢乌贼酶解产物的抗氧化稳定性与功能特性[J].南方水产科学，2016，12（5）：105-111.

[5] 李斌，陈国宝，郭禹，等.南海中部海域渔业资源时空分布和资源量的水声学评估[J].南方水产科学，2016，12（4）：28-37.

[6] 陈新军，钱卫国.印度洋西北部海域鸢乌贼资源密度分布的初步分析[J].上海水产大学学报，2004，13（3）：218-223.

[7] 余为，陈新军.印度洋西北海域鸢乌贼9-10月栖息地适宜指数研究[J].广东海洋大学学报，2012，32（6）：74-80.

[8] 范江涛，张俊，冯雪，等.基于地统计学的南沙海域鸢乌贼渔场分析[J].生态学杂志，2017，36（2）：442-446.

[9] 冯波，颜云榕，张宇美，等.南海鸢乌贼（Sthenoteuthis oualaniensis）资源评估的新方法[J].渔业科学进展，2014，35（4）：1-6.

[10] 郭少雅.物联网支撑现代渔业发展[N].农民日报，2016-04-08（04）.

[11] 刘子健.基于开源GIS技术的新疆渔业资源数据平台设计与开发[D].武汉：华中农业大学，2017：1-58.

[12] 谢润梅.农业大数据的获取和利用[J].安徽农业科学，2015，43（30）：383-385.

[13] 李俊清，宋长青，周虎.大数据背景下农业数据资源分类及应用前景浅析[J].农业图书情报学刊，2018，30（4）：23-27.

[14] 中国大数据产业发展水平评估报告[J].软件和集成电路，2017（12）：22-23.

[15] WinterCorp.The large scale Data Management Expert[EB/OL].[2018-05-28.]http：//www.wintercorp.com.

[16] MANYIKA J，CHUI M，BROWN B，et al.Big data：The next frontier for innovation，competition，and protuctivity[R].McKinsey Global Institute，2011.

[17] MAYERSCHONBERGER V，CUKIER K.Big data：A revolution that will transform how we live，work，and think [M].New York：Eamon Dolan/Houghton Mifflin Harcourt，2013：174-180.

[18] 尹衍雨，白春明，柴多梅，等.大数据与农业 大数据在农业领域的应用[J].蔬菜，2018（3）：1-7.

[19] 刘海英.“大数据+区块链”共享经济发展研究：基于产业融合理论 [J].技术经济与管理研究，2018（1）：91-95.

[20] 郭少青.基于大数据治理对气候变化背景下城市可持续发展的对策研究[J].西南民族大学学报（人文社会科学版），2018（3）：205-213.

[21] 蒋鹏飞，姜水晶，韩雪.空间遥感大数据技术在农业防灾减灾领域中的应用[J].农村·农业·农民（B版），2018（3）：49-51.

[22] 周询.大数据技术与中国渔业[J].中国水产，2015（8）：31-33.

[23] 于喆.渔业大数据综述[J].安徽农业科学，2017，45（9）：211-213.

[24] 张鹏，杨吝，张旭丰，等.南海金枪鱼和鸢乌贼资源开发现状及前景[J].南方水产，2010，6（1）：68-74.

[25] 粟丽，陈作志，张鹏.南海中南部海域春秋季鸢乌贼繁殖生物学特征研究[J].南方水产科学，2016，12（4）：96-102.

[26] 招春旭，陈昭澎，何雄波，等.基于耳石微结构的南海春季鸢乌贼日龄、生长与种群结构的研究[J].水生生物学报，2017，41（4）：884-890.

[27] 刘连为，周永东，陆化杰，等.西北太平洋鸢乌贼种群遗传结构[J].水产学报，2017，41（9）：1355-1364.

[28] NESIS K N.Population structure of oceanic ocmastrephids with particular reference to Sthenoteuthis oualaniensis：A review[M] //OKUTANI T，ODOR  R K，KUBODERA T.Recent advances in fisheries biology.Tokyo：Tokai University Press，1993：375-383.

[29] SUZUKI T，YAMAMOTO S，ISHI I K，et al.On the flying squid sthenoteuthis oualaniensis（Lesson）in Hawaiian waters[J].Bulletin of the Faculty of Fisheries Hokkaido University，1986，37（2）：111-123.

[30] 張鹏，张俊，李渊，等.秋季南海中南部海域的一次灯光罩网探捕调查[J].南方水产科学，2016，12（2）：67-74.

[31] 张婷.大数据技术在企业内部审计中的应用[J].电子技术与软件工程，2018（1）：149.

[32] 李学龙，龚海刚.大数据系统综述[J].中国科学：信息科学，2015，45（1）：1-44.

[33] WANG F，LIU J C.Networked wireless sensor data collection：Issues，challenges，and approaches[J].IEEE Commun Surv Tutor，2011，13（4）：673-687.

[34] 徐华.基于云的大数据处理系统性能优化问题研究[D].合肥：中国科学技术大学，2018：1-11.

[35] 徐俊刚，裴莹.数据ETL研究综述[J].计算机科学，2011，38（4）：15-20.

[36] 邱耀儒，沈明.浅谈大数据的数据处理[J].电子世界，2018（10）：100.

[37] 孟祥宝，谢秋波，刘海峰，等.农业大数据应用体系架构和平台建设[J].广东农业科学，2014，41（14）：173-178.

[38] 李杰.农业大数据应用-农业云平台[J].农民致富之友，2018（4）：20.