基于裂变模式的农业农村信息快速调查及分析平台开发与应用
2022-12-01张杰王川董晓霞祝文琪岳慧丽刘升平周清波
张杰,王川,董晓霞,祝文琪,岳慧丽,2,刘升平,2,周清波,2
基于裂变模式的农业农村信息快速调查及分析平台开发与应用
张杰1,王川1,董晓霞1,祝文琪1,岳慧丽1,2,刘升平1,2,周清波1,2
1中国农业科学院农业信息研究所,北京 100081;2农业农村部区块链农业应用重点实验室,北京 100081
【目的】为了有效解决传统农业农村基础信息采集过程中存在的采集周期长、样本量小、投放不精准、数据质量低、审核难度大等难题,实现突发事件背景下海量数据快速获取及可视化分析,本研究设计、研发了一套集问卷精准投放、数据快速采集、结果自动分析为一体的农业农村信息快速调查平台,为各级农业管理部门快速决策提供便捷工具。【方法】(1)总体设计:借助5层架构技术和中台理念设计平台,采用新媒体、GIS、社会网络分析(SNA)等技术,构建问卷精准投放模型、多级裂变模式、快速审核和自动分析策略,利用点度中心度、中介中心度、空间聚类等方法对调查问卷传播网络的裂变关系、扩散能力以及社群特征进行分析,深度挖掘、多维度呈现平台数据价值。(2)系统实现:采用前后端分离模式研制了2个子系统,分别为面向调研用户的速调采集系统、服务于信息调查者的速调管理及分析系统。(3)平台应用:利用VMware vSphere集成容器和集群服务器部署系统,借助Nginx负载均衡方式提高系统响应速度。【结果】通过半年持续运行,系统普适性强,已提供8大领域12次大规模农业农村信息调查服务,共采集问卷76 953份;农业农村经济信息调查案例中5 h内采集了12 243份问卷,裂变比例为88.23%,其中20.24%的人形成扩散并裂变,社群效果明显,裂变程度高、速度快、范围广;平台综合功能强,覆盖了问卷设计、投放地控制、裂变分享、智能审核、酬劳发放、统计分析、用户沉淀等功能,可为农业农村信息快速调查提供高效的一站式服务。【结论】基于裂变模式的农业农村信息快速调查与分析平台,具有数据采集快、信息获取真、样本收集多、功能性强的特点,实现了突发事件背景下农业农村基础信息紧急获取及分析结果可视化呈现,形成了一种基于海量数据、区别于官方调查的民调模式,可为各级农业管理部门开展行业信息的精准、高效调查,实现科学决策提供有力的技术支撑,对其他行业信息调查具有借鉴意义。
农业农村信息;快速调查;裂变模式;社会网络分析;精准投放模型;系统设计
0 引言
【研究意义】农业农村数据是管理部门开展决策的基础[1],也是农业的生产要素和重要生产力[2],高效低成本地获取农业数据是发展先进农业的重要任务[3]。因此,快速采集农业农村数据具有重大意义,具体表现为(1)国家有要求,具有战略意义。近年来国家陆续出台了《数字农业农村发展规划(2019-2025年)》《“十四五”全国农业农村信息化发展规划》《“十四五”数字农业农村建设规划》《关于构建更加完善的要素市场化配置体制机制的意见》《创新驱动乡村振兴发展专项规划》等一系列政策文件,要求大力发展数字农业。(2)管理部门有需求,具有现实意义。管理部门制定规划时需要依据基础数据,摸清农业底数,明晰基础情况对宏观决策至关重要,尤其是应对突发事件,例如近两年的新冠肺炎疫情[4]、河南特大洪涝灾害等。(3)科研单位有诉求,具有学术意义。农业科学研究离不开数据的支撑[5],这对发现潜在的规律具有重要价值[6]。【前人研究进展】当前农业生产的环境信息、土地利用情况、农作物生长数据可借助物联网、3S技术获取[7-10],但农业经济、农业生产活动等非自然数据在很大程度上仍需人工采集。此类数据传统的获取和统计方式为自下而上,逐层上报,分级审核,同级汇交[11-13],这是国家统计局、自然资源部、农业农村部等部委常用的官方调查方式,权威性强,覆盖面广,社会利用率高,但时效性弱[14],耗费的人力物力庞大,难以满足个性化指标调查的需求。为了提高信息采集的时效性,王羡欠[15]、许淳等[16]、骆慧勇[17]利用互联网技术设计了一种通用的问卷调查系统,实现了无纸化及标准化采集,降低了数据录入与传播成本,并且为了提升线上调查系统的灵活性和适应性,卢锦运等[18]还设计了支持逻辑跳转和答题约束的调查系统,应用效果有了很大提升,但此类线上系统无法采集空间信息,或仅通过解析IP地址推算地理位置,精准度不足,无法满足关注空间信息类研究的要求。随着GIS技术和智能终端的发展,不少研究者提出了新的方案,例如夏兴生等[19]利用空间信息技术和移动开发技术研发了农作物种植面积测量野外调查系统,可通过手持设备调查种植面积信息,并且支持北斗与GPS双模定位,调查效率相对于传统方式提高了30倍。邓煜等[20]借助OZIExplorer软件和安卓技术研发了一款支持定位和导航的野外调查系统,并且支持遥感图像校正。戚元华等[21]利用定位和语音识别技术制作了一款手机APP,可采集中药资源的种类、标本、图片、位置和时间,在全国中药资源普查中应用效果良好。此类方法专业性强,大多为某一类研究定制,通用性弱,因为是抽样方式,分析结果受样本影响较大。为了尽可能接近事情本质,需要争取采集更多数据甚至是所有数据,因而需结合大数据技术。王英强等[22]研制了基于大数据技术的农业统计数据采集平台,王川等[23]设计了基于移动互联的农业农村信息速调平台,并推出了最受用户欢迎的手机式填报+新媒体式传播方式,形成了数据随时采集、实时展示的新模式,达到快速、全面采集农业数据的目的。但实际应用过程中,流量成本较高,调查信息很难推送到大量农村填报者,致使数据采集比较困难。传播界为了快速推广内容,常应用裂变技术,例如胡钦太等[24]提出了新媒体背景下社会教育裂变的3种模式:互动循环式、监督式、分级传播式,研究如何利用新媒体裂变快速推进社会教育,史历峰[25]研究了如何利用裂变技术打造“刷屏广告”,打造热点。近几年,裂变技术在其他行业逐步兴起,例如拼多多利用红包裂变吸收了大量新用户[26],很快从新晋电商变成了三足鼎立。传统的粉丝社群和粉丝经济,借助移动互联网和裂变传播,变革生产、营销、消费体系环节,依靠圈层式聚合力和裂变性扩散达到引爆事件目的,形成火热的社群经济[27]。【本研究切入点】当前农业农村信息官方调查周期长、成本高,民用难度大。应用目前互联网免费的成熟工具缺少空间信息,数据质量低,审核难度大,数据安全存在隐患;定制的工具专业性强,普适性弱;基于大数据采集系统难以获得大量数据。裂变技术可极大加速信息的传播,解决数据采集难题,不过当前应用在农业农村信息调查方面的研究较为少见。【拟解决的关键问题】本研究采用多级裂变、社会网络分析和新媒体等技术,设计、研发了一套集问卷精准投放与数据快速采集、智能审核、自动分析、酬劳结算为一体的农业农村信息调查平台,解决信息调查中面临的周期长、缺少空间信息、数据质量低、审核难度大、样本量不足、投放不精准等关键问题,为农业管理部门决策提供辅助,为农业科研部门创新提供支撑,为农业生产者及时了解市场动态提供服务。
1 材料与方法
1.1 平台总体设计
1.1.1 需求分析及功能设计 农业农村信息快速调查及分析平台(简称“平台”),为各级农业决策者提供农业农村信息快速采集和分析服务,协助管理者快速掌握突发事件影响程度,例如近两年的新冠肺炎疫情、河南洪灾、山西洪灾,对比传统逐层上报、层层审批耗时费力的官方调查模式,形成一种快速全面调查的新模式,同时打破过度依赖第三方问卷采集系统的现状,解决当前面临的红包抽成高、数据采集困难、无法过滤无效问卷、审核难度大、难以沉淀受访者、专题分析不够灵活等难题。为满足上述需求,平台应具备以下功能:(1)提供问卷自传播、投放区域可配置、自动判断虚假问卷等功能,解决采数难、质量低的难题;(2)问卷设计应灵活,满足使用人员根据各类业务自定义问卷、设置投放区域和指标异常值范围;(3)提供快速审核功能,支持多维度自动筛选异常数据,提高审核效率;(4)数据分析应可定制且形式多样,支持指标、阈值、分段数量、颜色等维度设置,满足统计图、二维表和专题图等多种形式呈现;(5)提供星级评分策略,实现用户分级式管理和递增式报酬,便于留存高质量农户;(6)红包发放应细致可查,支持按问卷和用户等维度追溯,便于财务对账。
根据平台所服务的人员类型、各自需求和面临痛点,将平台拆分成2个系统:面向被调查人员的速调采集系统、服务于信息调查者的速调管理及分析系统。采集系统实现问卷信息的阅览、填报、领取报酬和转发推广等功能,具体包括进入答题、问卷填写、问卷查阅、个人信息、历史答题和推广记录等6个功能模块,调查人员为普通农民、村干部、返乡创业、合作社成员和其他,通过“农业农村信息速调平台”微信公众号填报;管理及分析系统主要完成人员管理、问卷设计、问卷审阅、酬劳结算和信息分析等功能,主要涵盖用户管理、问卷管理、参数配置、样区控制、红包管理、统计分析、专题分析、星级评分和系统建议等9个模块。
1.1.2 平台框架设计 平台架构如图1所示,自下而上共分为5层,分别为基础支撑层、数据管理层、业务支撑层、应用服务层和展示层[28]。基础支撑层为平台提供统一的保障服务,包括硬件、软件、网络、服务,属于基础底座,确保平台正常、安全运行。平台部署采用VMware vSphere集成容器和集群服务器技术,具有较高灵活性、扩展性以及硬件隔离性,当一台虚拟机出现故障后,可无缝启动备份服务器,充分保障业务系统连续运转。数据管理层负责存储和管理数据,分别使用MySQL、MongoDB、GeoDB存储结构化、非结构化和空间数据,保障数据高效存放和读取,同时利用主从备份技术实现数据实时备份,满足安全管理要求。业务支撑层处理所有业务相关的工作,采用中台理念设计,包含数据中台和业务中台,前者提供数据从汇聚、加工、可视化到利用的全流程服务,实现数据从“收”到“用”的价值转变;后者是速调平台业务逻辑的核心,将公共功能抽象成一个个独立运行的服务,解决重复开发、复用性低的难题[29]。应用服务层为用户提供直接操作的系统界面,包括速调采集系统、速调管理及分析系统,采用前后端分离技术和基于微信服务号方式开发,为了应对用户裂变带来的高并发访问难题,利用Nginx模式实现负载均衡。展示层是平台的展示方式,结合不同使用者应用场景,提供大屏、中屏和小屏等形式。
图1 平台总体架构图
1.1.3 业务流程设计 信息调查类研究包括调查发起者和问卷填报人,根据二者角色特点及协同工作流程,设计了2条主线[30],详细流程设计如图2所示,实现了从调查发起到结果统计的全流程管理。左侧主线是面向调研发起人的业务,包括问卷设计、发布、审阅、红包发放和数据统计,右侧主线面向问卷填报者,涵盖问卷填写、裂变分享和领取红包。
图2 平台业务流程图
1.2 平台关键技术及模型
1.2.1 多级裂变技术,解决样本量不足难题 现如今流量非常金贵,互联网行业获取新用户的成本大约50元/人,如何快速将调研信息传送给调研对象并获取反馈结果是调研类研究面临的重要难题。为了解决此问题,本研究采用了多级裂变技术,即通过受访者自行转发扩散带动新用户填报,新用户提交后再次分享给周围朋友,最后周围朋友再次扩散到其交际圈,即经历“个人—个人”“个人—群众”“群众—群众”逐步裂变[24],从而形成自传播。经过分析和总结,本研究总结了裂变公式:裂变=种子用户+传播渠道+传播动机+时间节奏+互动方式+工具。(1)种子用户:国家现代农业产业技术体系(简称“产业体系”)综合试验站人员和固定观察点技术员;(2)传播渠道:农业农村信息速调平台微信公众号、国家农业科技创新联盟(简称农科联盟)、产业体系、行业公众号、行业微信群;(3)传播动机:现金红包,一份问卷常规在5—15元/次;(4)时间范围:3—5 d;(5)互动方式:答题有奖;(6)工具:微信服务号、短信和微信群。裂变流程如图3所示。
图3 裂变流程图
1.2.2 社会网络分析,掌控裂变扩散效果 可视化呈现问卷传播数据可以帮助调查人员快速了解裂变效果,辅助其根据裂变速度及时调整每份问卷奖励,有利于控制成本。
社会网络分析(social network analysis,SNA)是一种基于关系的复杂网络研究方法,擅长传播网络中个体与个体、个体和群体间的关联分析[31],在社会学、传播学和经济学中被广泛应用[32-33]。本平台采用此方法呈现问卷裂变传播效果,着重融入点度中心度,中介中心度和空间聚类,帮助问卷调查者快速决策。
(1)问卷传播关系分析。点度中心度指与某个节点相连接的节点数量,可反映出某个人员(由网络中一个节点表示)在填写特定问卷过程中与之相关联的人数。点度中心度由点出度和点入度构成,因为问卷传播包括传播者和被分享者,具有方向性,故而着重分析点出度(outdegree),用以刻画网络中一份问卷被特定人员向外分享的次数,计算过程如公式(1)。某个节点点出度越高,则此人对外传播的问卷数量越多,裂变能力越强,处于网络中的中心地位。
C(n)=∑X(1)
式中,X=0或者1,表示节点是否被节点分享过问卷,为网络中的节点总数。
(2)裂变网络中间传播能力分析。通过中介中心度(betweenness centrality)测量,指某个节点在图中其他“点对”的中间,在多层传递时起到中间桥梁作用,反映了某个人员控制其他关联关系的能力,数值越大表征媒介信息能力越强,预示越能控制其他人员相互传播问卷,在网络中越重要[31],计算过程如公式(2)所示:
式中,σ表示节点和之间的最短路径数目,σ(v)表示、两个节点之间的最短路径中包含节点的数量。
(3)答卷人员空间聚类分析。为了分析调查人员的社群性,平台利用空间聚类方法将传播网络划分为若干个小团体,将联系紧密的节点划为同一类,是相同特性人员的集合。小团体性是表征空间网络体系内部结构的重要指标[34],借此可以找到关系紧密的社群以及组内成员[35],便于问卷调查者分析不同问卷质量与传播者的关系。本文应用Louvain 分群算法,是一种多层次优化算法,计算过程如公式(3)所示[36]:
式中,代表整个网络中边的总数,c表示节点所在的团体,k是与节点相连边的权重之和,计算过程如公式(4)所示:
老邓嚯嚯地笑:你会查清楚?难道说你们请我们来是分腊肉的,还是分白糖的?甲洛洛怔怔地看着老邓,半天说不出话来。丁主任赶紧圆场:这个肯定会照顾你们,你们工作那么辛苦,我们怎么可能不体谅你们呢!老邓哈哈大笑:我开个玩笑,开个玩笑,你们可千万别当真。气氛一下缓和多了,后面依次问到嘎绒和西西的时候,老邓一直温和地笑,温和地点头,有时还温和地接上一句:这样好!这是应该的!
k=∑A(4)
式中,A代表节点和相连边的权重,式(3)中函数表示两个节点是否在一个团体,计算公式如下:
1.2.3 精准投放模型,解决低质量用户难题 如何将调研问卷精准地投送给目标用户十分关键,为了减少非目标用户的干扰,设计了精准投放模型。详细内容如图4所示,即向受访者投放调查问卷时需综合考虑5个维度,分别是空间位置、投放时间、用户行为、基础属性和从事行业。相较于传统“偶遇派发”或者“海量撒网”方式,精准投放模型具有以下优势:(1)问卷集中在受访区域,非目标区域无法答卷,节省调查时间;(2)用户在闲暇时间收到通知,答题意愿强,填报率高;(3)基于用户属性和从事行业,针对性推送,答卷有效率高,节省经济成本;(4)根据用户历史行为发放问卷,降低遇到为获得报酬而胡乱填报人员的概率,提高答卷准确率。
2 结果
2.1 平台的实现
平台包括农业农村信息速调采集系统、农业农村信息速调管理和分析系统,二者均采用前后端分离模式,通过Nginx作为反向代理Web服务器的方式实现前后端数据交互。其中采集系统的前端以微信公众号为入口、利用JavaScript、HTML、CSS、Vue等主要技术完成移动端网页制作并作为载体进行数据采集,数据的审核、统计、专题分析等操作通过PC端网页呈现。后端使用Java语言开发,通过MySQL、MongoDB和GeoDB存储数据,系统采用服务器集群方式部署,从而解决高并发难题并提升系统容错能力。同时,借助业务服务器和静态资源服务器分离业务和数据,提高访问效率,静态资源在上传时使用Thumbnailator工具完成压缩。平台运行在Linux操作系统上,借助Apache Tomcat发布。
2.2 平台的运行
经过2021年6月至12月的12次大范围农业信息调查的运行,已累计注册用户129 016名,活跃用户比例为44.3%,可支持并发用户数1 000,共采集水稻、小麦、青贮玉米、水果、乳制品、蜂业、产销经营、农业农村经济等八类问卷共计76 953份,平均有效率约18.01%。此平台主要用户为农民,占比约43.14%,共发放红包20 0279元。目前各类问卷数据可顺利上报,系统运行正常。
图4 精准投放模型图
2.3 平台应用分析
2.3.1 裂变传播网络分析 以采集2021年农业农村经济信息为例,从2021年12月22日开始发布调查信息,5 h共收集问卷12 243份,其中经历过裂变的问卷有10 802份,占比88.23%,相较于传统非裂变方式可提升效率7.5倍。为了快速呈现裂变传播效果,本平台融入了开源软件Gephi可视化功能。
(1)问卷传播关系分析
经过计算,裂变传播网络中平均路径长度为1.817,说明传播网络中平均一份问卷传播人数不超过2个,此问卷传播深度不大,原因是最初接触问卷的人员知道扩散有奖励,随着传播层级的加深,末端人员了解此信息概率较低,故而缺乏分享动力。为了扩大裂变效果,应加强奖励消息提醒。网络直径是9,表明此次裂变最多经历了9人连续传播,揭示调查问卷裂变扩散潜力大。
(2)裂变网络中间传播能力分析
图6是中介中心度数值及占比分布图,整个网络中介中心度平均值为1.5,高于此均值的节点数为1 251个,占比11.08%,为0的节点占比87.18%,说明网络中绝大多数人员难以控制其他人员。这和实际情况比较相符,因为被调查者随机分布,位于全国各地,彼此间相识概率低,较少有共同好友,故而相互支配的能力弱。编号为15297的节点中介中心度数值较大,是问卷裂变传播过程中的关键人物,在传播网络中活跃度较高,加大对此类人员的鼓励将会对问卷多层传播起到事半功倍效果。
图5 调查网络点出度分布
表1 调查网络点出度分析
OD:点出度Outdegree;p:占比 Proportion
(3)答卷人员空间聚类分析
图7是将填写问卷且存在关联的用户经过聚类分析后的网络模块化分布图,共有534个社群,分区模块性为0.985,说明此网络社群效果较好,加以引导可带来更大流量。各社群节点数如图7-a所示,其中A—G社群的用户规模相对较大,传播影响力较为深远,应重点关注。图7-b呈现了少部分社群拥有关联节点多,大多数社群节点数小于20,节点度数呈现不均匀分布,说明了此裂变网络模型具有“无标度”[37],属于复杂网络。
图6 中介中心度占比
2.3.2 实现智能审核、酬劳结算和用户沉淀 针对不同农业信息调查对象存在地域特性的规律,平台可有的放矢地设计问卷投放区域(精确到县)及各地采集数量,兼顾了平台问卷数据的典型性与全面性,同时为智能审核提供依据,如图8-a所示,数字代表在该地区采集问卷的数量。平台提供快速审核功能,缩短问卷审阅时间,支持从答卷时长、题目答案合格率、是否在采集区域等多维度自动判定问卷结果,如图8-b所示。
为了激发参与调查人员的积极性,平台实现了酬劳自动发放功能。如图8-c所示,共有15 154位人员领取过红包,领取酬劳最高为1 195元,同时为受访人员提供了酬劳明细,便于其查看红包来源及金额,进一步促进扩散调查信息的积极性,如图8-d所示。其次,平台实现了用户画像和分类管理,提供了基于每份调查问卷的用户分析,如图8-e所示。为了留住老用户方便后续持续调研,平台实现了用户评分和星级分级功能,星级越高,获得报酬越高。
2.3.3 实现调查信息的自动分析及快速可视化 为了快速呈现调查结果,平台实现了调查信息自动分析和快速可视化,可通过统计图方式实现调查问卷中各指标数值分析以及调查问卷样本点的空间分布。其次,平台实现了专题分析,即可为问卷中任何一道数值型题目提供地图分类可视化。图9是针对青贮玉米秋收调查问卷实际数据制作的专题图,总体而言,2021年青贮玉米受灾面积扩大,产量同比下降较多,收割成本上升。主要受灾原因是2021年下半年我国河南、山东、山西、内蒙古、新疆、河北等青贮玉米主产省(区)遭遇了连续强降雨,水涝灾害阻碍了青贮机械收割作业,同时也增加了青贮玉米收割和运输成本。由此可见,本平台的信息调查、分析结果与实际情况基本吻合。
图7 网络模块化分布图
图8 平台主要功能界面
审图号:GS京(2022)0605号
3 讨论
当前农业农村信息调查的主流方式包括:(1)传统纸质版走访式;(2)自下而上逐层上报式;(3)线上随机式,如问卷星。以下从调查耗时、调查质量和综合分析等方面,对比本研究提出的裂变+大样本模式和主流方式之间的差异。以调查2021年9月份以后连续强降雨对新疆、内蒙古、北京、天津、山西、河北、河南、湖北、江西、安徽以及山东青贮玉米生产情况的影响为例,假设每个地区100份问卷,每份问卷30道题目。
3.1 耗时对比
信息调查环节主要包括找到受访者、问卷填写和问卷评阅,经过测试和分析,上述调查案例场景下,采用本研究方式和常见3种方式的耗时对比统计结果如表2所示,其中传统走访式耗时最大,主要时间消耗在路途中;其次是逐层上报式,多层通知和审核时间不可控,时间周期较大;本研究的裂变式耗时最短,尤其在审核和找到受访者方面,数量越大优势越明显,常规2 d可完成调查。相对其他3种常规调查方式,可极大提高效率。虽然有效率没有走访式高,但回收的问卷基数大,依旧可挑选出大量合格答卷。
3.2 功能对比
本研究提出的基于裂变式信息调查平台同当前常用的3种调查方式功能对比如表3所示。通过对比,不难发现本文提出的调查方式综合功能全面,包含从问卷设计、投放地控制、智能审核、酬劳发放、统计分析到用户留存的全流程功能,可为信息调查提供一站式全方位服务,可有助于解决当前常用调查过程中多软件拼凑使用的难题,例如问卷星调查+微信发红包+订阅号转发+Excel处理+SPSS分析+ArcGIS出图。
表2 信息调查常见方法耗时对比
表3 信息调查常见方法功能对比
3.3 应用效果分析
为了说明本研究提出的方式在不同行业调查时的实际效果,详细统计了平台正式上线后发起农业农村信息方面调查的统计结果,如表4所示。从中可以得出如下结论:(1)数据采集快。可在短时间内采集大量调查问卷,最快于2小时收集9 069份问卷,并且随着用户的积累,采集速度逐步增大;(2)调查时长与问卷指标数量无关,和调查专题的普适度有关,即专业性越强,数据获取越慢,例如水稻、小麦和粮食作物秋收秋播等类别相对小众,故耗时较大;知晓水果、经济和电商应用等专题的人员多,故而相对速度快;(3)信息获取真。区别于传统逐层上报“官调”方式,本研究形成了“民调”模式,即直接面向一线农户,信息真实;(4)样本收集多。借助平台积累的12.9万用户,可收集大量农业农村数据。
表4 平台历史调查结果
3.4 不足与解决办法
基于发红包的裂变式问卷调查容易被羊毛党发现,其为了获得报酬会号召大量非一线农业人员填写问卷,给问卷审核工作增加了难度。针对此问题,建议设计问卷时设置几道专业题和场景证明,例如小麦种子价格、大田中水稻长势图片,这样在一定程度上有利于排除非调查对象。
4 结论
为了紧急获取突发事件条件下的基础信息并快速可视化分析结果,本文利用新媒体、GIS、社会网络分析等技术,建立了多级裂变模式、精准投放模型和快速审核策略,探索了农业农村信息快速调查及分析平台的建设。该平台囊括了从问卷设计、投放地控制、智能审核、酬劳发放、统计分析到用户留存的全流程功能,通过和常用的传统纸质版走访式调查、自下而上逐层上报式调查以及线上随机式调查对比,得出本研究开发的平台具有数据采集快、信息获取真、样本收集多、功能性强的特点,实现了突发事件条件下紧急获取基础信息并快速可视化分析结果,形成了一种区别于官调的基于庞大数据的民调模式,为农业管理部门、科研院校、农业生产者提供数据支撑与服务,对其他行业信息调查具有借鉴意义。
[1] 许世卫, 王东杰, 李哲敏. 大数据推动农业现代化应用研究. 中国农业科学, 2015, 48(17): 3429-3438.
XU S W, WANG D J, LI Z M. Application research on big data promote agricultural modernization. Scientia Agricultura Sinica, 2015, 48(17): 3429-3438. (in Chinese)
[2] 央视网. 习近平带政治局集体学习领导干部要学懂用好大数据. (2017-12-10)[2021-02-22]. http://news. cctv.com/2017/12/10/ARTI3H NR1LMiMiNZKmr1NMD1171210.shtml.
CNTV. Chinese President Xi Jinping led the Political Bureau to learn collectively that leading cadres should learn to understand and make good use of big data.(2017-12-10)[2021-02-22]. http://news. cctv.com/ 2017/12/10/ARTI3H NR1LMiMiNZKmr1NMD1171210.shtml. (in Chinese)
[3] 赵春江. 智慧农业发展现状及战略目标研究. 智慧农业, 2019, 1(1): 1-7.
ZHAO C J. State-of-the-art and recommended developmental strategic objectives of smart agriculture. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese)
[4] Gupta P, Goyal K, Kanta P, GHOSH A, SINGH M P. Novel 2019-coronavirus on New Year's Eve. Indian Journal of Medical Microbiology, 2019, 37(4): 459-477.
[5] 张莉. 中国农业科学数据共享发展研究[D]. 北京: 中国农业科学院, 2006.
ZHANG L. Research on the development of agricultural scientific data sharing in China[D]. Beijing: Chinese Academy of Agricultural Sciences, 2006. (in Chinese)
[6] 陈迪, 吴文斌, 周清波, 胡琼, 项铭涛, 陆苗, 余强毅. 亚洲耕地利用格局十年变化特征研究. 中国农业科学, 2018, 51(6): 1106-1120.
CHEN D,WU W B, ZHOU Q B, HU Q, XIANG M T, LU M, YU Q Y. Changes of cultivated land utilization pattern in Asia from 2000 to 2010. Scientia Agricultura Sinica, 2018, 51(6): 1106-1120. (in Chinese)
[7] 郭新, 王乃江, 张玲玲, 郭永强, 褚晓升, 冯浩. 基于Google Earth Engine平台的关中冬小麦面积时空变化监测. 干旱地区农业研究, 2020, 38(3): 275-280.
GUO X, WANG N J, ZHANG L L, GUO Y Q, CHU X S, FENG H. Monitoring of spatial-temporal change of winter wheat area in Guanzhong region based on Google Earth Engine. Agricultural Research in the Arid Areas, 2020, 38(3): 275-280. (in Chinese)
[8] Attila N, János F, János T. Wheat and maize yield forecasting for the Tisza river catchment using MODIS NDVI time series and reported crop statistics. Computers and Electronics in Agriculture, 2018, 151: 41-49.
[9] Chen D, Lu M, Zhou Q B, Xiao J F, Ru Y T, Wei Y B, Wu W B. Comparison of two synergy approaches for hybrid cropland mapping. Remote Sensing, 2019, 11(3):213.
[10] Lambin E F, Gibbs H K, Ferreira L, Grau R, Mayaux P, Meyfroidt P,Morton D C, Rudel t k,Gasparri I, Munger J. Estimating the world's potentially available cropland using a bottom-up approach. Global Environmental Change, 2013, 23(5): 892-901.
[11] 苏宇, 陈从喜, 王楠, 吴琪, 齐书花, 高宇, 朱先云. 自然资源综合统计成果体系及统计数据共享研究. 国土资源情报, 2021(1): 27-32.
SU Y, CHEN C X, WANG N, WU Q, QI S H, GAO Y, ZHU X Y. Research on comprehensive statistical achievement system and statistical data sharing of natural resources. Land and Resources Information, 2021(1): 27-32. (in Chinese)
[12] 孟召娣, 朱福守, 蒋和平. 国家现代农业示范区建设水平分析及提升对策研究. 农业现代化研究, 2018, 39(2): 185-193.
MENG Z D, ZHU F S, JIANG H P. Development assessment of the national modern agricultural demonstration zone and some promotion suggestions. Research of Agricultural Modernization, 2018, 39(2): 185-193. (in Chinese)
[13] 胡静, 金晓斌, 陈原, 杨剑, 周寅康. 土地整治重大工程项目建设监测管理系统的设计与实现. 中国土地科学, 2012, 26(7): 44-49, 97.
HU J, JIN X B, CHEN Y, YANG J, ZHOU Y K. Design and implementation of monitoring and management system for the key land consolidation and readjustment projects. China Land Science, 2012, 26(7): 44-49,97. (in Chinese)
[14] 李贝贝. 建立与国际接轨的新型农业统计体制与运行机制. 农业经济, 2014(8): 25-26.
LI B B. Establish a new agricultural statistical system and operation mechanism in line with international standards. Agricultural Economy, 2014(8): 25-26. (in Chinese)
[15] 王羡欠. 基于Java EE平台的网上调查问卷系统的设计与实现. 江西科学, 2016, 34(1): 129-132.
WANG X Q. Design and implementation of online questionnaire system based on Java EE platform. Jiangxi Science, 2016, 34(1): 129-132. (in Chinese)
[16] 许淳, 王文发, 李竹林. 一种通用调查问卷系统的设计与实现. 信息技术, 2016(6): 101-102, 106.
XU C, WANG W F, LI Z L. Design and implementation of general survey system. Information Technology, 2016(6): 101-102, 106. (in Chinese)
[17] 骆慧勇. 通用调查问卷系统设计与实现. 金融科技时代, 2018(1): 50-53.
LUO H Y. Design and implementation of general questionnaire system. FinTech Time, 2018(1): 50-53. (in Chinese)
[18] 卢锦运, 何怀金, 刘明. 支持逻辑跳转及填答约束的网络问卷调查系统设计与实现. 软件导刊, 2015, 14(1): 107-110.
LU J Y, HE H J, LIU M. Design and implementation of network questionnaire survey system supporting logic jump and reply constraints. Software Guide, 2015, 14(1): 107-110. (in Chinese)
[19] 夏兴生, 李忠义, 朱秀芳, 潘耀忠, 赵希振, 周巍. 基于遥感抽样的农作物种植面积测量野外调查系统设计与实践. 农业现代化研究, 2017, 38(6): 1075-1085.
XIA X S, LI Z Y, ZHU X F, PAN Y Z, ZHAO X Z, ZHOU W. Design and practice of field survey system for crop acreage measurement based on remote sensing sampling. Research of Agricultural Modernization, 2017, 38(6): 1075-1085. (in Chinese)
[20] 邓煜, 王建强, 张东东. 基于安卓系统的手持设备结合OZIExplorer软件在野外地质调查中的应用. 地层学杂志, 2016, 40(2): 219-224.
DENG Y, WANG J Q, ZHANG D D. The application of android- based handled device with OZIExplorer in field geologcal investigation. Journal of Stratigraphy, 2016, 40(2): 219-224. (in Chinese)
[21] 戚元华, 王慧, 张小波, 金艳, 格小光, 景志贤, 王凌, 赵宇平, 郭兰萍, 黄璐琦. 基于智能移动端的中药资源普查数据采集系统设计与实现. 中国中药杂志, 2017, 42(22): 4295-4298.
QI Y H, WANG H, ZHANG X B, JIN Y, GE X G, JING Z X, WANG L, ZHAO Y P, GUO L P, HUANG L Q. Design and implementation of mobile terminal data acquisition for Chinese materia medica resources survey. China Journal of Chinese Materia Medica, 2017, 42(22): 4295-4298. (in Chinese)
[22] 王英强, 陈绥阳, 王振铎. 大数据环境下农业统计数据采集平台的设计. 电子设计工程, 2018, 26(24): 111-115.
WANG Y Q, CHEN S Y, WANG Z D. Design of agricultural statistical data acquisition platform in large data environment. Electronic Design Engineering, 2018, 26(24): 111-115. (in Chinese)
[23] 王川, 董晓霞, 郑建华, 张超, 周清波. 基于移动互联的农业农村信息速调平台(Agri-watch)构建与应用. 农业大数据学报, 2020, 2(2): 104-111.
WANG C, DONG X X, ZHENG J H, ZHANG C, ZHOU Q B. Construction and application of agricultural and rural information quick-obtainning platform (Agri-watch) based on mobile internet. Journal of Agricultural Big Data, 2020, 2(2): 104-111. (in Chinese)
[24] 胡钦太, 林晓凡. 基于新媒体的社会教育传播模式构建研究. 电化教育研究, 2014(5): 5-10.
HU Q T, LIN X F. Research on the construction of social education communication model based on new media. e-Education Research, 2014(5): 5-10. (in Chinese)
[25] 史历峰. “刷屏广告”: 品牌形象建设的新策略. 新闻爱好者, 2020(2): 53-56.
SHI L F. “Screen advertising”: a new strategy for brand image construction. Journalism Lover, 2020(2): 53-56. (in Chinese)
[26] 陈鹏飞. 拼多多的拉新策略研究——基于红包分享的裂变效应. 现代商业, 2020(21): 43-45.
CHEN P F. Research on Pinduoduo’s innovation strategy - Fission effect based on red envelope sharing. Modern Business, 2020(21): 43-45. (in Chinese)
[27] 金韶, 倪宁. “社群经济”的传播特征和商业模式. 现代传播(中国传媒大学学报), 2016, 38(4): 113-117.
JIN S, NI N. Communication characteristics and business model of “community economy”. Modern Communication (Journal of Communication University of China), 2016, 38(4): 113-117. (in Chinese)
[28] 张杰, 刘升平, 岳慧丽, 吕纯阳, 洪葳. 智慧蜂业大数据平台建设与应用. 农业大数据学报, 2021, 3(1): 3-13.
ZHANG J, LIU S P, YUE H L, LÜ C Y, HONG W. Construction and application of big data platform for intelligent apiculture. Journal of Agricultural Big Data, 2021, 3(1): 3-13. (in Chinese)
[29] 仇阿根, 张杨, 罗宁, 赵习枝, 刘佳澄, 何望君. 结合微服务和中台理念的减灾服务系统设计与实现. 武汉大学学报(信息科学版), 2020, 45(8): 1288-1295.
QIU A G, ZHANG Y, LUO N, ZHAO X Z, LIU J C, HE W J. Design and implementation of integrated disaster reduction intelligent service system based on micro-service architecture and middle platform concept. Geomatics and Information Science of Wuhan University, 2020, 45(8): 1288-1295. (in Chinese)
[30] 姚艳, 牛明雷, 孙法军, 姚京婵, 常晓燕. 基于微服务架构的农业转移支付项目管理系统设计与实现. 中国农业科学, 2021, 54(15): 3207-3218.
YAO Y, NIU M L, SUN F J, YAO J C, CHANG X Y. Design and implementation of agricultural transfer payment project management system based on micro-service architecture. Scientia Agricultura Sinica, 2021, 54(15): 3207-3218. (in Chinese)
[31] 秦旋, 李怀全, 莫懿懿. 基于SNA视角的绿色建筑项目风险网络构建与评价研究. 土木工程学报, 2017, 50(2): 119-131.
QIN X, LI H Q, MO Y Y. Study on establishment and evaluation of risk network in green building projects based on SNA. China Civil Engineering Journal, 2017, 50(2): 119-131. (in Chinese)
[32] 邵玉河, 董振平. 图书馆微博的社会网络分析. 图书馆工作与研究, 2015(3): 28-32.
SHAO Y H, DONG Z P. The social network analysis of library micro blog. Library Work and Study, 2015(3): 28-32. (in Chinese)
[33] Scott J, Carrington P J. The SAGE Handbook of Social Network Analysis. America: SAGE, 2011.
[34] 刘华军, 刘传明, 孙亚男. 中国能源消费的空间关联网络结构特征及其效应研究. 中国工业经济, 2015(5): 83-95.
LIU H J, LIU C M, SUN Y N. Spatial correlation network structure of energy consumption and its effect in China. China Industrial Economics, 2015(5): 83-95. (in Chinese)
[35] 赵金楼, 成俊会. 基于SNA的突发事件微博舆情传播网络结构分析——以“4. 20四川雅安地震”为例. 管理评论, 2015, 27(1): 148-157.
ZHAO J L, CHENG J H. Analysis of micro-blog public opinion diffusion based on SNA: An empirical study on April 20 Ya’an earthquake in Sichuan. Management Review, 2015, 27(1): 148-157. (in Chinese)
[36] Blondel V D, Guillaume J L, Lambiotte R, LEFEBVRE E. Fast unfolding of communities in large networks. Journal of statistical mechanics: theory and experiment, 2008(10): 10008.
[37] 邱晨子. 微博网络舆情热点生长分析模型研究[D]. 大连: 大连海事大学, 2013.
QIU C Z. A Study on analysis model for the net-mediated public sentiment hotspot growth regulation in micro blog[D]. Dalian: Dalian Maritime University, 2013. (in Chinese)
Development and Application of Rapid Investigation and Analysis Platform for Agricultural and Rural Information Based on Fission Model
ZHANG Jie1, WANG Chuan1, DONG XiaoXia1, ZHU WenQi1, YUE HuiLi1,2, LIU ShengPing1,2, ZHOU QingBo1,2
1Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081;2Key Laboratory of Agricultural Blockchain Application, Ministry of Agriculture and Rural Affairs, Beijing 100081
【Objective】In order to effectively solve the problems existing in the process of collecting basic information of traditional agriculture and rural areas, such as long collection period, small sample size, inaccurate delivery, low data quality and difficulty in auditing, and to achieve rapid acquisition and visual analysis of massive data under the background of emergencies, a rapid survey platform for agricultural and rural information was designed and developed, which integrated accurate questionnaire delivery, rapid data collection and automatic analysis of results, so as to provide a convenient tool for agricultural management departments at all levels to make efficient decisions. 【Method】(1) Overall design: The platform was designed based on the 5-layer architecture technology and the concept of “Mid-Plane”, and the new media, GIS and social network analysis (SNA) were used to build a questionnaire accurate delivery model, multi-level fission model, rapid review, and automatic analysis strategies. In order to deeply mine and present the value of platform data in multiple dimensions, this research used methods such as point centrality, betweenness centrality and spatial clustering to analyze the fission relationship, diffusion capacity, and community characteristics of the questionnaire dissemination network. (2) System realization: two subsystems were developed by adopting the front-end and back-end separation mode, namely, the rapid investigation collection system for survey users, and the rapid investigation management and analysis system for the information investigators. (3) Application: VMware vSphere integrated container and cluster server were used to deploy system and Nginx load balancing to improve system response speed. 【Result】After six months of continuous operation, the system had strong universality. It has provided 12 large-scale agricultural and rural information survey services in 8 fields and collected a total of 76 953 questionnaires; In the agricultural and rural economic information survey cases 12 243 questionnaires have been collected within 5 hours, with a fission ratio of 88.23%, of which 20.24% formed diffusion and fission. The community effect was obvious, with high degree of fission, fast speed and wide range. The platform had strong comprehensive functions, covering the functions of questionnaire design, placement control, fission sharing, intelligent judgment of papers, reward distribution, statistical analysis, user classification, etc., which could provide one-stop service for rapid investigation of agricultural and rural information.【Conclusion】The rapid investigation and analysis platform of agricultural and rural information based on fission mode had the characteristics of fast data collection, true information acquisition, more sample collection, and strong functionality. It realized the function of obtaining basic information urgently and visualizing investigation results quickly under the background of emergencies, and formed a poll mode based on huge data and different from official investigation. It could provide strong technical support for efficient decision-making of agricultural management departments, and had reference significance for the information investigation of other industries.
agricultural and rural information; quick investigation; fission mode; social network analysis; precise placement model; system design
10.3864/j.issn.0578-1752.2022.21.006
2022-01-03;
2022-04-01
国家现代农业产业技术体系(CARS-44-KXJ24)、中央级院所基本科研业务费(JBYW-AII-2021-11)、中国农业科学院创新工程项目(CAAS-ASTIP-2016-AII)
张杰,E-mail:zhangjie10@caas.cn。通信作者刘升平,E-mail:liushengping@caas.cn。通信作者周清波,E-mail:zhouqingbo@caas.cn
(责任编辑 杨鑫浩)