基于大数据的进口农产品溯源系统设计与实现
2020-05-23解丹丹尤其浩洪武斌张明哲
田 硕,解丹丹,尤其浩,洪武斌,张明哲,史 舟※
(1.浙江大学环境与资源学院,杭州310058;2.浙江省检验检疫科学技术研究院,杭州311208)
0 引言
随着人们生活水平的提高,消费者对食用农产品的质量与安全的关注程度日益高涨[1-2]。中国是一个消费大国,每年的高端肉制品、乳制品、水产品、粮油制品等食用农产品的进口量不断攀升,但质量安全状况却不容乐观[3]。2014年,江苏查获300 t疯牛病疫区进口牛肉,涉案金额数十亿元;2016年上半年,质检总局对进口乳制品、食用植物油、水产品、肉类、酒类等五大类重点产品开展专项检查,全国抽检机构从37个国家或地区进口的上述产品中检出不合格产品275批、2.7万t,占不合格进口食用农产品总重量的93.1%。为了加强进口农产品质量安全管理,保障进口农产品的质量安全,维护消费者的合法权益,对进口农产品进行质量溯源管理十分必要,而建立质量溯源查询系统是一个有效的方法[4]。
发达国家在农产品安全追溯方面起步较早,具有较丰富的经验。欧盟于2001年发布《食品安全白皮书》,通过控制“从农田到餐桌”全过程来确保农产品的安全性与可追溯性[5]。美国家畜开发标识小组(USAIP)通过建立家畜标识与可追溯工作计划,运用射频识别(RFID)、条形码识别等技术,建立了自愿性的农产品溯源系统[6]。日本于2001年针对肉牛产品供应体系,建立从农场到销售点的溯源系统,使消费者可以快速、方便地查询牛肉生产信息[7]。我国在农产品溯源系统方面也开展了一定的研究与应用。2008年赵金燕等利用RFID电子标识技术,整合养殖场、屠宰场、肉类加工场与物流过程信息,建立了猪肉安全可溯源系统[8]。2011年张鉴滔等利用二维码技术,建立了马铃薯质量安全管理与溯源系统[9]。传统的农产品溯源系统,由于受制于网络通信能力、数据共享能力、数据计算水平、先进终端识别技术尚未诞生等因素,溯源甄别能力较低,普及范围较小[10-11]。大数据和云计算技术在多源数据采集、数据共享、弹性存储扩展和数据处理能力上具有较大的优势[12-13]。目前,大数据与云计算技术在交通、医疗等领域已有部分应用,例如,2017年王庆纲构建了基于大数据的上海虹桥枢纽交通信息服务系统[14];2018年王辉等利用云计算技术,构建了区域医疗大数据用药监测系统[15]。然而,在农产品溯源方面,大数据与云计算技术的应用较少。文章通过分析农产品进口全流程和用户需求,将大数据和云计算技术引入进口农产品溯源查询中,阐述了基于大数据和云计算技术的进口农产品质量溯源系统的设计与实现。
1 系统总体设计
1.1 设计思路
依据进口农产品生产、工序、仓储、物流、销售、检验等行业标准与技术规范,通过整合浙江省出入境检验检疫局、大洋世家企业、海关等资料数据,利用物联网技术从农产品进口各环节动态采集数据,对采集的多源异构数据进行整合,构建基于云平台的基础信息数据云存储库、农产品供应链信息数据库和Google Map动态地理信息数据库,构建PB级农产品溯源查询信息中心,通过使用Html5、CSS3、Echarts.js、ArcGIS API for JavaScript、Vue.js等前端开发技术,使用Node.js作为后端开发技术,实现多终端、跨平台的进口农产品质量溯源系统。
1.2 系统架构
系统采用B/S架构设计[16-17],自底向上分为云平台层、数据库层、应用层和用户层,系统架构如图1所示。云平台层使用阿里云MaxCompute 大数据计算服务平台,提供快速并行计算,并实现秒级溯源查询。数据库层采用分布式文件系统、分布式关系型数据库与非关系型数据库,用于存储系统中所需要的各类结构化、半结构化、非结构化数据。应用层包括分布式数据采集和系统功能模块2个部分,即通过多终端的方式对产地信息数据、企业信息数据、投诉舆情数据等进行实时动态采集,并对不同的用户进行实时信息分发。用户层包含监管部门、企业、消费者3类用户,其中监管部门用户可获取舆论监控信息、举报频次热度追踪信息,企业用户可对进口农产品进行追踪与管理,消费者用户可以查询进口农产品溯源信息并对假冒商品进行投诉举报。
图1进口农产品溯源系统架构图Fig.1 Framework diagram of the imported agricultural products traceability system
1.3 数据库建设
系统在了解进口农产品生产、进境流通的全过程的基础上,采用阿里云MaxCompute大数据计算服务平台,通过分布式采集技术对产地信息数据、企业信息数据、监测信息数据、追溯信息数据、投诉舆情数据、稳定同位素数据、文档图片数据、空间地理数据等数据进行收集,采用分布式文件系统,构建项目核心数据库,并与系统后台进行对接。系统涉及到的专题数据库包括以下6 类。
(1)农产品专题数据库:主要包括溯源信息、原料信息、企业信息、检测信息等。
(2)文档专题数据库:包括出入境检验检疫技术规范及行业标准、多国农产品双边检疫议定书、浙江省海关进口农产品报关单、相关法律法规等。
(3)空间区位专题数据库:包括空间地理数据库、Google Map数据库、投诉舆情空间数据库。
(4)地理环境专题数据库:包括地表覆盖、地形高度、坡度等信息数据库,陆地地表降水、气温、积温、太阳辐射等信息数据库,海域水温、盐度、洋流、水色、赤潮等信息数据库和土壤物理等各类型地理环境数据库。
(5)舆情与社会经济专题数据库:包括疫情、灾情等发生区,历史评估,农产品主产区,名优新特产区,社会经济情况等信息数据库。
(6)用户反馈数据库:包括反馈农产品信息、反馈时间、反馈位置、反馈内容等信息。
1.4 溯源编码
溯源编码的构建是对农产品跟踪与追溯的关键环节[18]。根据进口农产品的产地、种类和流通情况,为进口农产品构建了109位溯源编码。溯源编码由数字和字母组成,包含产地编码、种类编码和流通编码3个部分。其中,产地编码长度为27位,记录了国家(地区)、农场(果园)和地理坐标等信息;种类编码长度为11位,记录了海关编码与果径信息;流通编码长度为71位,记录农产品进口各流程信息,包括包装加工、储藏、出境口岸、运输、进境口岸、检疫、企业销售等信息。图2 为澳大利亚进口车厘子的溯源编码示例。
图2澳大利亚进口车厘子溯源编码示例图Fig.2 Example of traceability coding for imported cherries from Australia
1.5 开发技术
系统基于阿里云MaxCompute大数据计算服务平台,服务器使用阿里云x86 Linux 服务器,后端使用Node.js实现业务应用、数据库连接等功能。前端使用HTML5、CSS3、Echarts.js、ArcGIS API for JavaScript,Ajax 等技术,使用webpack作为项目打包工具,采用Vue.js前端开发框架进行前端开发。其中,后端Node.js采用当前主流的web框架Express,通过路由与中间件实现网络通信[19];前端采用Vue.js框架,其具有渐进式、交互式、易使用、易扩展等特点[20]。
1.6 功能模块设计
进口农产品溯源查询系统主要包含以下3个功能模块:溯源信息查询模块、防伪验证查询模块和投诉举报模块,系统功能模块如图3所示。
图3进口农产品溯源系统功能模块Fig.3 Schematic diagram of the functional modules of the imported agricultural products traceability system
2 系统实现
2.1 溯源信息查询模块
溯源信息查询模块是该系统的主要模块,包括产品信息、企业信息、检疫检测、证书信息、追溯信息5个子模块,移动端溯源信息查询界面如图4 所示。其中,产品信息模块主要包括产品编号、名称、产地、果园编号、果园地址、加工厂地址、保质期等农产品信息,企业信息模块主要包括企业名称、食品生产许可证等企业信息,检疫检测信息模块包含境外取样、监装信息、开箱信息、贴标信息等,证书信息模块包括境外官方证书、进境动植物检疫许可证等信息,追溯信息模块包括生产企业、境外采摘、境外加工、境外检验、装载运输和到岸检验等进口流通过程信息。用户可以通过在不同终端(如手机、Pad)扫描溯源标签上的二维码或通过NFC读取的方式进行查询,系统会针对农产品不同种类信息,智能匹配相关分析模型,获取相应进口农产品的各项溯源信息,并在用户终端上显示。
图4移动端溯源信息查询模块界面Fig.4 Interface of mobile terminal traceability information query module
2.2 防伪查询模块
防伪查询模块可以对相应进口农产品进行防伪验证。用户可以通过刮开防伪溯源标签的图层,获取4位防伪编码,然后扫描溯源标签上的二维码进入溯源信息页面,在防伪查询模块中输入防伪编码来查询产品的真伪。每个防伪编码会自动记录防伪查询次数,如果该防伪编码已被其他人查询过,则产品可能为假冒产品。同时,如果系统显示该防伪码不存在,产品也可能为假冒产品。
2.3 投诉举报模块
普通消费者用户具有举报权限,可以通过投诉举报模块对假冒商品进行投诉举报。同时,系统可获取查询者的地理定位信息,存入动态地理信息数据库,并借助ArcGIS 或Google Map等平台以可视化的方式展示被查询商品的举报频次热度,方便用户直观判别,为消费者和政府管理部门提供假冒商品流动线索。
3 结论
该文通过将大数据和云计算技术与进口农产品溯源查询相结合,构建了集进口农产品产地、原料、工序、仓储、物流、销售等质量安全识别和溯源信息为一体的进口农产品溯源查询系统,实现了进口农产品溯源数据动态采集,以及跨平台、多终端的进口农产品溯源信息查询、防伪验证查询和投诉举报等功能,为监管部门、企业与消费者等用户提供所需的服务,大大提高了进口农产品溯源的准确度、便捷度和普适度。该系统已针对车厘子、三文鱼和猫粮3类进口农产品进行了示范应用。
该系统突破了传统农产品溯源在网络通信、数据共享、数据计算等方面的技术瓶颈,对进口农产品问题的及时发现、及时追查、及时控制,减少进口农产品质量问题,保障进口农产品质量安全,维护消费者和生产企业的权益具有积极的作用。然而,由于大数据系统具有数据价值密度低的特点,该系统在数据质量验证、数据智能分析与决策等方面仍存在不足,这些问题是下一步需要研究与改善的方向。