基于3G和ARM嵌入式系统的农作物图像信息定时采集系统

2017-12-13梁万杰曹宏鑫

江苏农业科学 2017年21期

梁万杰　曹宏鑫

摘要：为获得农作物生长过程的图像信息、满足农作物生长过程监测和病虫草害监测的应用需求，同时减少图像数据远程传输流量费用，设计开发了一个基于ARM嵌入式平台、OV9650图像传感器及3G无线模块的农作物图像信息定时采集和管理系统。本研究在较成熟的硬件集成系统基础上，实现功能完善的农作物图像采集节点软件系统；同时设计实现了基于中间件和WEB技术的服务端应用管理系统。应用结果表明，系统运行稳定，能按设定的时间连续获取农作物生长图像信息，分辨率高达1 280×1 024，获得的图像质量可满足应用需求；按1帧d图像计算，1个月的流量仅78 MB。

关键词：农作物图像；ARM嵌入式系统；3G网络；图像传感器；图像信息定时采集系统

中图分类号： TP3914；S126文献标志码： A

文章编号：1002-1302（2017）21-0259-04

收稿日期：2017-02-08

基金项目：江苏省农业科技自主创新资金探索类项目编号：CX（13）5060]；江苏省农业科技自主创新资金编号：CX（15）1002]。

作者简介：梁万杰（1980—），男，河南商丘人，博士，副研究员，研究方向农业物联网关键技术及其应用。Tel：（025）84390193；E-mail：wanjieliang@163com。

通信作者：曹宏鑫，研究员。Tel：（025）84391210；E-mail：caohongxin@hotmailcom。

随着农业信息化技术的飞速发展，农作物图像及其处理和模式识别技术逐步在农作物病虫害诊断、农作物营养元素缺失识别诊断、农作物草害识别、监测农作物生长等农业领域得到了广泛应用研究，并取得了较好的应用成果1-4]。但农作物图像信息的传统获取方法大多是采取人工定点定时用相机拍照的方式，这种方法一般效率低、范围小、实时性差5]。随着现代农业信息技术的不断发展，越来越多的采集系统应用到农作物图像信息采集，该类系统按信息传输方式可分为有线和无线2种6]。有线采集系统多应用于农作物视频信息采集，一般情况下，由于视频监控图像拍摄的环境较为复杂以及图像在传输、解码、存储等过程中时常混入一定程度的随机噪声，导致所获取的图像清晰度不高、工程量大、布线困难且费时费力等问题7-9]。无线采集系统作为一种新的数据信息获取技术，具有方便灵活、自组网、体积小等特点10-12]，但存在流量费用高的问题13]。随着传感技术、无线网络技术的不断发展以及ARM运算能力的不断增强，基于无线网络和ARM的农作物图像采集系统研究不断增多。史国滨等基于嵌入式系统和GPRS网络设计和实现了一个农作物图像及温湿度无线远程监测系统14]。肖德琴等提出一种基于ARM、CMOS图像传感器和嵌入式Linux操作系统的高分辨农作物图像采集节点的设计方案，并取得了较好的应用效果15]。姚仲敏等采用支持ZigBee协议的JN5139模块和串口摄像头PTC08模块相结合，不外加协处理器的情况下实现了基于ZigBee的温室图像采集和无线传输系统16]。殷建军等基于嵌入式处理器芯片S3C6410、CMOS图像传感器OV5640、自行设计的机械式滤光片转换装置以及3G通信模块，实现了一个低成本、多光谱农作物图像远程采集系统，并取得了较稳定的验证结果17]。本研究针对农作物生长监测、病虫害草害监测等应用需求，及降低数据流量费用的目标，提出一个基于ARM嵌入式平台、OV9650图像传感器及3G无线模块的农作物图像信息定时采集和管理系统，并对图像采集节点系统集成、采集节点软件系统、图像采集管理系统进行了详细的设计。在硬件集成系统的基础上，综合应用V4L2（Linux视频设备驱动框架）、套接字编程技术、多线程编程、C语言等技术、数据库技术、Hadoop开发技术、J2EE等技术，开发了一套农作物图像信息采集管理系统并取得了较好的应用效果。

1系统整体架构

系统主要由CMOS图像传感器、ARM嵌入式平台、网络设备、数据中心、管理系统和客户端等组成，其结构如图1所示。CMOS图像传感器是一种典型的固体成像传感器，是实现图像采集的重要部件，其通过CMOS接口与嵌入式平台相连，并受嵌入式平台控制获取农作物图像。嵌入式平台的作用是定时采集农作物图像，然后对图像进行融合、质量判别和压缩，并在收到农作物图像信息采集管理系统的图像数据获取指令后，把处理好的图像数据通过3G网络传送到数据中心。农作物图像信息采集管理系统负责图像采集节点管理、图像数据获取指令发布并接收数据、进行图像处理，并对用户提供图像检索、农作物长势分析、病虫害分析等服务。用户可通过客户端（台式机、手机、PDA等）访问农作物图像信息采集管理系统，完成对图像采集节点的管理、图像检索、农作物长势分析、病虫害分析、草害分析等应用。

2硬件系统及接口

本研究选用飞凌OK6410开发板作为图像采集平台，该平台的内核是三星集团的S3C6410，处理器主频533 MHz，拥有256 MB内存和1GB NAND FLASH，同时具备丰富的外设资源，能满足图像采集和压缩的要求。CMOS图像传感器芯片采用豪威科技（上海）有限公司的OV9650，其最大分辨率为130万像素（1 280×1 024）。3G通信模块选择中兴FIT-3G-AD3812，该模块接口支持所有mini PCI Express（全高型）接口；支持WCDMA、GSMGPRSEDGE網络，下载速度最高可达72 Mbits，上传速度可达2 Mbits，支持上网，收发短信功能，支持AT命令。

由图2可知，整个图像采集节点主要由系统控制模块和供电模块组成。其中，控制模块以S3C6410核心板、NAND FLAH、SDRAM以及外围电路构成，同时以COMS接口和USB接口分别与图像采集模块和3G通信模块连接。控制模块初始化并启动图像采集模块进行图像采集，然后通过mmap对象映射的方式把图像读取到内存。控制模块对图像进行融合、图像质量判定、图像压缩后，通过3G通信模块把数据发送到服务器端并在SD卡对图像进行备份。控制模块还可以接收服务端的指令，实现对图像传感器参数的设定、重启关闭图像传感器等功能。endprint

3软件系统设计

软件系统的设计要充分考虑硬件系统的特点和拓扑结构，不仅要满足系统的功能要求，还要满足用户对系统操作的方便性和友好性。本研究提出的软件系统主要分为图像采集节点软件系统和基于WEB的图像信息采集管理服务系统2个部分。

31图像采集节点软件系统

图像采集节点软件系统架构如图3所示。图像采集节点加电启动后，自动启动图像采集服务。服务启动后首先创建1个图像采集线程，同时创建套接字服务等待接收服务端指令。图像采集线程首先打开图像传感器，并对传感器进行初始化启动读写采集模式，通过mmap对象映射的方式把图像读取到内存，获得1帧农作物图像，间隔一段时间再获取1帧图像，直至获取多帧不同时间段的农作物图像后，对多帧图像进行数据融合；然后对融合后的图像进行质量判定，如果图像质量不达标则重新获取图像并进行融合处理，直到达到设定的图像标准；质量达标后对图像进行压缩处理，收到图像获取指令后，把图像传输到图像采集服务端。套接字服务接收图像采集服务端套件字连接，并为每次连接建立独立的处理线程；处理线程根据服务端指令分别完成图像采集、图像传感器重启、图像传感器参数设置、关闭图像传感器等操作，并把数据或操作结果返回服务端。

32图像采集服务端软件系统

服务端系统有实现与图像采集节点直接通信的中间件和基于BS架构的WEB管理系统两部分组成。其中，中间件的主要功能包括建立与图像采集节点间的通信、定时从采集节点获取图像、转发WEB管理系统的节点管理操作指令。农作物图像定时采集系统管理系统架构如图4所示。系统架构采用MVC架构，做到表示层和业务逻辑层分离，使美工摆脱复杂的业务逻辑关系，而只注重界面设计的美工和易操作性；同时业务逻辑编程人员只须注重业务逻辑关系的实现，从而开发出功能完善、执行效率高、运行稳定的软件系统。系统架构分为数据层、业务逻辑层和应用层3层。其中，数据层主要由关系数据库和Hadoop云存储系统组成。关系数据库主要用来存储用户信息、菜单信息、系统参数、日志及其他结构性数据；云存储系统主要用来存储图片、图片处理中间结构等非结构或半结构信息。业务逻辑层主要实现图像检索、模式识别、图像信息挖掘、图像信息分析等算法以及传感器节点管理、参数设置、图像定时采集等功能。应用层是直接面向用户的接口，主要实现的功能包括用户管理、通用工具、菜单管理、系统参数管理、修改密码、图像信息查询、作物长势分析、病虫害分析、草害分析等功能。系统界面同时实现了计算机版和手机PDA终端版。

4系统实现与应用

系统软件的实现包括图像采集节点、数据采集中间件和管理系统3个部分。其中，图像采集节点软件系统主要基于OV9650驱动、V4L2（Linux视频设备驱动框架）、套接字编程技术、多线程编程、C语言等技术实现，数据采集中间件采用C语言、数据库技术、Hadoop开发技术、套接字编程技术、多线程编程技术等技术实现，管理系统实现方面采用Tomcat服务器作为WEB服务器，关系数据库采用Mysql数据库，Hadoop与存储操作方面采用基于Java的开发技术，同时采用J2EE系统解决方案来实现系统开发。Tomcat和Mysql均为开源的WEB系统解决方案，其功能完善、技术成熟、用户界面友好。J2EE架构是应用较广泛的WEB系统解决方案，采用EJB组件实现业务逻辑层开发，可以提高代码的重复利用率，从而提高系统的开发效率，同时采用Struts架构实现表示层与业务逻辑层的分离，使表示层只须注意界面美工和操作功能的实现；表示层主要用JSP、Javascript等技术实现。图5为图像信息检索的用户界面。

本研究在江苏省农业科学院溧水植物科学基地进行部署应用，经过一段时间的运行和调试，系统运行稳定，并按设定的时间定时采集农作物图像信息。以最高分辨率（1 280×1 024）采集农作物图像，以无压缩、24位图像深度的bmp图像CM（25]格式，图像的大小是375 MB帧，压缩后大小可减小到26 MB帧。按1 d获取1帧图像计算，1个月的数据流量是 78 MB。在对图像质量要求不高的应用流域，可以采用GIF、PNG、JPG等图像格式，将更大幅度地降低数据流量。从图5可以清晰地看到玉米植株的莖、叶、雄穗等，此外还可以看到雄穗的很多细节。应用结果表明，采集的图像可以满足作物长势分析、病虫害草害分析等应用的需求，同时可以较大幅度地降低数据流量，减少系统运行成本。

5结论

本研究为实现农作物图像信息的定时采集、图像信息管理及应用的需求提出了一套系统软硬件设计和实现方案，采用飞凌OK6410开发板结合OV9650图像传感器实现图像采集节点的设计方案，其软硬件技术较成熟、系统较稳定，且可实现较复杂的应用系统。在图像采集节点软件功能设计方面，实现了图像的融合、质量判定、图像压缩及定时采集等功能。因农作物生长速度缓慢，周期性采集农作物生长图片信息，即能满足作物生长监测、病虫害监测等应用的需要，同时又能减少数据的流量，节约系统运行费用。在服务端软件方面分别提出了数据采集中间件以及管理系统设计和实现方案，中间件的设计可以有效分离硬件和软件系统，实现自动控制功能，同时提高软件系统的兼容性、可移植性和可扩展性。经过实际应用及用户操作体验调查发现，系统用户界面友好，应用方便快捷，系统运行稳定，同时能实现农作物图像信息定时采集，满足作物长势分析、病虫害分析、草害分析等应用需求。但本系统的主要目标是实现农作物图像的定时采集，在图像应用方面的研究较少，下一步须要进一步扩展系统的应用功能，并对农作物图像信息挖掘、模式识别算法进行深入的研究，进一步提高农作物长势监测、病虫害识别、草害识别的精确度、自动化及智能化水平。

参考文献：

1]ZK（#]管泽鑫，姚青，杨保军，等数字图像处理技术在农作物病虫草识别中的应用J] 中国农业科学，2009，42（7）：2349-2358HJ162mm]endprint

2]杨倩，高晓阳，武季玲，等基于颜色和纹理特征的大麦主要病害识别研究J] 中国农业大学学报，2013，18（5）：129-135

3]田有文，陈旭，郑鹏辉基于嵌入式的农作物叶部病害分级系统J] 沈阳农业大学学报，2014，45（6）：756-760

4]吴露露，马旭，齐龙，等改进Hough变换的农作物病斑目标检测方法J] 农业工程学报，2014，30（10）：152-159

5]匡迎春，肖名涛农田信息自动采集仪J] 农机化研究，2010，32（8）：107-109

6]王凤花，张淑娟精细农业田间信息采集关键技术的研究进展J] 农业机械学报，2008，39（5）：112-121，111

7]刁智华，陈立平，吴刚，等设施环境无线监控系统的设计与实现J] 农业工程学报，2008，24（7）：146-150

8]王伟，韩宝如农作物病害图像清晰化处理算法的应用J] 江苏农业科学，2014，42（8）：405-407

9]胡肄农，窦少春，王立方，等蛋鸡规模化养殖场的自动监控系统J] 江苏农业学报，2002，18（3）：176-180HJ165mm]

10]ZK（#]郭文川，程寒杰，李瑞明，等基于无线传感器网络的温室环境信息监测系统J] 农业机械学报，2010（7）：181-185

11]赵璐莹，任振辉，王娟，等基于太阳能供电的田间信息采集系统设计J] 中国农机化学报，2015，36（4）：217-220，231