基于无线图像传感器网络的农田远程监测系统

殷建军 潘春华 肖克辉 叶耀文 刘小平 肖德琴

(华南农业大学数学与信息学院，广州510642)

基于无线图像传感器网络的农田远程监测系统

殷建军 潘春华 肖克辉 叶耀文 刘小平 肖德琴

(华南农业大学数学与信息学院，广州510642)

为了实时获取农田图像和视频信息，提出了基于无线图像传感器网络的农田远程监测系统。针对当前图像传感器节点存在的不足，基于CMOS图像传感器和S3C6410嵌入式处理器设计了低成本、高分辨率的无线图像传感器节点，并研究了基于驱动层和应用层协作的分辨率实时调整算法，使得节点具备10种不同的分辨率，最高分辨率可达500万像素，而且分辨率可根据用户需求实时调整，以满足用户对不同图像精度的需求。采用WiFi技术构建无线图像传感器网络，并通过4G网络远程传输图像和视频到服务器。在服务器端开发了基于Web的可视化农田信息管理软件，实现对采集的数据进行有效存储、管理和应用，并为用户提供网络服务。部署了该系统并进行了长时间的运行测试试验，试验结果表明:系统可稳定地运行，能够根据远程指令采集并传输不同分辨率的图像，采集并传输1幅126 KB左右的图像平均耗时为5.36 s，网络平均丢包率为1.67%，客户端开启视频监控平均时延为3.48 s，视频播放流畅。

无线图像传感器网络;分辨率调整算法;可视化管理软件;远程监测系统

引言

农田的图像和视频信息具有直观、便捷、实时和信息量大的优点［1－2］。农田静态图像可被用来观测农作物的长势和分析农作物各种深度状态信息［3－5］，农田视频监控可用于在线统计农田害虫数量［6－7］，也可用于农田安全生产监控［8］。无线图像传感器网络(Wireless image sensor network，WISN)由一组微型图像传感器节点以自组网的形式构成［9－10］，能够采集被监测区域内的图像和视频信息，并无线传输到控制中心。

近年来，国内外学者研究了WISN在农业监测方面的应用。PAEK等［11］开发和部署了2个基于图像的环境监测系统，一个用于监测生物学家统计蜥蜴和蟾蜍数量的陷阱，另一个监测系统用来监测鸟巢。THULASIPRIYA等［12］开发了一个基于无线图像传感器网络的害虫陷阱监测系统，用于采集陷阱图像并进行图像分析，以统计果蝇数量。LLORET等［13］提出了一个带有图像处理系统的WISN用于葡萄状态的监测。姚仲敏等［14］设计了一个基于移动无线传感器网络的农田植株图像监测系统，利用无人机搭载协调器收集节点采集的图像数据。杨信廷等［15］设计了一种基于无线多媒体传感器网络的作物环境与长势远程监测系统。

上述WISN监测系统在应用中存在以下不足:①图像采集模块大都是购买市面上的成品摄像头，价格较高。②图像采集模块的分辨率低，且固定不可调，无法满足用户对不同图像精度的需要。③构建的采集网络大都基于ZigBee协议，传输速率低、传输延迟大。④在服务器端没有集成可视化信息管理软件，不能实现更完善的节点管理、数据分析和应用服务。

本文基于CMOS图像传感器自行研制低成本、高分辨率的图像传感器节点，并以此构建基于WiFi的WISN用于农田的远程监测，并在服务器端开发可视化信息管理软件，对节点和采集的数据进行管理，并为用户提供数据查询、统计、分析等网络服务功能。

1 材料与方法

1.1 监测系统结构

农田远程监测系统体系结构如图1所示。系统在逻辑上可分为3部分:①由部署在监测区域内的采集节点所构成的采集子系统，负责采集图像和视频数据。②由汇聚节点(Sink node)、网关节点(Gateway node)和4G网络组成的传输子系统，负责将数据传送到服务器。③由服务器和备份服务器及运行其上的可视化信息管理软件组成应用子系统，负责接收、存储、管理和分析数据，并为用户提供可视化网络服务功能。

图1 监测系统体系结构Fig．1 Architecture ofmonitoring system

部署在农田的图像传感器节点周期性地采集农作物和农田环境图像或视频信息，并利用WiFi技术无线发送到汇聚节点，再由汇聚节点转发到网关节点;网关节点将接收的数据从802.11局域网的数据帧格式转换为4G的TDD-LTE数据帧格式，然后通过4G模块发送到服务器;最后，服务器对数据进行存储、处理和分析。用户可以利用智能手机或计算机通过Internet与监测系统进行交互，可以对数据进行查询、统计和分析，也可以根据应用需要修改监测参数等。

1.2 系统硬件设计

1.2.1 图像传感器节点结构

图像传感器节点由图像采集模块、处理器模块、无线通信模块和供电模块组成，如图 2a所示。图2b为节点的实物图。

图2 节点硬件结构与实物Fig．2 Hardware structure and node picture

1.2.2 图像采集模块

一般来说图像采集模块可通过两种方式得到:购买市面上的成品摄像头;购买图像传感器芯片，再定制一个小电路底板，并加装合适的镜头构成一个图像采集模块。两种方式的优劣比较如表1所示。基于成本和功能的考虑，本文选择了第2种方式，即自行开发图像采集模块，这样保证了图像传感器芯片的可选择性，更重要的是通过开发驱动可实现图像的高分辨率及分辨率的可调性。

表1 图像采集模块方案比较Tab．1 Comparison between two image acquisition module solutions

CMOS和CCD是目前图像采集中使用最多的两种图像传感器［16］。与CCD相比，CMOS图像传感器具有体积小、成本低、功耗小、易控制等特点［17］，且随着技术的进步，其成像质量已经接近甚至超过CCD［18］，因此，选用CMOS图像传感器芯片来设计图像采集模块。OV5642是美国 OmniVision公司2010年推出的新一代CMOS彩色图像传感器芯片，支持多种分辨率，最高分辨率可达500万像素，支持5种图像输出格式，具有自动曝光等多种图像控制功能，核心电压1.5 V，模拟电压1.8 V/2.8 V，工作时电流140mA，待机时电流20μA［19］。OV5642与处理器模块 S3C6410通过 20针的 CIF(Camera interface)接口相连，如图3所示。

图3 S3C6410与OV5642的连接Fig．3 Connection between S3C6410 and OV5642

1.2.3 处理器模块

由于节点需要采集、压缩和传输图像/视频数据，执行多任务调度，因此要求处理器有较高的性能。为此，选择以S3C6410核心板+自行设计的外围电路构成处理器模块。S3C6410是SAMSUNG公司基于ARM11内核构建的低功耗、高性能多媒体处理器［20］，主频高达 667 MHz，并带有 256 MB SDRAM和1 GB NANDFLASH，工作电流为200mA。S3C6410集成了一个多格式编解码器(Multi-format video coder，MFC)，支持 H.264/MPEG4编码和译码，以及VCI的解码，极大地提高了多媒体的处理效率。

1.2.4 汇聚节点和网关节点设计

汇聚节点和网关节点是监测系统的骨干节点，是在采集节点的基础上，通过软硬件升级得到。硬件上主要增加存储容量和蓄电池容量;汇聚节点增加一块WiFi网卡，用于和网关通信;网关节点增加一块4G模块，用于和服务器通信。软件上增加数据的转发模块，以实现数据格式的转换和数据的快速转发。

1.3 系统软件设计

考虑到节点既要执行图像处理任务，又要进行系统控制、以及负责接口与网络的管理，因此选择功能强大的嵌入式Linux作为操作系统，并在此基础上开发和移植相关的驱动、中间件，应用层采用模块化设计，包含系统控制模块、图像采集与压缩模块、网络通信模块和数据存储模块。

1.3.1 节点工作流程

节点上电复位后，进行一系列初始化，接着设置休眠时间，并打开定时器，然后进入休眠状态，等待下一个工作周期的到来。休眠时间到，节点被唤醒，首先连接Sink节点，加入WiFi网络，然后启动图像传感器开始采集、压缩和传输图像，完成采集任务后，节点再次进入休眠状态，等待下一个工作周期的到来，节点工作流程如图4所示。

图4 节点工作流程Fig．4 Workflow of node

1.3.2 分辨率实时调整算法

为满足用户对不同图像精度的需求，设计了基于驱动层和应用层协作的分辨率实时调整算法。在驱动层设计了 10种不同的分辨率，最高可达2 592像素×1 944像素，如表2所示。为实现分辨率的快速调整，为每一种分辨率设计一个对应的寄存器配置表。寄存器配置表是一个N×3的二维数组，数组的行数N由待配置的寄存器数量决定;在每一行的3列数据中，前2列共同组成了待配置寄存器的16 bits地址，最后1列是待写入的配置数据。利用I2C协议将寄存器配置表中的配置数据写入相关寄存器即可实现对应分辨率［20］。

表2 OV5642多级分辨率及寄存器配置表Tab．2 Multilevel resolution and correspondingregister configuration table of OV5642

驱动层多分辨率的设计为应用层根据用户指令选择不同分辨率奠定了基础。当用户发送修改分辨率的指令时，节点的应用层接收指令，并解析指令，然后提取分辨率调整参数(分辨率索引)，并将其传递到驱动层，最后由驱动层完成分辨率调整，分辨率调整流程如图5所示。

图5 分辨率调整流程图Fig．5 Flow chart of resolution adjustment

1.3.3 图像采集与传输

V4L2(Video for linux two)是Linux内核中访问音、视频设备的驱动框架［21］，为应用层提供了一系列的API接口，通过调用这些接口可实现图像采集。采集的静态图像压缩成JPEG格式图片保存在SD卡中，同时启动发送程序传输到服务器端;采集的视频进行硬件压缩并传输到服务器。

1.3.4 服务器应用软件

服务器是WISN和监测系统的应用核心。为有效地接收、存储、管理和分析节点采集的数据，并为用户提供网络服务，设计了基于B/S模式的可视化农情信息综合管理平台(Agricultural information comprehensive management platform，AICMP)。AICMP由7个功能模块组成，如图6所示，既能管理笔者前期开发的稻田水分传感器网络［22－24］，也能管理本文设计的无线图像传感器网络。

AICMP提供可视化操作功能，图7显示了用户登录服务器主页查看WISN网络拓扑结构及查看节点采集图像的情况，图中列出了网关节点、汇聚节点和采集节点的位置、距离，并标出了节点的编号。红色矩形代表网关，蓝色三角形代表汇聚节点，绿色圆圈代表采集节点。当单击图中节点时，会显示节点采集的最新图像及采集时间。

图6 AICMP的功能模块结构Fig．6 Functional schematic diagram of AICMP

图7 节点采集的最新图像Fig．7 Display of image captured by node

2 结果与讨论

2.1 节点部署与组网

为验证监测系统的稳定性，于2016年6月5日开始在广东省农业技术推广总站(113.414 751°E、23.186 813°N)进行节点部署与组网，并开展60 d的综合测试实验。实验部署的拓扑结构如图8所示。

图8 实验节点部署Fig．8 Deployment of nodes in experiment

2.2 多分辨率采集测试

多分辨率测试是为了验证节点能否按照系统设计的功能采集不同分辨率的图像。测试方法为:从服务器发送指令，控制节点采集10种不同分辨率的图像各100幅，并上传到服务器，图像压缩质量因子设置为80%，表3列出了10种分辨率图像对应的平均大小，从中可以看出，随着分辨率的提高，采集图像的原始数据越来越大，压缩后的图像文件也越来越大，JPEG的平均压缩比约为8.6∶1。

表3 不同分辨率图像的平均大小Tab．3 Average size of imagesw ith different resolutions

为了体现不同分辨率图像清晰度的差异，选取5种分辨率图像进行对比分析，分辨率从左至右分别是640像素×480像素、1 600像素×1 200像素、1 280像素×1 024像素、2 048像素×1 536像素和2 592像素×1 944像素，如图9所示。从直观上看，图9a中同一目标的不同分辨率图像没有太大差异，肉眼无法直接区分它们的清晰度。为此，对图像进行放大以展现其细节的差异。为了便于比较和区分，采集图像时放入水瓶盖，并对采集后的图像进行等比例放大，然后截取含水瓶盖的部分进行对比分析，如图9b所示，从中可以清晰地看到，随着图像分辨率的提高，图像中水瓶盖图案越来越清晰，这表明分辨率高的图像具有更高的清晰度，也证明了本文设计的多分辨率方案是有效的。

图9 节点采集的不同分辨率图像对比Fig．9 Comparison between images captured by node with different resolutions

2.3 系统丢包率测试

表4列出了监测系统的14个节点(包括汇聚节点)采集并传输不同分辨率图像时的丢包率统计情况，数据是统计100次的结果。

表4 不同分辨率图像的传输丢包率Tab．4 Packet loss ratio of imagesw ith different resolutions %

丢包率为

式中 Nsent——节点发送的数据包个数

测试时，节点将发送1幅图像产生的数据包个数Nsent记录下来，待发送完图像后，将Nsent发送到服务器;服务器接收图像时，记录接收到的数据包个数Nreceived，然后根据式(1)计算丢包率。从表4可以看出，所有节点平均丢包率为1.67%，表明网络传输稳定可靠，远程监测系统能够满足实际应用需求。

2.4 系统耗时测试

耗时测试的目的是检验网络中的节点采集和传输1幅图像到服务器所消耗的时间，它反映了监测系统的实时性。表5展示了14个采集节点执行100次采集任务的平均耗时情况，所采集的图像分辨率为640像素×480像素。从表5可看出，14个采集节点的平均耗时为5.36 s，也就是说，在发出采集指令5.36 s后，服务器可以收到节点上传的图像，表明系统具有很好的实时性，能够满足农田环境和农作物实时监测的需要。同时发现，4个汇聚节点平均耗时约为4.92 s，小于其他节点的5.54 s，因为它们采集的图像可以直接上传到网关，少了一次WiFi传输和转发。

表5 节点的时延Tab．5 Delay of node

2.5 视频监控测试

图10展示了客户端通过HTTP协议登录服务器开启4个节点视频监控的情况。视频采集的分辨率为640像素×480像素，帧率为25 f/s。H.264码流的压缩比约为106∶1，4个节点视频监控开启后，网络的视频码率平均为3.32 Mb/s。从发出开启视频指令，到视频开始在客户端网页播放，平均时延约为3.48 s。从测试情况来看，监控视频画面流畅，无卡顿情况，能够满足农田视频监控的需要。

图10 节点视频监控Fig．10 Videomonitoring of node

3 结论

(1)设计了一种低成本、高分辨率的无线图像传感器节点和基于应用层与驱动层协作、多线程并发的分辨率实时调整算法，使节点具有10种不同的分辨率，最高可达500万像素，且分辨率可根据用户需求实现远程、实时调整。

(2)基于所设计的节点，提出了基于WiFi+4G的农田实时监测系统和基于Web的可视化农田信息管理软件，实现了农田图像和视频信息的自动采集、远程传输、有效存储和高效网络应用。

(3)对监测系统进行了综合测试试验，试验结果表明系统能稳定运行，节点能够自动采集、压缩并传输10种不同分辨率的图像，采集并传输1幅大小为126 KB左右的图像消耗的时间约为5.36 s，网络平均丢包率为1.67%;视频监控播放流畅，无卡顿情况，播放时延约为3.48 s。

1 熊迎军，沈明霞，孙玉文，等．农田图像采集与无线传输系统［J］．农业机械学报，2011，42(3):184－187．XIONG Yingjun，SHENMingxia，SUN Yuwen，etal．Design on system of acquisition and wireless transmission for farmland image［J］．Transactions of the Chinese Society for Agricultural Machinery，2011，42(3):184－187．(in Chinese)

2 ZHAO LQ，YIN SY，LIU L B，et al．A crop monitoring system based on wireless sensor network［J］．Procedia Environmental Sciences，2011，11(Part B):558－565．

3 SRITARAPIPAT T，RAKWATIN P，KASETKASEM T．Automatic rice crop heightmeasurement using a field server and digital image processing［J］．Sensors，2014，14(1):900－926．

4 MORA M，AVILA F，CARRASCO-BEMAVODES M，et al．Automated computation of leaf area index from fruit trees using improved image processing algorithms applied to canopy cover digital photograpies［J］．Computers＆Electronics in Agriculture，2016，123:195－202．

5 贾洪雷，王刚，郭明卓，等．基于机器视觉的玉米植株数量获取方法与试验［J］．农业工程学报，2015，31(3):215－220．JIA Honglei，WANG Gang，GUOMingzhuo，et al．Methods and experiments of obtaining corn population based onmachine vision［J］．Transactions of the CSAE，2015，31(3):215－220．(in Chinese)

6 BECHAR I，MOISAN S，THONNAT M，et al．On-line video recognition and counting of harmful insects［C］∥2010 20th International Conference on Pattern Recognition(ICPR)，2010:4068－4071．

7 肖德琴，傅俊谦，邓晓晖，等．基于物联网的桔小实蝇诱捕监测装备设计及试验［J］．农业工程学报，2015，31(7):166－172．XIAO Deqin，FU Junqian，DENG Xiaohui，et al．Design and test of remotemonitoring equipment for bactrocera dorsalis trapping based on internet of things［J］．Transactions of the CSAE，2015，31(7):166－172．(in Chinese)

8 GARCIA-SANCHEZ A，GARCIA-SANCHEZ F，GARCIA-HARO J．Wireless sensor network deployment for integrating video-surveillance and data-monitoring in precision agriculture over distributed crops［J］．Computers and Electronics in Agriculture，2011，75(2):288－303．

9 PHAM C，LECUIRE V．Building low-costwireless image sensor networks:from single camera tomulti-camera system［C］∥ACM International Conference on Distributed Smart Cameras，2015:158－163．

10 GONZALEZ M，SCHANDY J，WAINSTEIN N，et al．Wireless image-sensor network application for population monitoring of lepidopterous insects pest(moths)in fruit crops［C］∥2014 IEEE International Instrumentation and Measurement Technology Conference，2014:1394－1398．

11 PAEK J，HICLS J，COE S，et al．Image-based environmentalmonitoring sensor application using an embedded wireless sensor network［J］．Sensors，2014，14(9):15981－16002．

12 THULASIPRIYA C，PRAVEEN K，SRIVIDYA A．Monitoring of pest insect traps using image sensors＆dspic［J］．International Journal of Engineering Trends and Technology，2013，4:4088－4093．

13 LLORET，BOSCH I，SENDRA S，et al．A wireless sensor network for vineyard monitoring that uses image processing［J］．Sensors，2011，11(12):6165－6196．

14 姚仲敏，荆宝刚，孙彩苹．基于移动无线传感器网络的植株图像监测系统设计与测试［J］．农业工程学报，2016，32(11):189－196．YAO Zhongmin，JING Baogang，SUN Caiping．Design and test of plant imagemonitoring system based onmobile wireless sensor network［J］．Transactions of the CSAE，2016，32(11):189－196．(in Chinese)

15 杨信廷，吴滔，孙传恒，等．基于WMSN的作物环境与长势远程监测系统［J/OL］．农业机械学报，2013，44(1):167－173．http:∥www．j-csam．org/jcsam/ch/reader/view_abstract．aspx?flag=1＆file_no=20130132＆journal_id=jcsam．DOI: 10．6041/j．issn．1000-1298．2013．01．032．YANG Xinting，WU Tao，SUN Chuanheng，et al．Remotemonitoring system of crop environment and growing based on WMSN［J/OL］．Transactions of the Chinese Society for Agricultural Machinery，2013，44(1):167－173．(in Chinese)

16 FOSSUM E R，HONDONGWA D B．A review of the pinned photodiode for CCD and CMOS image sensors［J］．IEEE Journal of the Electron Devices Society，2014，2(3):33－43．

17 晋孝峰，岳素格，刘丽艳，等．CMOS图像传感器的硬复位电路研究［J］．电子学报，2014，42(1):182－186．JIN Xiaofeng，YUE Suge，LIU Liyan，et al．Research on CMOS image sensor hard reset circuit［J］．Acta Electronica Sinica，2014，42(1):182－186．(in Chinese)

18 刘杰，朱天成．基于CMOS工艺的无线图像传感器网络综述［J］．微计算机信息，2012(2):133－135．LIU Jie，ZHU Tiancheng．Wireless image sensor network based on CMOS technology［J］．Microcomputer Information，2012(2): 133－135．(in Chinese)

19 OMNIVISION INC．OV5642 datasheet［EB/OL］．(2009-08-18)［2016-11-01］．http:∥www．docin．com/p-186847439．htm l．

20 杨阔，何东健．基于S3C6410的田间视频监控系统的实现［J］．计算机工程与设计，2013，34(6):1978－1982．YANG Kuo，HE Dongjian．Implementation of field video monitoring system based on S3C6410［J］．Computer Engineering and Design，2013，34(6):1978－1982．(in Chinese)

21 殷建军，肖德琴，黄顺彬．CMOS图像传感器多分辨率驱动算法设计［J］．计算机工程与设计，2014，35(9):3045－3049．YIN Jianjun，XIAO Deqin，HUANG Shunbin．Design of CMOS image sensor multi-resolution driver algorithm［J］．Computer Engineering and Design，2014，35(9):3045－3049．(in Chinese)

22 肖德琴．稻田水分传感器网络构建［D］．广州:华南农业大学，2009．XIAO Deqin．Study on paddy field moisture sensor network［D］．Guangzhou:South China Agricultural University，2009．(in Chinese)

23 肖德琴，古志春，冯健昭，等．稻田水分监测无线传感器网络优化设计与试验［J］．农业工程学报，2011，27(2):174－179．XIAO Deqin，GU Zhichun，FENG Jianzhao，et al．Design and experiment of wireless sensor networks for paddy field moisture monitoring［J］．Transactions of the CSAE，2011，27(2):174－179．(in Chinese)

24 XIAO D，FENG J，WANG N，et al．Integrated soil moisture and water depth sensor for paddy fields［J］．Computers and Electronics in Agriculture，2013，98:214－221．

Remote Monitoring System for Farm land Based on Wireless Image Sensor Network

YIN Jianjun PAN Chunhua XIAO Kehui YE Yaowen LIU Xiaoping XIAO Deqin
(College of Mathematics and Informatics，South China Agricultural University，Guangzhou 510642，China)

A remote monitoring system for farmland based on wireless image sensor network was put forward in order to obtain the farmland image and video information in real time．Aiming at the shortcomings of the current image sensor nodes，a low-costhigh-resolution wireless image sensor nodewas designed based on CMOS image sensor chip and S3C6410 embedded processor．To ensure the stability and reliability of the node，the powerful embedded Linux operating system was employed as the software development platform．And based on this platform，amodular designingmethod was adopted to program the software system of the node in C/C++language．Especially，a resolution adjustment algorithm based on driver and application layer cooperation was studied，which made the node had 10 different resolutions and the highest resolution was up to 5 mega pixels．More importantly，the resolution can be adjusted in real time according to the requirements of users when it was working，which made the node can meet the needs of users for different image accuracies．A wireless image sensor network was constructed by utilizing WiFi technology as well as the images and videos captured by the nodes were remotely transmitted to the server through the 4G network．In order to prolong the life cycle of the node，a solar power supply system was designed．A visual farmland information management software Webbased was developed in order to effectively store，manage and use the data captured by the nodes，and a convenientmethod was provided for a user to remotely access the acquisition networks and the data stored in the server．The system was deployed and tested for a long time．The test results showed that the system could work stably，as well as capture and transmit images with different resolutions according to the remote instruction．Moreover，the average time to capture and transmit one image with size of about 126 KB was about 5.36 s，and the average packet loss ratio of the network was about 1.67%．In thetests，the average delay for the client to open videomonitoring was about 3.48 s，and the video playing was smooth．Finally，the power supply system based on the solar energy could provide a stable power supply for the nodes in the long work．The tests validated that the remotemonitoring system designed in thiswork can automatically capture images and videos of farmland in real time，transmit them to the server remotely，and satisfy the requirement of users for remotemonitoring farm land．

wireless image sensor network;resolution adjustment algorithm;visual management software;remotemonitoring system

——服务器接收到的数据包个数

S24;TP274

A

1000-1298(2017)07-0286-08

2016-10-26

2016-12-05

国家星火计划项目(2014GA780064、2015GA780002)和广东省科技计划项目(2015A020224033、2015A020209129)

殷建军(1981—)，男，讲师，博士，主要从事无线传感器网络在农业上的应用研究，E-mail:jianjunyin@scau．edu．cn

肖德琴(1970—)，女，教授，博士生导师，主要从事无线传感器网络在农业上的应用研究，E-mail:deqinx@scau．edu．cn

10．6041/j．issn．1000-1298．2017．07．036