田间稻飞虱图像远程实时采集系统的研制

陈京，刘德营*，谢堂胜，蔡俊

(1.南京农业大学工学院，江苏 南京 210031；2.江苏省智能化农业装备重点实验室，江苏 南京 210031)

田间稻飞虱图像远程实时采集系统的研制

陈京1,2，刘德营1,2*，谢堂胜1,2，蔡俊1,2

(1.南京农业大学工学院，江苏 南京 210031；2.江苏省智能化农业装备重点实验室，江苏 南京 210031)

研制了一种田间稻飞虱图像远程实时采集系统。该系统由图像采集装置、自动控制系统和远程传输系统组成。利用稻飞虱的趋光性，将其引诱至图像采集装置的白色幕布上，可编程逻辑控制器(PLC)为自动控制系统的核心，发出脉冲控制相机拍摄，同时控制交流伺服电机运行，驱动拍摄装置，实现对幕布的自动扫描拍摄稻飞虱图像。远程传输系统选用4G技术和基于TCP协议的客户端/服务器模式传输方法，将所拍摄昆虫图像自动传输至监测中心处。验证试验结果表明，该系统可直接获得768×576像素的田间稻飞虱图像。通过二维离散傅里叶变换验证，采集系统所采集到的稻飞虱图像与其他昆虫图像存在明显特征差异，说明该系统可满足稻飞虱图像采集要求。

稻飞虱； 图像；远程；实时采集

投稿网址：http://xb.ijournal.cn

机器视觉技术的发展为利用图像处理、模式识别技术对采集到的昆虫图像进行处理分析，识别田间害虫的种类，统计害虫的数量，从而预测虫害的发生提供了可能[1–5]。Larios等[6]提取了石蝇的特征点并用尺度不变特征转换(SIFT)方法描述检测到的昆虫特征，准确率达82%；Mayo等[7]用支持向量机分类器鉴别了英国35种蛾类昆虫，识别率达到85%；张建华等[8]利用径向基支持向量机识别棉花害虫，正确率达88.1%，但这些研究所使用的昆虫均为静态标准样本，难以满足田间害虫测报要求的时效性。笔者设计了田间稻飞虱图像远程实时采集系统，实时采集处于自然状态下的稻飞虱图像，并将采集到的图像自动传输到监测中心，便于直观了解田间虫情发生情况，还可为科研、教学及生产实践提供自然昆虫数字图像，现将结果报道如下。

1 田间稻飞虱图像远程实时采集系统的组成及工作原理

系统拍摄对象以稻飞虱为主。系统由图像采集装置、自动控制系统和远程传输系统组成(图1)。利用稻飞虱的趋光性[9]，采用光源诱集的方式将其引诱至图像采集装置的白色幕布上。自动控制系统的核心为可编程逻辑控制器(PLC)，根据设定好的时间，PLC发出脉冲控制相机连续拍摄，同时控制交流伺服电机运行，驱动拍摄装置，对工作台上指定区域进行扫描拍摄。远程传输系统选用4G技术和基于TCP协议的客户端/服务器模式传输方法，在采集图片的同时，将这些图片自动传输至检测中心。

图1 系统设计框图Fig.1 Diagram of the entire system

2 图像采集装置的设计

图像采集装置如图2所示。采集工作台和拍摄系统都安装在底座上，底座为田字形的框架。采集装置共有X向、Y向和Z向距离调节装置，其中X向和Z向分别装有交流伺服电机ECMA–C20604RS和ECMA–C20604SS，通过改变控制信号的电压来控制其转速及转向。2个电机的区别在于后者自带电磁机械抱闸装置，可克服断电时垂直方向上重力产生的影响，实现准确定位。交流伺服电机由PLC进行控制运动，型号为DVP32EH00T3。伺服电机与图像采集装置连接处的传动装置选用滚珠丝杠，将电机的旋转运动转化为直线运动，在PLC的控制下，相机和镜头按照设定的路线运动。Y向的调节装置为手动，根据现场相机拍摄害虫的实际效果进行调节，试验中调节Y装置将镜头和幕布之间的距离设置为30 cm。

图2 图像采集装置的结构Fig.2 Schematic diagram of the acquisition device structure

3 自动控制系统的设计

自动控制系统以PLC为核心，实现拍摄系统的自动拍摄和交流伺服电机的自动运行，PLC外围电路如图3所示。采用220 V交流电源作为PLC、直流稳压电源以及诱虫灯的供电电源。傍晚时，开启悬挂于图像采集装置的前上方位置的诱虫灯，稻飞虱等昆虫受到吸引会绕灯飞舞，并不断附着在采集工作台的白色幕布上。待PLC控制器计时到预先设定的时刻，系统启动，PLC的Y4端口输出信号，与中间继电器共同作用，得到能驱动工业相机的外部电压触发信号，实现自动拍摄功能。PLC同时又输出2路“脉冲+方向”信号，其中Y0与Y1为1组，Y2与Y3为1组，分别控制X轴和Z轴2个轴向的伺服电机驱动器，再由各轴的驱动器分别驱动各轴的交流伺服电机完成相应的动作。

图3 PLC外围电路Fig.3 Wiring diagram of PLC

PLC每次发送10 000个脉冲，驱动X轴电机转动10圈，滚珠丝杠的螺距为5 mm，故相机和镜头移动5 cm，电机转动结束后会静止5 s，留给相机充分的触发时间，每次拍摄1张照片，连续循环，直到X向拍摄完毕。此时，向Z方向运行1次，拍摄1张照片，再向X轴相反方向连续运行和拍照，像这样逐行扫描拍摄直到拍完整个预先选取的区域。所拍摄的图像会自动保存至计算机提前设定的文件夹内，并自动编号。控制系统流程如图4所示。

图4 自动控制系统的流程Fig. 4 The flow chart of control system

用于图像采集的高速图像采集卡选用MV–E1394型号，安装于计算机主机箱的PCI Express插槽中，通过IEEE1394标准接口的电缆与工业数字摄像机连接。数字摄像机Guppy PRO F–503B/C最高分辨率2 588×1 940，与畸变非常小的镜头TEC–M55配合使用，适用于高精度检测。此外采用型号为OPT–RI12030的RI环形光源与型号为OPT–AP1024–4的AP模拟式机器视觉光源控制器，用于调节RI环形光源的亮度，为拍摄补光。利用拍摄软件AVT SmartView预先调试相机的拍摄效果。

4 远程传输系统的设计

远程传输系统的作用是把拍摄的图片从田间自动发送至本地的实验室监测中心，用于后续图像处理分析。由于照片单幅容量大、整体数量多，要求传输速度相对较快、稳定性相对较高，所以选择通信速度快、网络频谱宽、通信质量高、费用便宜的4G通信技术。

4.1 传输系统的搭建

远程传输网络设备主要由计算机、4G无线路由器和1张中国移动4G SIM卡组成。4G路由器，选用厦门才茂公司生产的工业级LTE 4G路由器，型号为CM8565R，可以实现大量数据的快速稳定传输。为了达到将拍摄到的图片实时、自动传输的目的，采用基于TCP协议的客户端/服务器模式的网络传输方法，传输系统的设计如图5所示。

图5 传输系统的结构Fig.5 Diagram of transmission system structure

4.2 客户端的设计

客户端是通信的发起者，客户端首先需知道服务器的地址和端口号。利用Socket对象创建TCP客户端Socket服务，主动向服务器端发出连接请求。如果连接成功，说明数据传输通道已经建立，该通道就是底层建立好的Socket流。客户端界面设计如图6–a所示，点击图上用于选择目标文件夹的按钮，可以事先设置好用于存放拍摄图片的文件夹路径。应用程序每隔1 min读取1次文件夹中的文件，获取Socket输出流将新读取到的图片发送给服务器。每发送成功1张图片，读取服务器端发回的内容。直到该路径下无新拍摄到的图片，关闭Socket。

4.3 服务器的设计

服务器被动等待客户端发起通讯，对其作出响应。利用Server Socket对象创建TCP服务器端Socket服务。服务器端必须对外提供一个接口，否则客户端无法连接。建立连接后，服务器端获取连接过来的客户端对象，通过客户端对象获取Socket流，读取客户端发来的数据，将读取到的数据保存到事先设定好的文件中。反复读取这些数据，得到拍摄的稻飞虱图片。每读取到1张完整的照片，获取Socket输出流，将上传的结果发送给客户端。直到客户端不再发送数据，关闭Socket。服务器界面的设计如图6–b所示。

图6 客户端和服务器端的界面Fig.6 The interface of client and server

5 验证试验

验证试验于2015年6—10月在南京农业大学江浦农场进行。该农场2006年曾暴发稻飞虱灾害[10]。相机调整为自动白平衡模式和自动曝光模式，镜头的光圈根据现场的光照调节，试验中设置为F8.0，增益设置为8 dB，拍摄大小设置为768×576像素。每次共采集12×13=156张图片，共进行了10次试验。采集了近百张有价值的稻飞虱图片。图7–a中，从左至右依次为叶蝉、水蝇、蠼螋和白背飞虱，图7–b中，为蠼螋和多只白背飞虱。在采集到的昆虫图像中，有些昆虫图像比较相似，如图7–a中的叶蝉与白背飞虱，水蝇和蠼螋，故需要对图像进行处理，以验证采集到的稻飞虱图像是否与其他昆虫图像存在特征差异。至此，稻飞虱图像远程实时采集系统已完成工作过程。

图7 采集的照片Fig.7 Collected photos

6 图像预处理与结果

以图7–a为例，对获得的图像进行处理，分析所拍摄的昆虫的特征差异。首先选用最大类间方差法(otsu)进行阈值分割，自动选取阈值进行二值化。二值化后的图片存在噪声，对其进行开运算，填充小孔，去除细小噪声并且使昆虫图片边界更为平滑。将去除噪声后的图像和灰度化后的昆虫图像进行逻辑与运算，得到昆虫背部区域灰度图像，再逐一提取单个昆虫的背部图像，裁剪为128×128像素的图片，如图8所示。

图8 处理后的照片Fig.8 Images have been processed

对单个昆虫图像进行二维离散傅里叶变换，从空间域变换到频率域，更容易分辨昆虫图像的特征[11–13]。昆虫傅里叶频谱，如图9所示。频谱图直观地反映出图像的能量分布，代表了昆虫背部颜色和纹理与傅里叶频谱数值大小的关系，频谱数值的大小反映不同频率成分的强度，中心较亮区域为能量集中区域，也是频谱图的低频区域，代表了大面积背景区域和昆虫背部缓慢变化部分。图片边缘是高频区域，高频部分代表了昆虫背部的细节和纹理信息。图9中心较亮区域水蝇和蠼螋最大，叶蝉次之，白背飞虱最小，这与各类昆虫背部图像面积有关，昆虫背部面积越大，则黑色背景越小，影响了低频区域的面积。图8中水蝇和蠼螋较为相似，但背部纹理信息的细小差异，如水蝇头部与尾部连接处较为透明，在频谱图高频部分中体现为亮斑与黑点分布差异，水蝇的频谱图比蠼螋多了1排较为规则的垂直亮斑，最为明显。叶蝉的高频区域较为均匀，白背飞虱则多了1条呈对角线状的亮斑，边缘各点分布较为均匀密集，说明白背飞虱背部纹理具有独特性。各个昆虫频谱图高频区域的差异较为明显，故所采集图片能够反映出各类昆虫的特征差异，其中白背飞虱特征尤为突出。

图9 傅里叶变换后的昆虫频谱Fig.9 Spectrum of fourier transform

结果表明，所采集的图片可以清晰地反映出稻飞虱在自然状态下背部的颜色、纹理，经过二维离散傅里叶变换验证，目标昆虫稻飞虱图像与其他昆虫图像存在明显特征差异，达到了图像采集的预期要求。

[1] 韩瑞珍，何勇．基于计算机视觉的大田害虫远程自动识别系统[J]．农业工程学报，2013，29(3)：156–162．

[2] 张洁．基于图像识别的农作物害虫诊断技术研究与应用[D]．合肥：中国科学技术大学，2014．

[3] Wen C L，Guyer D．Image-based orchard insect automated identification and classification method[J]. Computers and Electronics in Agriculture，2012，89：110–115．

[4] Sarpola M J，Paasch R K，Mortensen E N．An aquatic insect imaging system to automate insect classification[J]. Transactions of the ASABE，2008，51(6)：2217–2225．

[5] 周志艳，罗锡文，张扬，等．农作物虫害的机器检测与监测技术研究进展[J]．昆虫学报，2010，53(1)：98–109．

[6] Larios N，Deng H L，Zhang W．Automated insect identification through concatenated histograms of local appearance features：feature vector generation and region detection for deformable objects[J]．Machine Vision Applications，2008，19(2)：105–123．

[7] Mayo M，Watson A T．Automatic species identification of live moths[J]．Knowledge Based Systems，2007，20(2)：195–202．

[8] 张建华，冀荣华，袁雪，等．基于径向基支持向量机的棉花虫害识别[J]．农业机械学报，2011，42(8)：178–183．

[9] 边磊，孙晓玲，高宇，等．昆虫光趋性机理及其应用进展[J]．应用昆虫学报，2012，49(6)：1677–1686．

[10] 邹圣龙，刘天龙．2006年褐飞虱发生原因初探及防控措施[J]．安徽农学通报，2007(5)：141–142．

[11] 刘德营，赵三琴，丁为民，等．基于图像频谱特征的稻飞虱识别方法[J]．农业工程学报，2012，28(7)：184–188．

[12] 张强．精通MATLAB图像处理[M]．北京：电子工业出版社，2012．

[13] 温芝元，曹乐平．椪柑果实病虫害的傅里叶频谱重分形图像识别[J]．农业工程学报，2013，29(23)：159–165．

责任编辑：罗慧敏

英文编辑：吴志立

A remote real-time acquisition system for rice plant hopper images in the fields

Chen Jing1,2, Liu Deying1,2, Xie Tangsheng1,2, Cai Jun1,2
(1.College of Engineering, Nanjing Agricultural University, Nanjing 210031, China; 2.Key Laboratory of Intelligent Agricultural Equipment of Jiangsu Province, Nanjing 210031, China)

A remote real-time acquisition system for rice plant hopper images in the fields has been designed and developed. The whole system consists of the image acquisition device, the automatic control system and the remote transmission system. Under the condition of night, rice plant hoppers will be attracted to the white cotton curtain based on the phototaxis of wild insects. The image acquisition device scanned the curtain screen line by line and took photos of the plant hoppers on the screen under the control of the PLC. The remote transmission system is set up with 4G technology and the method of network transmission based on the model TCP client/server, which can transmit the images taken in the wild fields to local lab for subsequent analysis. According to the result of the experiment taken in the wild field environment, the images of the rice plant hoppers can be obtained directly with the pixel of 768×576. There are obvious differences between these pictures and the images of other insects through the verification of two-dimensional discrete Fourier transform, which means the system meets the requirements of image acquisition.

rice plant hopper; image; remote; real-time acquisition

TP391.41

A

1007-1032(2016)06-0693-06

2016–04–18

2016–10–09

江苏省科学技术厅前瞻性联合研究项目(BY2014095)

陈京(1991—)，男，江苏新沂人，硕士研究生，主要从事农业装备智能控制技术研究，2014112038@njau.edu.cn；*通信作者，刘德营，博士，副教授，主要从事模式识别与自动控制研究，dyliu@njau.edu.cn