基于柑橘的AI 图片识别

张玉国 申智辉 韦刚 关宇晟 广西慧云信息技术有限公司

中国是全球第一柑橘生产大国，约占全球产量和消费量近七成和近四分之一的出口量。柑橘行业正在快速发展，柑橘种植户也越来越多，产地也越来越大。但是行业的一些问题比较明显：1、柑橘病害专家少，无法能实际到各个农户的果园进行考察病害诊断，导致柑橘出现病害不能及时确诊用药，造成农户损失。2、柑橘进入关键物候期花期，无法进行有效的施肥施药，导致柑橘的关键物候期花期生长情况出现问题产量下降甚至出现病虫害等。本文主要讲解如何通过AI 进行图片识别，解决柑橘的病虫害诊断，以及柑橘关键物候期花期判断的方法。

一、柑橘病虫害图片识别

目前大部分柑橘农户的果园出现病虫害，农户要不就是自己观察病害确诊，要不就是请专家进行确诊，然而专家数量少，预约专家到果园问诊耗费时间长，而且到达果园往往路途遥远，柑橘病虫害无法高效快速的确认。本文提供的柑橘病虫害图片识别方式，只需要用户使用【耘眼】微信小程序或者App 的病虫害识别功能点击拍照对柑橘叶片的病害部位进行拍照，确认识别，不到一秒钟之后，程序便会返回识别结果，当前叶片出现的是什么病害，可信度达到的百分比，同时提供此病害病害描述，农事防治方案，化学用药防治方案等。农户可快速对病虫害进行判断确认，从而及时用药进行诊治。通过柑橘病虫害的图片识别功能，柑橘种植户不仅可快速的拍照片便可确诊柑橘的病虫害情况，又可获取有效的防治方案，在效率上比传统的需要联系专家进行考察确诊快速了很多。同时如果柑橘种植户对图片识别的诊断结果有疑问也可以通过问答对【耘眼】进行提问，【耘眼】有相关专家进行详细解答，进一步有效的解决柑橘种植户的柑橘病害诊断的问题。

二、柑橘物候期花期的图片识别

柑橘农户种植过程中除了病虫害是一大问题，如何确认种植的柑橘进入了哪一个物候期花期也是至关重要的一环。比如柑橘进入现蕾期，此时期柑橘开始萌芽，类似蚜虫、木虱、红蜘蛛、疮痂病、炭疽病、疫病等容易出现，如果无法确认物候期花期则在对即将可能发生的病虫害无法提前进行有效的农事任务进行预防，则可能导致柑橘出现病害，损害农户利益，同时柑橘开花需要大量的营养，如没有专业指导可能导致营养不足，花的质量差，花期短暂，就会严重影响柑橘的坐果率。为此【耘眼】微信小程序的柑橘物候期花期的识别功能就可快速高效的解决这个问题，同样的【耘眼】微信小程序或者APP 提供柑橘物候期花期的图片识别功能，种植户只需要简单的打开微信小程序，对柑橘进行拍照，不到一秒钟，程序便会返回判断结果，当前拍摄的照片处于哪一个物候期花期，并且显示此物候期花期下重点防治病害，需要补充何种营养，应注意什么农事等等。程序判断依据的根据识别出来的各个时期的识别结果进行制定的综合规则匹配判断进行得出的结果，简单举例就是如果识别出来露白期花有9 朵，绽蕾期的有2朵则匹配出来的结果显示认为此照片处于露白期，并且告知露白期下须注意预防病害虫害，露白期下是否需要重点补充营养，补充何种营养，是否需要进行何种农事任务。

三、识别模型训练设计

柑橘病虫害以及柑橘物候期花期的模型训练步骤如下：

柑橘识别的模型通过采集多张柑橘的图片，对柑橘图片中的病虫害和物候期花期特征进行标识。

具体的，采集柑橘的各种病虫害和物候期花期特征的照片作为样本库，每种病虫害和物候期花期特征的图片数量不少于1000张；利用labelme 标注工具对图片中的柑橘病虫害和物候期花期特征进行标注，框出图片中的病虫害和物候期花期特征。

A1，对已框出特征的图片进行增强处理，对图片进行旋转、图片亮度、暗度进行处理，实现数据增强；使用caffe 的Scale layer 和BatchNorm layer 实现数据归一化处理；增加样本数量，以提高算法鲁棒性。

A2，将增强后的柑橘病虫害和物候期花期特征图片按照80%为训练集，20%为测试集的比率进行分配。

A3，将训练集输入fasterrcnn 深度神经网络训练以提取柑橘病虫害和物候期花期特征信息，病虫害特征信息，根据柑橘的病虫害和物候期花期特征信息获取柑橘病虫害和物候期花期的位置，经30 万次迭代后生成fasterrcnn 深度神经网络的网络参数。

A4，利用测试集对训练出来的模型网络参数进行测试，通过训练出来的模型进行识别的到的识别结果的位置以及识别信息与测试图片在A1 框选出来的柑橘病虫害和物候期花期信息进行比较，最终通过平均精度map 和召回率recall 进行评估，召回率recall 为将正类预测为正类数占将正类预测为正类数加将正类预测为负类数的比例，重复步骤A3 和A4 平均精度map 和召回率recall 达到需求，从而获取最优网络参数的所述fasterrcnn 深度神经网络，利用该最优的fasterrcnn 深度神经网络根据该位置的柑橘病虫害的特征信息识别病虫害。

A5，基于A4 便可识别出图片里病虫害和物候期花期特征，并将特征在图片的位置坐标框选出来。病虫害的识别于此便可展示结果。柑橘物候期花期则需要再进行规则判断物候期花期，判断方式如下：

假设单张图片里包含现蕾期的识别结果为X1 个，露白期的识别结果为X2 个，绽蕾期的识别结果为X3 个，谢花期的识别结果为X4 个。总识别数量为T=（X1+X2+X3+X4），则现蕾期占比为rate_x=X1/T，露白期占比为rate_l=X2/T，绽蕾期占比为rate_z=X3/T，谢花期占比为rate_xh=X4/T。根据各个时期占图片总占比来判断柑橘花期。

四、项目架构

项目基于C#做应用层开发，微软.net Core 架构API 接口，项目客户端为IOS，安卓以及微信小程序对接接口。其中微信小程序使用React 框架进行功能实现。项目后台维护页面则使用html，javascript 等进行实现。识别服务使用Python 进行实现。数据库使用sqlserver2012R2 进行数据存储，使用redis 进行数据内存管理。

项目架构框架为客户端，应用服务，识别服务。项目架构流程客户端通过http 方式进行请求识别，API 接口接收到http 请求对请求进行安全令牌校验，业务验证，然后进行请求识别，识别服务接收到识别请求对请求的图片进行图片加载然后进行图片识别，返回识别结果到应用层，应用层将识别服务返回的识别结果进行解析处理，解析处理包含规则判断，可信度判断，以及整合相关属性信息等。最后应用层将结果数据返回到客户端，客户端对结果数据进行解析处理展示到页面上。

项目部署于阿里云上，使用一台Windows server 2012 服务器进行应用服务部署，一台windows server 2012 服务器进行部署数据库Sqlserver 2012R2，一台Linux 带GPU 的服务器进行部署识别服务部署。

五、结语

人工智能是当今科技的发展潮流，目前人工智能已经逐步走入了老百姓的日常生活中，基于柑橘的AI 图片识别微信小程序【耘眼】也已经正式面向了全国的柑橘种植户，免费供用户使用。同时【耘眼】还提供“农药复配”，“咨询问答”，用户使用【耘眼】还可获得积分，红包等活动。目前【耘眼】在全国服务的用户已达15 万之多。真正的做到了柑橘种植农户解决根本问题，为柑橘种植农户提供帮助。也获得了老百姓的普遍赞美和一致好评。目前“耘眼”也是不断的更新迭代，增加商城，天气预警等在农户所关心的难点和痛点上下手，专门为农户解决问题。当前【耘眼】也是不断的进行推广宣传，让更多的农户认识【耘眼】，让【耘眼】为更多的用户服务，给予他们帮助。目前【耘眼】是作用在手机上主要是靠手机拍照进行对柑橘园区病冲害和物候期花期进行判断。需要农户主动的去发起这个事件。未来我们可以将功能集成到相机，摄像头，专门在柑橘园区安装摄像头设备，即可实时进行无人监测，即使没有农户在园区，摄像头也可每天对柑橘的生长状态进行全方面监控，对病虫害和物候期进行实时预警，将预警发送到种植户手中，真正实现人工智能，未来可期。