AR辅助的基于HOG-SVM移动水稻病害智能分析与识别系统

徐识溥，李琳一，贾金原，王运圣，刘 畅，刘 勇，马 超

AR辅助的基于HOG-SVM移动水稻病害智能分析与识别系统

徐识溥1,2，李琳一1,2，贾金原3，王运圣1,2，刘 畅4，刘 勇1,2，马 超1,2

(1. 上海市农业科学院农业科技信息研究所，上海 201403；2. 上海数字农业工程与技术研究中心，上海 201403；3. 同济大学软件学院，上海 201804；4. 南昌航空大学信息工程学院，江西 南昌 330063)

针对传统病害识别系统存在拍摄环境要求高、样本数量要求多的缺点，设计了一套增强现实（AR）辅助的基于方向梯度直方图(HOG)-支持向量机(SVM)的识别方案。在较少素材量的前提下，由于诊断系统中引入AR技术辅助拍摄，在训练时长、识别速度以及平均精度上优于其他方法。以安卓终端为例，实现了AR辅助基于HOG-SVM的移动水稻病害识别系统，能够快速识别病害指导用户提高拍摄图片的质量。通过对批量图片进行病斑识别，分别从病害准确率、病害叶片检出率和病斑定位准确率3方面对病斑识别结果进行分析，最终得出，AR技术与基于HOG-SVM快速识别方案的结合能够在小训练样本前提下给出更快的训练结果和识别结果，且平均精度高于YOLO v3，SSD 512和Fast R-CNN等深度模型，是一种比较合适目前移动端病害识别的方法。

增强现实；方向梯度直方图；支持向量机；水稻；病害识别

水稻是我国重要的粮食作物，对农业经济有巨大影响。病害是威胁水稻产量和品质的重要因素，及时发现和准确判断病害种类与部位，采取相应的防治措施，是减少病害损失的重要途径。但植保专业之外的人员很难在田间准确识别病虫害[1]，常常因错过控制期或农药使用不当造成农药残留超标而造成经济损失。信息技术的发展和基于机器视觉的病害诊断为该问题提供了解决方案。机器视觉技术结合智能移动终端，通过采集田间水稻病虫害图片并对图片进行处理和识别，辅助进行病害诊断并提供合适防治方案，能最大程度提高病害综合防治效果[2]。

增强现实(augmented reality，AR)技术是将计算机生成的图形、文本注释和其他虚拟信息有机地融合到用户所看到的真实世界场景中，从而增强或扩展人类视觉系统的一种方法[3-10]。通俗地说，当用户打开AR应用程序时，可看到摄像机捕捉到的真实世界的视频流。同时，在视频流中，还可以看到相关的虚拟图形和文本信息叠加在相关对象上，从而使现实世界更加丰富多样。人与现实环境的互动性得到改善，智能手机等移动终端的发展为AR应用提供了条件。

基于以上2点，针对目前传统的移动式大米病害识别系统信息显示不强的缺点，本文以安卓智能终端为例，实现AR辅助提高拍摄质量的水稻病害识别系统。

1 研究背景

AR在地产、教育、旅游、博物馆等方面有诸多成熟应用，但在农业上的应用大部分还处于摸索阶段。现阶段主要应用是在农业科普、农业生产中的规划播种、作物培育等方面。病虫害或洪灾爆发时所带来的影响可利用AR/VR与人工技术模拟出来，进而找到最佳解决方案；规划播种方面，也可利用AR技术在田间选择调查点并进行实地调查，利用3S技术和AR技术方便地获取病害发生地的环境信息。操作员只需到达一个相对高耸的区域，用APP扫描，就可获得拍摄地点的实际面积、温度变化曲线、降水等值线、氧气含量等。

AR技术通过对种植环境的实时控制，可有效辅助作物生长，并为农民提供夜间田间温差、土壤湿度等。通过在种植环境中设置相关传感器，计算机可以实时监测作物的环境信息。基于AR技术的视频图像监控应用可以为用户提供植物或作物历史、当前和未来生长细节等服务。如用户手持便携式AR应用设备(如智能手机)对一株植物的叶子进行拍照，即可判断植物现在是否健康。若发生病虫害，可做出病虫害判定，并通过文字、语音、视频等方式为用户推荐有效的防治方法，从而达到用户及时发现和处理病虫害的目的，提高工作效率。如果用户继续上传病虫害防治信息(文字、图片等)到水稻病虫害数据库，当其他用户遇到相应的病虫害问题时，可以及时有效地进行防治，AR应用的经验也在不断扩大。

水稻病害AR识别系统的关键技术是识别病害并在图片中定位到病斑所在的位置。目前基于图像识别的田间作物病害识别系统大多是基于全图或根据图像处理提取特征信息后的分类系统。这些方法虽然考虑了作物病害的主要特征，且随着识别算法的改进在准确性上有很大的提高，但仅从一个角度的照片或一种作物器官上去识别田间病害不符合人类认识客观世界的规律，因而本文采用AR技术对传统图像识别流程进行改进，完成由智能终端直接给出识别结果的生硬识别方式到交互式提示逐步确诊的新型田间病害识别方式。

要完成AR与田间病害识别的结合，需要考虑识别算法的效率、疾病诊断专家的知识以及如何从区域症状到个体植物症状再到单个植物局部症状的完整逻辑。目前，叶类病害的图像识别方法主要有2种：①基于图像分割提取病斑特征；②基于弱机器学习的分类识别和基于深度学习的内容识别[11-16]。基于图像分割的识别通过对含有病变图像的预处理、分割和特征提取来实现分类识别。常用的方法有生长法[17]、自适应阈值法[18]、无监督颜色聚类法[19]、水平集法[20]、基于形态学的方法[21]、监督颜色纹理法和分水岭算法[22-23]。这种方法主要是通过病斑颜色、大小和形状的不同进行识别不同的病害。图像采集时光线要稳定，拍摄角度合适，拍摄距离一致，通常情况下，需在稳定的实验室环境中诊断，而在野外很难完成。另外，该方法需要大量的疾病先验知识来预先手动指定参数，增加了系统的开发难度，使得基于图像分割的识别程序在实际应用中表现不佳。近年来，比较流行的基于深度学习的识别方法在很大程度上解决了基于图像分割识别方法的相关问题，其可以自己总结识别内容的特征，更适合于复杂环境的识别。基于深度学习的病斑识别的准确性与快速性完全取决于初始训练素材的数量和质量，另疾病种类繁多，生产中各种疾病的发生频率差异很大，在非常短的时间内建立大量疾病库的样本非常困难。即使有大量样本图像，对其进行手动标记和分类也意味着大量工作。这是基于深度学习的农作物病害识别领域的最大瓶颈。此外，尽管大型技术公司为Caffe，MXNet，Torch，TensorFlow和其他深度学习框架做出了贡献，简化了应用程序阈值，但若没有专业指导，普通用户仍难以开发或修改识别模型。

针对上述问题，本文提出一种基于方向梯度直方图(histograms of oriented gradient，HOG)特征和支持向量机(support vector machine，SVM)与AR相结合的水稻病害检测方法。该方法利用水稻叶片病斑在形状特征上具有一定的共性。例如条纹病可以视为具有一定条形结构的区域就是病斑，水稻稻瘟病早期为叶片上初生黄白小斑点等。本文方法结合HOG特征可以容许目标物体具有局部的细微变化特性，以消除田间拍摄造成的病斑图像中轮廓细微变化对识别造成的影响。将病害图片中的病斑作为识别目标，可将一张病害图片分割为多个训练素材，降低对训练图片数量级的要求。AR辅助的基于HOG-SVM的田间水稻病害图像识别方法是一种易开发、训练简便、样本数量要求低、适应田间复杂环境下应用的基于病斑图像识别的作物病害诊断方法。

2 AR技术在水稻病害识别系统的关键应用

在水稻病害识别系统中，考虑到常见水稻病斑特性，本方案采用AR辅助的基于HOG-SVM进行初步识别，具体实现流程如图1所示。

图1 系统流程图

2.1 视频的预处理

本试验采取开放的自然环境拍摄，最终照片会有很多的干扰因素，如亮斑、噪点以及曝光不足等，良好的预处理可以保证输入照片的规格统一。由于最终判断是基于HOG特征的，适当地降低原始图像的清晰度不仅可以减轻计算机的计算负担，且有利于最终的分割和识别，病斑情况的对比如图2所示。总之图像预处理的过程有效强调了病斑识别的有效部分，抑制无效的部分，是一个基础但非常重要的步骤。本文的预处理主要步骤包含亮度均衡，以及中值滤波等。

图2 预处理前后病斑对比图

亮度均衡的基本思想是将原始图像的直方图转换为平衡的分布，从而增加像素灰度值的动态范围并增强图像的整体对比度。中值滤波器是一种基于分类统计理论可以有效抑制噪声的非线性信号处理技术。中值滤波的基本原理是使用数字图像或序列中某个点的值以及该点附近的每个点的值，而不是中值，周围的像素值接近真实值，从而消除孤立的噪声点。

2.2 HOG-SVM识别模型的建立

视频预处理后的操作是基于HOG-SVM的识别模型。通过计算图像局部区域HOG进行构造特征，SVM是一类广义线性分类器，以监督学习的方式对数据进行二值分类。HOG特征与SVM分类器相结合在图像识别中得到了广泛地应用[24-28]，该方法由法国Dalal研究所于2005年提出，其在行人检测方面取得了很大的成功，随后逐渐应用于各种目标检测[17-19]。由于在粗、细2个方向进行采样，并进行了较强的局部光学归一化处理，因此被检测的对象只要具有相对规则的形状，HOG特征就能更好地描述目标对象的信息。

本文中以大田水稻为试验对象，利用APP直接从田间获得病斑识别的原始训练素材，并以jpg格式存储图像。图像采集的主要原理是拍摄清晰的水稻疫病点图片，将训练样本中的病损切口手工作为训练阳性样本，共5种疾病3 300片，从非病损部分切取阴性样本，即1 000片正常叶片和背景。

HOG特征是一种低级视觉特征，主要描述图像内容的边界。因此，用于提取水稻病害特征的训练图像必须能够完整地描述病变，换言之，每个训练图像均需要包含一个可以完全识别的疾病点。病变材料的原始图像通常是通过手动裁剪和批量修改获得的。训练样本一般包括阳性样本和阴性样本，良好的训练图集是后续分类器获得更好性能的必要条件。培训图集的样本数量不限，应涵盖实际应用过程中可能出现的所有情况，即使用培训样本的场景与最终应用场景相同。本文的目的是为了识别不同的水稻病斑，并进行分类。因此在实例中，以目标识别的病害图像作为正样本，其他为阴性样本。完整的特征区域获取以及最终入库特征，如图3所示。

图3 特征提取过程与结果

水稻病害包含较多的纹理信息，以像素为单位进行分析将会损失较多的纹理信息。如图3所示，HOG特征的提取中必须手动选取感兴趣区域，并将该区域当作像素分块可分析出更多的纹理信息，用于下一步的分类识别。其主要优势有3点：①利用HOG特征提取时框选区域通常为标准矩形且边长一般为32像素，在获取HOG特征的同时可以很好地分析纹理信息，获取的信息更加全面，更有助于分类识别；②灰度共生矩阵等纹理特征的提取如同HOG特征提取，需要经过灰度化，2种特征提取的部分步骤可以完美结合；③病斑多以斑块特征存在，分块判断病斑的概率更符合现场实际要求。

HOG特征检测算法的主要思想是通过梯度或边缘的方向密度分布来描述图像中局部目标的纹理和形状特征。其是用来描述图像局部梯度方向和梯度强度分布特征的描述符，因为提取的特征具有很强的鲁棒性，常被用来提取图像的局部特征。

然而传统的HOG特征检测算法只计算图像的水平和垂直梯度信息，不能有效地反映病变的信息。本文认为，AR技术通常需要拍摄运动中的物体，且视场大小会经常改变。利用Gabor滤波器来考虑多个方向梯度的信息，结合HSV和LAB颜色空间转换提取病变的颜色信息，并对传统的梯度方向进行修正。HOG特征检测算法如图4所示。首先在病变图像中选择感兴趣区域，进行图像归一化和梯度计算，通过Gabor滤波结合颜色空间转换等方法得到输出的HOG特征向量，最后得到特征向量。

SVM的思想是找到满足分类要求的最优线性分类超平面，同时保证分类精度。本文完整的训练及识别流程如图5所示。

2.3 AR技术在移动端水稻病害识别系统的实现

以Android操作系统为例，实现AR辅助的基于HOG-SVM的移动水稻病害识别的测试版，分别对5种水稻病害，即条纹叶枯病、纹枯病、稻瘟病、霜霉病以及赤枯病识别结果进行评价。

完整软件界面如图6所示。用户启动APP后单选“+”按钮进入AR拍摄模式。若实时检测出现橙色对话框，即告知用户“未检测出病害”，用户可关闭摄像头结束检测，同时提示用户可实时拉近或调整角度后连续检测。若实时检测出病害区域则跳出红色方框，并标注出病害位置。单击红色框区域，APP跳转至对应病害的防治介绍。

图5 病斑检测流程图

图6 软件操作界面

2.4 AR辅助的基于HOG-SVM识别方法与其他算法比较

本文在研究一套实时田间病害诊断应用方法时，需考虑较少训练素材下如何提高识别率，及方法的效率和所占系统资源等问题。

AR辅助的基于HOG-SVM的方法将5种病害分别切割出包含不同病斑的特征库，使用相同的素材分别用YOLO v3，SSD300及Fast R-CNN 3种识别模型进行对比试验。算法比较环境见表1。

表1 算法测试环境参数表

其中，YOLO v3，SSD 512及Fast R-CNN均为深度学习模型，参数选择会对训练时间有很大影响且训练时长远远大于AR-HOG-SVM的方法。各科算法性能见表2。

表2 算法性能统计表

2.5 AR辅助的基于HOG-SVM方法的识别结果分析

本文方法对田间病害图像的采集没有严格的标准和规范，用于病斑识别的特征信息一般比较复杂，如图7所示。

图7 病斑监测结果示意图

由图7可以看出，不同类型疾病的病变特点有很大差异，很难用单一的指标来综合诊断评价病变，故本文利用基于AR辅助的多特征组合进行病斑识别。

评价结果见表3，其中，病斑图片数为测试图片个数，实际病叶数为病斑图片中包含的病叶总数，检测到的图片数为图像分类结果的个数，检测到的叶子数是系统中的叶子数，检测数是系统给出的检测结果。具体计算为

表3 AR辅助的基于HOG-SVM的病斑识别结果

由表3可知，通过对可能存在病斑的图像进行AR辅助后，识别率提高非常明显，主要表现在3个方面：

(1) 病害识别准确率。本文目标为实现移动端的水稻病害识别系统，检测出图片内包含病害的HOG特征，并判定该图片内的作物患有该病害。实验结果表明，5种病害的识别率平均达到86.8%，其中由低到高排序霜霉病74%、枯纹病86%、条纹叶枯病88%、赤枯病92%、稻瘟病94%，由此可知本文方法可以对水稻病害进行识别。

(2) 病叶检出率。如图4所示，由于水稻病害的特点以及AR-HOG-SVM的特性会发生同一得病叶片多次被识别命中的情况。统计图片中实际水稻叶片数量以及检测命中的叶片数发现，若今后可以分析出图片内叶片数量，则该指标可较好地用于病害程度的评估。

(3) 病斑定位正确率。病斑定位正确率会与用户体验相关，较高的定位率与辅助AR手段能够给用户更专业的体验。病斑提取正确率是本文方法对图片内正确命中病斑区域与全部病斑区域的比值，对应的结果为病斑识别正确率。表现最优的是水稻赤枯病，病斑定位正确率为91.67%，其余4种病害也在86%以上，表明可较好地用于一些形态特征较明显的病斑识别与定位。

3 实验对比分析

AR的核心功能为识别视频内容后将文字、图片或三维体信息叠加到视频辅助人类理解视频内容，其中图像识别功能可分为基于传统图像特征提取识别与基于深度学习的图片内容识别。本文强调基于移动终端的水稻病害识别，这种应用场景下如果采用基于图像特征提取的识别技术，因为存在拍摄设备无法定型、拍摄环境无法恒定、拍摄角度无法固定等问题，无论从形态学特征以及色彩特征上均很难在统一的标准下进行预处理。

本文研究最终目的为实现一款移动端的田间水稻识别系统，且从素材图像中获取HOG特征和基于深度学习的图像打标操作基本一致。所以本研究仅从训练时长、识别速度(图片和视频)、检出结果、平均精度4个指标讨论本方案的优劣。

(1) 训练时长。本文AR-HOG-SVM属于浅层机器学习模型，3 300张素材提取HOG特征以及SVM训练时长小于10 s，远远小于YOLO v3，SSD 512，Fast R-CNN等深度学习模型。

(2) 识别速度。经4种方案训练后，单机对250张测试图进行验证，统计并求平均速度。AR-HOG- SVM最快仅37 ms，Fast R-CNN次之157 ms，继移植移动端后基于视频进行识别也验证了该结果，YOLO v3与SSD 512由于识别速度较慢均产生了延时现象。AR-HOG-SVM是最适合的一种。

(3) 检出结果。良好的用户体验是验证一个系统优劣的重要指标，虽然检出结果无法与平均精度等指标来衡量算法，且由于无法给出结果也很容易给用户造成程序不在运行的错觉。AR-HOG-SVM的方案对250张测试图给出了最多的216张的回应，可以良好的与用户互动。

(4) 平均精度。其是衡量识别算法的重要指标，在相同且较小数量训练集的前提下，AR-HOG-SVM方案的平均精度为89%，大于YOLO v3，SSD 512和Fast R-CNN方案。此结果说明2点：本次识别的5种水稻病害存在形状上的鲜明差异，比较适合HOG特征分类。样本数量偏小，未发挥YOLO v3，SSD 512， Fast R-CNN3种模型物体识别的性能。

综上，AR-HOG-SVM在小训练样本前提下能给出更快的训练结果和识别结果，且平均精度也高于YOLO v3，SSD 512和Fast R-CNN等深度模型，是一种较合适目前移动端病害识别的方法。

4 结 论

AR技术与诊断专家系统的结合使疾病识别更加直观，改善了人与现实环境的交互作用。本文通过利用AR辅助对水稻病害进行分析与识别，通过实验最终显著提高了病害识别率，这种解决办法也适用其他作物病害的识别。但由于两者的结合受到识别精度和识别率的限制，在实际使用中虚拟物体的显示会有一定的误差，同时，也受到智能手机屏幕的限制。另外，基于本文的研究缺乏对图像的三维增强方面，在后续的研究中，将研究三维物体在AR疾病识别系统中的实现。

[1] 马超, 袁涛, 姚鑫锋, 等. 基于HOG+SVM的田间水稻病害图像识别方法研究[J]. 上海农业学报, 2019, 35(5): 131-136.

MA C, YUAN T, YAO X F, et al. Research on image recognition method of field rice disease based on HOG+SVM[J]. Acta Agriculturae Shanghai, 2019, 35(5): 131-136 (in Chinese).

[2] 郑丽霞, 王玉书, 刘海, 等. 吡虫啉对伯克霍尔德氏菌生长和溶磷作用的影响[J]. 土壤学报. 2020, 57(1): 174-182.

ZHENG L X, WANG Y S, LIU H, et al. Effects of imidacloprid on the growth and P-solubilization of[J]. ActaPedologica Sinica, 2020, 57(1): 174-182 (in Chinese).

[3] ANNETTA L, BURTON E P, FRAZIER W, et al. Augmented reality games: using technology on a budget[J]. Science Scope, 2012, 36(3): 54-60.

[4] ARVANITIS T N, PETROU A, KNIGHT J F, et al. Human factors and qualitative pedagogical evaluation of a mobile augmented reality system for science education used by learners with physical disabilities [J]. Personal and Ubiquitous Computing, 2019, 13: 243-250.

[5] AZUMA R, BAILLOT Y, BEHRINGER R, et al. Recent advances in augmented reality. Computer Graphics and Applications[J]. IEEE Computer Graphics and Applications, 2018, 21(6): 34-47

[6] BILLINGHURST M, DUENSER A. Augmented reality in the classroom[J]. Computer, 2012, 45(7): 56-63.

[7] BRESSLER D M, BODZIN A M. A mixed methods assessment of students’ flow experience during a mobile augmented reality science game[J]. Journal of Computer Assisted Learning, 2013, 29(6): 505-517.

[8] COLLINS A, HAlVERSTON R. Rethinking education in the age of technology: the digital revolution and schooling in America[M]. New York: Educators Press, 2009: 147-161.

[9] DE LUCIA A, FRANCESE R, PASSERO I, et al. A collaborative augmented campus based on location-aware mobile technology[J]. International Journal of Distance Education Technologies, 2012, 10(1): 55-71.

[10] DUNLEAVY M, DEDE C, MITCHELL R. Affordances and limitations of immersive participator augmented reality simulations for teaching and learning [J]. Journal of Science Education and Technology, 2009, 18(1): 7-22.

[11] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

[12] LECUN Y, BOSER B, DENKER J S, et al. Back propagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-51.

[13] LIU X J, XIE N, TANG K, et al. Light-weighting for Web3D visualization of large-scale BIM scenes in real-time[J]. Graphical Model, 2016, 88: 40-56.

[14] SHI S, NAHRSTEDT K, CAMPBELL R. A real-time remote rendering system for interactive mobile graphics[J]. ACM Transactions on Multimedia Computing, Communications, and Application, 2012, 8: 1-20.

[15] CRASSIN C, LUEBKE D, MARA M, et al. CloudLight: a system for amortizing indirect lighting in real-time rendering[J]. Journal of Computer Graphics Techniques, 2015, 4(4): 1-27.

[16] KAPLANYAN A, GMBH C, DACHSBACHER C. Cascaded light propagation volumes for real-time indirect illumination[C]//2010 ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. New York: ACM Press, 2010: 99-107.

[17] BASAVANHALLY A N, GANESAN S, AGNER S, et al. Computerized image-based detection and grading of lymphocytic infiltration in HER2-breast cancer histopathology[J]. IEEE Transactions on Bio-medical Engineering. 2009, 57(3): 642-653.

[18] PETUSHI S, GARCIA F U, HABER M M, et al. Large-scale computations on histology images reveal grade-differentiating parameters for breast cancer[J]. BMC Medical Imaging, 2006, 6: 14.

[19] DI CATALDO S, FICARRA E, ACQUAVIVA A, et al. Automated segmentation of tissue images for computerized IHC analysis[J]. Computer Methods and Programs in Biomedicine, 2010, 100(1): 1-15.

[20] FATAKDAWALA H, XU J, BASAVANHALLY A, et al. Expectation—maximization-driven geodesic active contour with overlap resolution: application to lymphocyte segmentation on breast cancer histopathology[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(7): 1676-1689.

[21] DI CATALDO S, FICARRA E, ACQUAVIVA A, et al. Achieving the way for automated segmentation of nuclei in cancer tissue images through morphology-based approach: a quantitative evaluation[J]. Computerized Medical Imaging and Graphics, 2010, 34(6): 453-461.

[22] MOUELHI A, SAYADI M, FNAIECH F, et al. Automatic image segmentation of nuclear stained breast tissue sections using color active contour model and an improved watershed method[J]. Biomedical Signal Processing and Control, 2013, 8(5): 421-436.

[23] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2005: 886-893.

[24] GHORBANI M, TARGHI A T, DEHSHIBI M M. HOG and LBP: towards a robust face recognition system[C]//2015 10th International Conference on Digital Information Management. New York: IEEE Press, 2016: 138-141.

[25] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[26] TAIGMAN Y, YANG M, RANZATO M, et al. Deep face: closing the gap to human-level performance in face verification[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 1701-1708.

[27] SUN Y, WANG X G, TANG X O. Deep learning face representation from predicting 10000 classes[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.New York: IEEE Press, 2014: 1891-1898.

[28] SCHROFF F, KALENICHENKO D, PHILBIN J. FaceNet: a unified-embedding for face recognition and clustering[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2015: 815-823.

AR-assisted intelligent analysis and identification system for mobile rice diseases based on HOG-SVM

XU Shi-pu1,2, LI Lin-yi1,2, JIA Jin-yuan3, WANG Yun-sheng1,2, LIU Chang4, LIU Yong1,2, MA Chao1,2

(1. Institute of Agricultural Information Science and Technology, Shanghai Academy of Agricultural Sciences, Shanghai 201403, China;2. Shanghai Engineering and Technological Research Center for Digital Agriculture, Shanghai 201403, China; 3. School of Software Engineering, Tongji University, Shanghai 201804, China; 4. School of Information Engineering, Nanchang Hangkong University, Nanchang Jiangxi 330063, China)

For the shortcomings of traditional disease recognition systems that require high altitude in a shooting environment and large numbers of samples, this research designed a set of f augmented reality (AR)-assisted recognition schemes based on histograms of oriented gradient (HOG)-support vector machine (SVM). Under the premise of a small amount of materials, this solution, which introduced AR technology in the diagnostic system for shooting assistance, outperforms other methods in terms of training time, recognition speed, and average accuracy. Taking the Android terminal as an example, an AR-assisted HOG-SVM-based mobile rice disease identification system was implemented, which can quickly identify diseases and guide users to improve the quality of photographed pictures. Through the identification of disease spots in batches of images, the results of disease spot recognition were analyzed from three aspects: disease accuracy, diseased leaf detection rate, and disease spot location accuracy. Finally, AR technology and rapid identification scheme based on HOG-SVM were obtained. This combination can generate faster training results and recognition results under the premise of small training samples. The average accuracy of this system is also higher than that of deep models such as YOLO v3, SSD 512, and Fast R-CNN. The proposed method is more practicable for disease identification on the current mobile terminal.

augmented reality; histograms of oriented gradient; support vector machine; rice; disease recognition

TP 391

10.11996/JG.j.2095-302X.2021030454

A

2095-302X(2021)03-0454-08

2020-12-02；

2021-01-30

2 December，2020；

30 January，2021

上海市农业科学院卓越团队建设项目(2017[B-09])

Shanghai Academy of Agricultural Sciences for the Program of Excellent Research Team (2017[B-09])

徐识溥(1986-)，男，湖北孝感人，副研究员，硕士。主要研究方向为农业物联网及农业信息化。E-mail：xushipu39706879@163.com

XU Shi-pu (1986-), male, associate researcher, master. His main research interests cover agricultural internet of things and agricultural information. E-mail：xushipu39706879@163.com

马 超(1985–)，男，上海人，助理研究员，硕士。主要研究方向为图形图像处理、计算机视觉等。E-mail：machao@saas.sh.cn

MA Chao (1985-), male, assistant researcher, master. His main research interests cover graphic image processing, computer vision, etc. E-mail：machao@saas.sh.cn