基于能量信息的毛豆豆荚螟高光谱图像检测

马亚楠，黄 敏，，李艳华，张 慜，步培银（.江南大学轻工过程先进控制教育部重点实验室，江苏无锡4；.食品科学与技术国家重点实验室，江苏无锡4；.无锡出入境检验检疫局，江苏无锡40）

基于能量信息的毛豆豆荚螟高光谱图像检测

马亚楠1，黄 敏1，2，李艳华3，张 慜2，步培银3
（1.江南大学轻工过程先进控制教育部重点实验室，江苏无锡214122；2.食品科学与技术国家重点实验室，江苏无锡214122；3.无锡出入境检验检疫局，江苏无锡214101）

为了寻求快速有效的毛豆内部豆荚螟的检测方法，将高光谱图像技术应用于毛豆内部的豆荚螟无损检测。以225个样本为研究对象，首先采用平均灰度值的方法自动获取毛豆感兴趣区域，然后提取400～1000nm波长范围内共94个波段的能量信息作为特征参数，最后结合支持向量数据描述分类器建立豆荚螟的分类检测模型。研究结果显示，在自动提取的感兴趣区域验证集中，正常样本的分类精度为100%，有虫样本分类精度为75%，验证集的总体分类精度为95.6%，可有效识别出含豆荚螟的毛豆样本。

毛豆，感兴趣区域，能量，支持向量数据描述

毛豆，又称菜用大豆，因其营养丰富，口感好、风味清香，富含蛋白质、脂肪、矿物质、碳水化合物和多种维生素等人体必需的营养成分深受世界各地人民的喜爱。随着人们生活水平的提高，毛豆的安全成为消费者和生产厂家颇为关心的指标。豆荚螟是豆类主要害虫之一，幼时就存于毛豆内部咬食豆仁，被啃食后的毛豆失去了食用价值，因此各国对豆类产品的豆荚螟数目有严格要求。传统的害虫检测方法包括染色体法、比重法等检测方法，不仅破环了样本而且费时费力。近些年来，越来越多的学者将无损检测技术应用到农业害虫领域，包括声音法[1]、微波雷达法[2]、X-射线法[3]、机器视觉技术[4]、近红外光谱分析技术[5]。其中声音法和微波雷达方法需要害虫能够运动；机器视觉技术基于可见光光源，只能检测农作物表面的害虫；近红外光谱分析技术只能提供一个小区域的检测。这些检测技术很难实现豆荚螟的准确检测。

高光谱图像技术是一种集成光谱技术和图像技术的无损检测新方法，相比于单一的机器视觉技术或光谱分析技术，该技术提供了被测对象外在形态学特征、内部结构特征和化学成分特征的所有信息，为其在农产品的内部品质预测和内部质量识别等领域的应用提供了保障[6-11]。本课题组[12]利用高光谱图像技术结合图像感兴趣区域的多维统计特征对毛豆豆荚螟无损检测技术进行了初步研究，取得了较高的检测精度。但是在该研究中，毛豆的感兴趣区域采用人工手动提取方式，存在着对人员依赖性强、耗时耗力，难于实时在线应用的缺点；同时，原有研究中利用的图像统计特征参数较多，增加了算法的复杂性。为了解决上述问题，本研究提出一种基于平均灰度值的感兴趣区域自动提取方法，获取豆粒位置的有效区域，结合能量信息特征参数建立毛豆豆荚螟的分类检测模型，可有效识别出含豆荚螟的毛豆样本。

1 材料与方法

1.1 实验材料

实验所用的毛豆样本 2011年7月采摘于浙江省慈溪市海通食品有限公司的毛豆种植基地，经过分拣、清洗、漂烫后储藏在-18℃的环境下，每次实验前在室温为24℃的条件下放置大约4h，在其完全解冻后，依次对实验样本进行编号，标记。

1.2 等级的划分

实验中正常样本定义为表面完好内部无虫，豆粒完好，此时样本设定为等级1。有虫样本定义为外部没有虫眼但是内部有虫，或者内部有虫的排泄物，此时样本设定为等级-1。正常样本和有虫样本如图1所示。

为了做比较，本实验和文献[12]中采用同一批样本。实验中利用Kennard-Stone算法选取217个正常样本中的180个样本为校正集，剩下的37个样本和8个有虫样本构成预测集。

图1 正常样本（a）和有虫样本（b）Fig.1 Normal sample（a）and insect-damaged sample（b）

1.3 高光谱透射图像采集

实验中毛豆高光谱透射图像数据是利用如图2所示的高光谱成像系统所采集。本实验中所用仪器是美国Headwall公司提供的高光谱图像采集处理装置，整个系统由高光谱成像单元、透射光源和样品输送平台三部分组成[15]。其中，高光谱成像单元由CCD摄像头（pixelfly QE IC×285AL，Cooke，USA）、光谱仪（1003A-10140 HyperspcTM VNIR C-Series，Headwall Photonics Inc.，USA）、变焦镜头（10004A-21226 Lens，F/1.4 FL23mm，Standard Barrel，C-Mount.，USA）USA）和一个控制图像采集的计算机组成。光谱仪的狭缝是25μm，有效光谱的范围400～1000nm，光谱分辨率1.29nm，波段间隔为0.64nm/pixel空间分辨率0.15mm/pixel。透射光源为150W的直流卤素灯（3250K，Techniquip，USA），为了保证透射光强的均匀性，光源上方安装了一个3″厚的由石英玻璃制成的扩散片。样本输送单元包括一个水平机动平台和一个带有厚为2mm、面积为100mm×100mm、透射率为92%的钠钙硅酸盐玻璃（ROCOES Electro-Optics CO.，LTD. Taiwan）。

图2 高光谱透射图像采集系统结构图Fig.2 Schematic of the hyperspectral transmittance imaging system

实验中，在保证图像不失真的情况下仪器参数设置曝光时间为180ms，纵向扫描长度为30mm，步长为60μm，光谱压缩倍数（binning）为10，即实际图像的波段间隔是6.4nm。实验时首先把样本放到机动平台上，水平机动平台在初始位置开始移动，同时获得高光谱图像。在实验中，因为存在分布不均匀的光照强度和暗电流的存在，会有较大的噪声干扰，同时随着实验时间的长短，其会存在一定的变化，故每采集10次样本图像进行一次玻璃图像和全黑图像标定，以减弱噪声的影响。每采完一个样本图像后，用手剥开毛豆，检测是否有豆荚螟，并作记录。

1.4 数据分析

1.4.1 高光谱图像数据预处理 毛豆高光谱图像通过式（1）获得校正后的相对透射图像：

其中，TA、TG、TD分别是豆荚的透射图像、玻璃图像和CCD检测器的暗电流图像，TR为校正后的相对透射图像。后期所有豆荚螟虫检测分析都是基于校正后的相对透射图像TR进行。

1.4.2 感兴趣区域的提取 毛豆含虫部位的区域提取是豆荚螟检测的关键因素，考虑到豆荚螟幼虫时期主要啃食豆粒，所以提取豆粒为感兴趣区域（Region of Interest，ROI）来研究组织结构和化学成分的变化即可。文献[12]中借助于ENVI V.4.3（Research System，Inc.，USA）软件在豆粒位置手动提取区域来作为ROI，因为此时可以人为控制无需考虑毛豆的弯曲程度，所以选择豆粒的最佳内接方形区域来作为ROI，此区域大小为150pixel×150pixel。然后经过一系列的格式转换，最后提取区域特征参数。

手动提取需要人为的来控制，对每个样本的每个波段图像都要进行ROI提取，效率低，费时费力。所以ROI的自动提取方法至关重要。

本文研究了基于平均灰度值的ROI自动提取方法，效率高，省时省力。具体的提取方法步骤如下：

a.对所含豆粒个数不同的样本分别做标记。

b.对样本的相对透射图像进行校正滤波等预处理。

c.计算每个样本在每个波段下的横坐标上所有灰度的平均值。

d.利用前突变点差值运算以及后突变点差值运算的方法来确定每个豆粒在横坐标上的大概位置边界（图4中的波谷处），然后取两个边界的中心位置做豆粒纵轴的中心坐标。对每个豆粒都要进行前突变点差值和后突变点差值运算。

e.用毛豆轮廓的上下边界之间的最大距离做整个毛豆的纵向宽度，以（4）中求得的x轴坐标为中心点，选择大小为[x-60，x+60]的区域为横向宽度，然后计算此区域上的平均灰度值，用此做豆粒的中心位置的横坐标。

f.以每个豆粒的中心坐标为中心，向左向右向上向下各取四个值，也就是感兴趣区域的左上顶点坐标和右下顶点坐标，最后以这两点的坐标为边界选择感兴趣区域。因为此时要考虑到毛豆的弯曲程度，如果选择区域过大可能会提取到背景和轮廓，再者考虑到豆粒本身的形状，此时选择大小为120pixel× 100pixel的区域来作为豆粒的ROI，这样既减少了数据的冗余性又加快了数据的计算速度。

图3是含有两豆粒的毛豆样本在750nm波段下原始图，图4是样本的平均灰度值曲线，从中可以看到横向方向上豆粒的位置在整条曲线的波谷处，然后就可以提取到的豆粒上的感兴趣区域。

1.4.3 图像特征提取 考虑到毛豆物理结构和化学成分会对光产生不同的现象，例如，吸收、反射、散射、透射等，使得不同波段下不同毛豆的高光谱图像的光强不同，而且豆粒和含虫部位的纹理粗细度存在很大的差异性。图像的能量信息是度量图像灰度分布均匀程度和纹理粗细度的良好指标，因此本文利用不同波段下的图像能量信息作为豆荚螟的识别特征。具体实现过程如下：

图4 平均灰度值曲线Fig.4 The profile of mean gray

a.设波长为λ的毛豆的高光谱透射图像为f（λ，i，j），其中，λ=1，…，W，i=1，2，…I，j=1，2，…J。W为总波段数；I和J分别为图像的宽度和高度。对f（λ，i，j）进行自动ROI提取，获得p=1，2，…P（P为高光谱透射图像中豆粒的个数）个ROI的区域图像f（λ，m，n），此时的图像f（λ，m，n）作为ROI是因为它是根据灰度差异选择出来的灰度值较小的区域，而豆粒位置的灰度值小于豆荚位置，把豆粒作为ROI来研究组织结构和化学成分的变化，即研究此区域图像的纹理特征差异即可；

b.按公式（2）计算每个波段下的第个ROI区域能量E（λ）：

其中，M和N分别为ROI区域图像的宽度和高度，并且因为提取的ROI区域大小一样，所以本实验中M=120和N=100。

1.4.4 SVDD基本原理 为了能有效的解决单分类的问题，Tax和Duin在SVM的基础上提出了支持向量数据描述（support vector data description，SVDD）。它是通过核映射在高维空间建立涵盖目标样本拒绝非目标样本的最小超球体的单类分类器。因为实验中有虫样本较少，无虫样本较多，正常样本和有虫样本数量上存在非平衡性，所以选择SVDD算法来建立分类模型。该算法的主要原理可以描述为给定对象数据集X={xh，h=1，…ω}，寻找尽可能多的包含xh的球心a为半径为R的最小超球体F（R，α）。为增加分类的鲁棒性降低奇异样本的影响，引入惩罚系数C和松弛变量ξi。超球面求解可定义为[13-15]：

其中，参数C为控制错分样本的惩罚程度的常数。

首先将式（3）转化为求解拉格朗日极值问题，求得最小值。然后引入高维映射函数将数据映射到高维空间，并引入核函数K，计算最小超球体的半径R。最后判别新测试的样本y与超球体的距离是否小于R，如果小于，则测试样本与样本数据集X同类，否则拒绝识别。其中核函数采用径向基函数如公式（4）所示：

K（xh，y）=exp（-‖xh-y‖2/s2） 式（4）

其中s为控制边界紧密程度的自由参数。

参数C和s的选择对SVDD建模分类精度非常重要。实验用网格选优法自动选择参数。参数C取值在0.1和1之间，步长设置为0.1，s取值位于0.01和10之间，步长设置为0.01。结合留一交叉验证方法，根据错误分类率选择的最优参数值为C=0.2，s=0.01。

2 结果与讨论

2.1 能量特征提取结果

图5是4个正常样本和4个有虫样本能量特征曲线。由于受光源功率及量子效率等综合因素的影响，采集的光谱图像的光谱数据噪音较大[16]，所以能量特征曲线在小于500nm波段下波动较大。在700nm后，由于毛豆内部的化学成分对光的透射和吸收作用增强，有虫样本和正常样本曲线会有较大的差别。因为被虫啃食过的豆粒，其内部的化学成分和纹理发生了变化，呈现不规则性。而正常样本的化学成分和纹理比较均一，所以有虫样本的能量值小于正常样本，这也与当样本能量特征矩阵中全部数值相差较大时纹理粗能量大、数值相差较小时纹理细能量小相符合。

图5 四个正常样本和四个有虫样本能量特征曲线Fig.5 The profile of power values for four normal samples and four insect-damaged samples

2.2 手动提取ROI分类结果比较

在手动方法中，用文献[12]一样的方法来提取大小为150pixel×150pixel的方形区域作为ROI。与文献[12]的统计特征预测集分类精度相比较见表1所示。基于能量特征参数的分类中，正常和有虫样本分类精度同为100%，总精度为100%。而文献[12]中四统计特征（最大，最小，平均，方差）分类精度中，正常样本分类精度为97.3%，有虫样本分类精度为87.5%，总精度为95.6%。基于能量特征参数分类精度都好于四特征的分类精度。

表1 手动提取ROI统计特征的预测集分类结果比较Table 1 Comparative analysis of prediction set of extracting manually characteristic parameters of ROI

2.3 自动提取ROI分类结果比较

基于灰度平均值自动提取ROI的统计特征预测集分类精度如表2所示，基于能量特征的正常样本分类精度100%，有虫样本分类精度为75%，总精度为95.6%，为了便于比较，表2也给出了本文的自动提取ROI方法并结合最大、最小、平均、方差四种统计特征的分类精度，正常样本分类精度100%，有虫样本分类精度为62.5%，总精度为93.3%。尽管从总体分类精度来说区别不大，但是对有虫样本的分类正确率，基于能量特征的分类精度要大大高于基于4参数统计特征的分类精度。可能的原因在于过多的统计参数，导致SVDD在构建分类超平面时的过拟合，并最终产生对未知含虫样本的分类错误。实验结果表明基于平均灰度值自动提取ROI的方法是有效的，而且为样本大批量处理和在线处理提供了很好的方法。

表2 自动提取ROI统计特征的预测集分类结果比较Table 2 Comparative analysis of prediction set of extracting auto characteristic parameters of ROI

3 讨论

基于平均灰度值的自动提取ROI方法中的能量特征参数分类精度低于手动提取ROI中能量特征参数的分类精度，这是因为手动提取过程中，ROI区域的位置可以人为控制。而自动提取ROI过程中，ROI的提取受到一些客观因素的影响，例如如果毛豆弯曲程度特别大或者毛豆位置放置太过倾斜的话，ROI提取过程中就会提取到背景或者豆荚，或者ROI提取的豆粒不完整，所以自动提取ROI的方法还需进一步的研究。

尽管自动提取ROI的方法，在分类精度上要低于人工手动提取，但是自动提取方法可较好克服对人员的依赖性，效率更高，便于在线运用。就特征提取方法来说，本文提出的能量特征方法，由于采用了较少的分类特征参数，减少了SVDD分类超平面过拟合的风险，因此无论是结合自动提取感兴趣区域，还是手动提取感兴趣区域，其分类精度都要高于文献[12]报道的四特征参数方法。

由于本次实验样本来自于2011年7月浙江省慈溪市海通食品有限公司的毛豆种植基地，公司已经过分拣、挑选、清洗和漂烫等处理，所以有虫样本较少，为了增加模型的可靠性，在后续研究中也需要提高有虫害样本的数目来进行更加有效的验证。

4 结论

本文利用高光谱图像技术既能反映图像信息又能反映光谱信息的特点，应用于毛豆内部豆荚螟的无损检测。结果表明：灰度平均值自动提取方法可以有效提取豆荚的ROI，而且省时省力，效率高，这对于实现样本的大批量处理和在线应用提供了很好的方法。利用图像能量信息作为样本的识别特征，在一定程度上简化了特征提取的复杂性。采用能量特征结合SVDD分类算法，正常样本分类精度为100%，有虫含本分类精度为75%，总精度达到了95.6%，说明利用高光谱图像技术对毛豆内部的豆荚螟进行无损检测是可行的。

[1]Hagstrum D W，Vick K W，Webb J C.Acoustical monitoring of Rhyzopertha dominica（Coleoptera：Bostrichidae）populations in stored wheat[J].Journal of Economic Entomology，1990，83（2）：625-628.

[2]Mankin R W.Microwave radar detection of stored-product insects[J].Journal of Economic Entomology，2004，97（3）：1168-1173.

[3]Melvin S，Kanunakaran C，Javas D S，et al.Design and development of a grain kernel singulation device[J].Canadian Biosystems Engineering，2003，45（3）：1-3.

[4]张红涛，毛罕平，邱道尹.储粮害虫图像识别中的特征提取[J].农业工程学报，2009，25（2）：126-130.

[5]陈浩梁，李金甫，邱国强，等.植物害虫检疫中的近红外光谱检测技术[J].植物检疫，2008，22（4）：256-259.

[6]周竹，李小昱，陶海龙，等.基于高光谱成像技术的马铃薯外部缺陷检测[J].农业工程学报，2012，28（21）：221-228.

[7]薛龙，黎静，刘木华.基于高光谱图像技术的水果表面农药残留检测实验研究[J].光学学报，2008，28（12）：2277-2280.

[8]李江波，饶秀勤，应义斌，等.基于高光谱成像技术检测脐橙溃疡[J].农业工程学报，2010，26（8）：222-228.

[9]马本学，应义斌，饶秀勤，等.高光谱成像在水果内部品质无损检测中的研究进展[J].光谱学与光谱分析，2009，29（6）：1611-1615.

[10]赵杰文，刘剑华，陈全胜，等.利用高光谱图像技术检测水果轻微损伤[J].农业机械学报，2008，39（1）：106-109.

[11]朱启兵，冯朝丽，黄敏，等.基于图像熵信息的玉米种子纯度高光谱图像识别[J].农业工程学报，2012，28（23）：271-276.

[12]HUANG Min，WAN Xiang-mei，ZHANG Min，et al.Detection of insect-damaged vegetable soybeans using hyperspectral transmittance image[J].Journal of Engineering，2013，116（1）：45-49.

[13]朱启兵，冯朝丽，黄敏，等.基于高光谱图像技术和SVDD的玉米种子识别[J].光谱学与光谱分析，2013，33（2）：517-521.

[14]杨振章，方景龙.基于SVDD的分类新方法[J].机电工程，2009，26（11）：48-50，97.

[15]Sakla W，Chan A，Ji J，et al.An SVDD-based algorithm for target detection in hyperspectral imagery[J].IEEE Geoscience and Remote Sensing Letters，2011，8（2）：384-388.

[16]张红涛，毛罕平，韩绿化.近红外高光谱成像技术检测粮仓米象活虫[J].农业工程学报，2012，28（8）：263-268.

Detection of insect-damaged edamame based on image power using hyperspectral imaging technique

MA Ya-nan1，HUANG Min1，2，LI Yan-hua3，ZHANG Min2，BU Pei-yin3
（1.Key Laboratory of Advanced Process Control for Light Industry，Ministry of Education，Jiangnan University，Wuxi 214122，China；2.State Key Laboratory of Food Science and Technology，Jiangnan University，Wuxi 214122，China；3.Wuxi Entry-exit Inspection and Quarantine Bureau，Wuxi 214101，China）

In order to seek a quick and efficient detection method of edamame，hyperspectral imaging technique was applied to the nondestructive detection of insect-damaged edamame in this study.It was well known that the ROI of the vegetable soybean pods is the position of the beans，A ROI selection approach based on the mean gray values in the horizontal coordinate and vertical coordinate was proposed.In this experiment，hyperspectral transmission images were acquired from normal and insect-damaged vegetable soybeans（225 beans），These beans were used as the research samples.First，a region of interest（ROI）of edamame was extracted automatically using the mean gray value method from hyperspectral images.Then，the image power of ROI was extracted as classification feature，which the spectral region covered 400～1000nm and contained 94 wavelengths.At last，support vector data description（SVDD）was used to develop the classification models for the insect-damaged edamame.In the validation set，the results indicated the automatic extracting ROI method based on the mean gray value achieved 100%accuracy for the normal samples，75%accuracy for the insect-damaged samples，and 95.6%overall classification accuracy，which could discriminate insectdamaged edamame.

edamame；a region of interest；power；support vector data description

TS207.3

A

1002-0306（2014）14-0059-05

10.13386/j.issn1002-0306.2014.14.003

2013－10－10

马亚楠（1989-），女，硕士研究生，研究方向：基于高光谱图像技术的无损检测。

国家自然科学基金项目（61271384，61275155）；国家质检总局科技计划项目（2013KJ58）；江苏省自然科学基金项目（BK2011148）；中国博士后基金项目（2011M500851）。