近红外高光谱大米典型特征提取分类识别

张瀚文, 李 野, 江 晟, 邓志吉

(1. 长春理工大学 物理学院, 长春 130022； 2. 浙江大华技术股份有限公司, 杭州 310051)

传统大米品质检测以凯氏定氮法、 高效液相色谱法等化学方法为主, 不仅要求专业技术人员技术水平高[1], 且具有操作流程复杂、 检测周期长并损耗大量稻米样本等弊端[2]. 高光谱成像检测技术是基于连续密集波段下的二维灰度图像和一维光谱图像构成的三维数据立方体, 探测载体目标的几何空间信息和多维光谱信息, 获取目标高分辨率、 高质量成像数据. 目前, 提取高光谱感兴趣区域(region of interest, ROI)方法很多, 吴琼[3]和曹崴[4]利用ENVI软件获取高光谱ROI区域谱段信息是应用最广泛的方法, 但其提取速度较慢, 人工操作频繁, 易导致新误差. 图像分割作为模式识别的重要方法已广泛应用于数字图像预处理, Chala等[5]利用卷积神经网络提出了一种视网膜图像自动分割编/解码器结构方法; Triki等[6]提出了一种Mask-RCNN图像分割算法致力于气候变换与植被演变研究. 能量泛函活动轮廓波算法是经典的图像分割方法之一, 该方法可获得阈值分割最优图像控制点, 实现目标图像的精准分割. 计算机视觉在识别图像典型特征时, 图像背景噪声对分割图像特征区域存在一定干扰, Zuo等[7]利用非局部均值化和自适应性, 提出了一种小波阈值图像去噪方法, 丰富重复的特征图像. 图像降噪有助于全面检测特征区域, 增强图像清晰度与信噪比[8], 更好地实现高光谱成像多维信息处理, 实现健康大米(healthy rice, HR)、 陈化大米(aged rice, AR)和霉变大米(moldy rice, MR)的快速分类识别. 针对上述问题, 本文提出一种自动获取近红外高光谱典型特征的模式识别算法, 保证高光谱有效信息不缺失, 并对比分析了3种品质、 4个地区大米的ROI区域和几何形心点(geometric centroid point, GCP)品质分类效果.

1 实验环境与化学对照建立

1.1 样本来源

样本采用黑龙江省五常市大米, 吉林省柳河县合十贡米、 江苏省宜兴市小町米及河北省承德市小町米.

1.2 仪器设备

使用Hyperspec Ⅲ近红外高光谱成像系统(美国Headwall公司)采集样本, 设备工作波段为885～1 701 nm, 共172个波段. 应用该系统采集高光谱信息前经若干次对比预实验调整光通量、 物距和移动速度等多个参数. 近红外高光谱成像系统结构如图1所示.

图1 近红外高光谱成像系统Fig.1 Near infrared hyperspectral imaging system

为验证不同品质大米典型特征识别的有效性, 选择MATLAB2017进行数据分析, 实验环境为Intel Core i7-10700 CPU, 16 GB内存, Windows10专业版操作系统, 实验技术路线如图2所示.

图2 实验技术路线Fig.2 Experimental technical route

采集HR,AR和MR大米近红外高光谱图像(near infrared hyperspectral imaging, NIR-HSI), 将大米样本约按5∶1分为训练集和预测集, 其中训练集1 200粒大米, 泛化预测集252粒大米, 分别对大米形态ROI与GCP区域建立识别模型, 对比分析大米不同典型特征品质分类效果, 选择更适合本文算法的大米典型特征区域预测大米品质.

1.3 化学定性对照

为验证不同品质大米样本, 用化学试剂进行大米品质定性对比. 化学实验效果如图3(A)，(B)所示, 其中HR样本液为绿色, AR样本液为橙色； HR与AR测试卡呈阴性双红色线条, MR呈阳性单红色线条, 如图3(C)，(D)所示.

图3 HR,AR,MR化学定性对比Fig.3 Chemical qualitative comparison of HR,AR and MR

2 掩膜能量泛函活动轮廓波的高光谱图像预处理

2.1 掩膜能量泛函活动轮廓波

本文任意选取高光谱第40维作为初始表征图像进行大米NIR-HSI图像预处理, 在表征图像上进行掩膜泛函能量活动轮廓(Mask-Snake)运算处理, 利用一个掩膜矩阵重新计算图像中的像素值[9], 再根据表征图像中的能量梯度确立米粒的基本ROI区域限界. 其阈值分割算法模型为

(1)

其中:Eint=V(S)表示米粒ROI轮廓内的自身能量, 称为米粒内部能量；Eimage(V(S))表示米粒ROI轮廓边界对应像素点的能量, 称为米粒外部能量；Econ(V(S))表示米粒内、 外部能量的方差相关项. 内部能量由弹性能量和弯曲能量两部分构成.

2.2 腐蚀与膨胀

经Mask-Snake高光谱成像预处理后, 表征图像已初具米粒基本形态与边界, 但图像中仍存在少量分布不均匀的背景噪点. 通过腐蚀膨胀运算使目标图像的轮廓变得更光滑清晰, 其具体作用为断开较窄的狭颈并消除细突出物, 使米粒形态的边界变得锐利可见. 将降噪后的表征分割图像应用八联通域相接, 且逐个标记样本. 降噪结构元B对集合A进行腐蚀膨胀降噪运算, 模型定义为

A∘B=(A!B)⊕B,

(2)

先令B对A进行腐蚀, 然后用B对结果进行膨胀.A∘B的边界由B中点建立, 当B在A的边界内侧滚动时,B所能到达A边界的最远点, 即为降噪区域.其中A为表征图像全域,B为腐蚀膨胀模块.

2.3 高光谱典型特征区域信息提取

目标样本初始表征图像经Mask-Snake与降噪预处理, 可得到一颗纯净的大米形态学区域, 但每张NIR-HSI图像中包含多粒样本, 不同米粒典型特征区域光谱信息不同, 在MATLAB仿真平台中实现样本大米数据典型特征属性可视化.

基于Mask-Snake连通域确定每粒大米表征图像的典型特征形态学区域, 对每粒样本的高光谱成像数据进行相同位置区域的172维全谱段形态覆盖, 以确保每一维度上的高光谱图像形态信息相同, 如图4所示. 图4中白色区域为大米形态ROI区域, 大米高光谱形态ROI典型特征需计算白色区域内的全谱段平均光谱反射值, 绘制大米ROI区域原始光谱图像； 红色虚线为大米形态边界自适应画出的矩形锚框, 根据矩形锚框的尺寸计算出大米GCP区域; 大米高光谱集合形心点典型特征需计算图中蓝色“*”号像素点的全谱段光谱反射值, 绘制大米GCP区域原始光谱图像.

图4 大米典型特征区域Fig.4 Typical characteristic area of rice

为提高大米品质识别的精确率, 对两种典型特征区域的大米反射光谱值进行多元散射校正(multivariate scattering correction, MSC)预处理, 该方法可有效消除由于散射水平不同带来的光谱差异, 增强光谱曲线与数据之间的相关性, 以此作为分类器输入数据进行大米典型特征区域对比分析, 为大米品质分类提供一个较好的数据预处理状态. 光谱校正模型为

(3)

其中Datai为光谱平均值,bi为基线平移量,ki为基线偏移量.

2.4 支持向量机

支持向量机(support vector machine, SVM)是数据集在二维/三维空间下至少存在一种分割超平面的分类算法, 可避免机器学习中的维数灾难现象[10]. 如图5所示, 在二维/三维空间下, 其决策方程对应空间中存在一个分割超平面, 将数据线性区分.

图5 支持向量机空间结构示意图Fig.5 Spatial structure diagram of support vector machine

当存在低维可区分时, 目标函数为

(4)

当存在低维不可分时, 通过核变换进行三维空间映射分类, 其目标函数为

(5)

NIR-HSI成像数据为空间非线性关系. 如式(4), 在低维空间下目标函数较难进行大米品质线性区分, 故将原始光谱数据映射至式(5)的三维空间目标函数中进行非线性数据分类. 每个产地的3种品质大米数据在高维空间中进行两次SVM运算, 两两区分后得到大米品质可视化判别结果.

3 实验对比与分析

3.1 大米NIR-HSI典型特征区域信息提取

以吉林省柳河县合十贡米为例, HR,AR,MR典型特征提取分别如图6～图8所示. 由图6和图8可见, HR与MR样本经Mask-Snake运算阈值分割后获取了精度较高的ROI区域. 由图7可见, AR样本质地松脆, 细微颗粒脱落在实验背板中, 图像分割后不能完全将样本微屑产生的噪声去除, 需用腐蚀与膨胀运算进行降噪, 得到较高信噪比的分割图像.

图6 HR典型特征提取Fig.6 Typical feature extraction of HR

图7 AR典型特征提取Fig.7 Typical feature extraction of AR

图8 MR典型特征提取Fig.8 Typical feature extraction of MR

由图6～图8可见, 每粒大米的形态ROI与GCP区域经NIR-HSI图像预处理后, 其表征图像大米颗粒边界精确、 分割形态饱满, 所选样本大米的ROI与GCP区域可较可靠地获取每粒大米样本的NIR-HSI典型特征区域信息. 相比于ENVI软件手动获取高光谱ROI和GCP区域信息, 其操作流程繁琐、 耗时也相对较长, 不便于高数量级高光谱成像典型特征区域的光谱信息提取, 而基于Mask-Snake高光谱图像自适应典型特征区域分割算法, 其获取高光谱多维信息速度更快, 算法流程更高效, 整体技术路线更稳定.

分别计算出HR,AR和MR样本的形态ROI与GCP区域的原始光谱图像, 对所获取的各品质大米原始反射光谱进行MSC预处理, 结果如图9～图11所示. 由图9～图11可见, 基于大米样本ROI区域的原始光谱反射曲线整体较光滑, 离散域较集中在一定幅值内, 经MSC预处理的光谱反射曲线, 其非线性关系更集中, 趋向形成一条非线性拟合带. 样本GCP区域的原始光谱反射曲线, 每条非线性光谱反射值呈小幅度锯齿状, 离散域较ROI区域幅度更大, GCP原始光谱经MSC预处理后在一定程度上拟合了各光谱反射值之间的散射差异, 但效果并不理想. 总之, 大米样本形态ROI区域光谱反射信息较平滑, 光谱反射率相对集中； 而大米GCP区域光谱反射值则呈现小范围波动前进趋势, 光谱反射率相对离散. 此外, HR与AR光谱反射趋势大致相同, 约在1 150,1 215,1 330,1 380,1 460 nm处出现波峰波谷, 但HR与AR的光谱反射率幅值存在一定差异； 而MR样本受黄曲霉毒素B1侵染影响, 约在1 215,1 380,1 460 nm处后的光谱反射趋势较HR与AR发生较大变化.

图9 HR光谱图像Fig.9 Spectral images of HR

图10 AR光谱图像Fig.10 Spectral images of AR

图11 MR光谱图像Fig.11 Spectral images of MR

3.2 大米典型特征区域映射模型对比分析

本文以SVM为空间映射分类模型, 分别建立大米NIR-HSI典型特征区域的Mask-Snake-MSC-SVM映射分类模型. 将来自黑龙江省五常市的大米(HLJWC)、 吉林省柳河县的合十贡米(JLLH)、 江苏省宜兴市的小町米(JSYX)以及河北省承德市小町米(HBCD)的HR,AR和MR共1 200粒大米样本作为训练集, 识别率列于表1； 将4个产地的HR,AR和MR乱序排布并采集NIR-HSI数据, 共252粒大米作为泛化预测集, 识别率列于表2.

表1 大米典型特征训练集识别率

表2 大米典型特征泛化预测集识别率

首先, 将大米NIR-HSI数据的训练集进行Mask-Snake图像预处理, 分别获取大米ROI与GCP区域的原始光谱反射信息； 其次, 将两组原始光谱信息分别进行MSC光谱预处理； 最后, 将两组原始光谱信息分别载入至SVM映射分类模型中.

由表1可见, 训练集大米ROI区域光谱信息识别准确率总体为98.50%, 大米GCP区域光谱信息识别准确率总体为94.92%, 前者较后者识别精度略高3.58%. 由表2可见, 泛化预测集大米ROI区域光谱信息识别准确率总体为94.84%, 除HBCD-AR等4种品质大米识别准确率在90%以下外, 其他产地的大米品质识别准确率均在90%以上； 大米GCP区域光谱信息识别准确率总体为84.13%, 仅HLJWC-HR,HBCD-HR和HBCD-AR的模型识别精度在90%以上, 其余产地的大米品质识别准确率均在90%以下； 泛化预测集ROI较GCP识别精度高10.71%. 基于大米ROI区域光谱信息的泛化预测集比训练集识别精度降低3.66%； 而大米GCP区域光谱信息的泛化预测集比训练集识别精度降低了10.79%, 下降幅度较大.

在NIR-HSI目标样本数据处理技术路线一致的前提下, 基于GCP区域光谱信息的建模精度略低, 原因是受NIR-HSI空间信息限制, 所提取的原始光谱信息仅能表示单一像素点谱段信息, 并不能完全代表一粒完整大米的全部多维度高光谱信息, 单一GCP区域未能更好地利用高光谱丰富的空间信息, 导致大米GCP区域信息识别精度较低. 而大米ROI区域利用了高光谱丰富的多元像素、 多维空间信息, 所提取原始平均光谱信息更具有NIR-HSI大米样本整体代表性, 检测精度更高. 因此, 大米形态ROI区域比GCP区域建模更适合Mask-Snake-MSC-SVM大米品质鉴别算法.

图12为大米品质可视化判别结果, 以JLLH为例, 3种品质大米呈不同姿态乱序分布, 为大米品质识别模型增加泛化性与普适性, 图12中绿框为HR, 蓝框为AR, 红框为MR. 与文献[11]中大米产地溯源分类识别相比, 本文分类准确率更高. 文献[11]方法用ENVI4.8版本手动提取大米感兴趣区域, 将该区域内像素点平均光谱值作为后续的分类信息, 综合分类准确率为79%, 该方法人为提取高光谱典型特征, 其主观因素较强.

图12 JLLH三种品质大米可视化分类识别结果Fig.12 Visual classification and recognition results of three kinds of quality rice in JLLH

综上所述, 本文针对大米近红外高光谱特征轮廓不清导致有效信息损失与有损化品质检测的问题, 提出了一种基于掩膜下能量泛函活动轮廓波的大米高光谱典型特征区域提取算法组合模型. 采用能量泛函活动轮廓波图像分割算法自适应获取大米典型特征区域, 使二维形态表征信息覆盖高光谱多维度信息, 快速提取高光谱大米典型特征区域内的光谱信息, 优化了大米高光谱典型特征区域提取算法. 基于Msak-Snake对原始NIR-HSI数据进行图像预处理, 提取大米ROI与GCP区域的谱段信息, 分别建立SVM大米品质特征映射模型, 对比分析了高光谱大米典型特征选取对映射模型识别精度的影响, 与ENVI提取高光谱感兴趣区域方法相比, 本文方法自适应捕获大米形态ROI区域, 识别精度更优. 实验结果表明, 对4个产地、 3种品质大米样本进行NIR-HSI形态ROI区域与GCP区域的光谱信息自适应提取, 分别建立两种NIR-HSI典型特征区域的Mask-Snake-MSC-SVM分类映射模型, 经对比分析后, 训练集大米形态ROI区域识别精度为98.50%, GCP区域识别精度为94.92%； 泛化性预测集形态ROI区域识别精度为94.84%, GCP区域识别精度为84.13%, 大米形态ROI区域更适合整套大米品质鉴别算法模型. 本文Mask-Snake-MSC-SVM大米品质识别仿真模型可视化判别精度较高, 能有效解决大米品质无损化快速检测问题, 泛化性预测集使模型具有较强的实用性与泛化性.