基于多光谱图像融合技术的麦粒图像增强方法研究

张红涛，孙志勇，田 媛，侯栋宸

(华北水利水电大学，河南 郑州 450045)

粮粒内部害虫的检测，近十多年来一直是粮虫检测领域的研究热点． 传统的粮粒内部害虫检测方法有感官检验法、伯利斯漏斗法、害虫碎片检验法、悬浮法等．这些方法有一个或多个缺点，如太主观、复杂繁琐、不准确、耗时、具有破坏性等．国外学者利用软X 射线成像法、近红外光谱法和近红外光谱成像法3 种检测方法，能确定粮粒中由于害虫造成的物理和化学变化，可用于粮粒的自动检测．

2004 年，Haff 等设计了高分辨率X 射线实时线扫描成像系统以检测谷蠹的侵染，单个粮粒的图像可直接可视化分类，提高了分类的效率．

Ridgway 等(1999 年)运用近红外光谱设计了两波长谷象侵染麦粒分类模型，指出成像系统中采用982 nm 和1 014 nm 波长的组合检测侵染的可能性．

2004 年，Paliwal 等利用近红外光谱对小麦样本的害虫侵染进行检测，结果表明该法可达到大于25%的侵染正确识别水平． 应用多光谱成像技术检测麦粒内部害虫的方法，国内外都没有相关报道．

被害虫侵染后的麦粒，在初期，仅单一波段下光谱图像或彩色图像，无论采用形态学特征或者颜色特征进行分割，都难以得到部分麦粒的轮廓和孔洞特征信息，这样达不到满意的分割效果．为了解决可见光CCD 获取的图像所丢失的目标信息，笔者提出了基于多波段图像融合及彩色空间转换后的图像融合技术进行图像的增强． 在多波段和多空间的图像融合方式中，采用主成分分析选择其最好的融合方式，从而充分利用了近红外、红色、绿色和RGB 分量的信息，便于后续图像的分割识别．

1 粮粒多光谱图像采集

以对小麦种危害最为严重的谷蠹侵染的粮粒为研究对象，利用美国Duncan Tech 生产的MS3100 多光谱相机采集麦粒的多光谱图像，同时可采集到近红外(NIR)、红(R)、绿(G)图像及合成的彩色RGB图像，分辨率能达到1 392(H)×1 040(V)．拍摄采用3CCD 摄像头，敏感光学传感器元件与桌面平行架置，其摄像头高度为22 ～24 cm，与支架的距离调至18 ～20 cm．图1 为图像采集的硬件系统，样本采用每5 粒为一板，以便后续处理，其中一组经过分割后的子区域样本图像如图2 所示［1］．

图1 样本采集系统

图2 麦粒的ROI 多光谱图像

2 粮粒多光谱图像融合

2．1 RGB 图像到HSI 彩色空间的转换

RGB 图像向HSI 模型的转换是由一个基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标的双锥体转换［2］．基本要求是将RGB 中的亮度因素分离，将色度分解为色调和饱和度，并用角向量表示色调．RGB 和HSI 模型如图3 所示．

图3 RGB 和HSI 模型示意图

RGB 转换至HSI 彩色空间的方式有4 种:几何推导法、坐标变换法、分段定义法、Bajon 近似算法和标准模型法．本课题用最经典的几何推导法．其基本思路是先分离出亮度信息，将三维空间降到二维空间，在二维平面内利用解析几何的向量点积公式求出HSI 模型的色调分量值．对图2(d)，即RGB 图像利用几何推导法进行HIS 空间转换得到各分量，如图4 所示，3 个分量分别为色调H、饱和度S 和亮度I．其计算公式分别如下:

其中

图4 几何推导法转换得到RGB 图像和HIS 空间各分量图像结果

2．2 多种图像融合处理

图像增强是麦粒内部害虫检测自动识别中必不可少的一部分，其目的是减弱或者消除不必要的背景干扰，突出麦粒被侵染后与健康麦粒的纹理特征差异，提高原始图像的视觉效果，以便进一步分析和处理．对于多光谱图像的增强处理可利用多光谱图像融合技术实现，不同波段的图像只侧重反映麦粒的某一部分信息，多光谱图像融合技术可以使目标影像信息清晰、正确地表现在一幅图像上，有效地降低干扰，提高对麦粒上是否有孔洞的辨析能力．

图像融合之前一般需要进行配准处理，需对同一目标拍摄的2 幅图像或多幅图像在空间位置上相对或绝对配准［3］． 本研究采用MS3100 型3CCD 摄像头一次性获取近红外、红、绿和RGB 图像，从而保证这4 幅图像上的位置点一一对应，无需进行配准可以直接进行图像融合． 研究中将多光谱图像融合分为3 个部分，原始图像之间的融合、原始图像与HIS 空间分量之间融合、归一化后图像融合［4－5］．

首先在未对近红外(标记为“IR”)、红(标记为“R”)以及绿(标记为“G”)3 个数值量处理前，数值组合有10 种，原始图像与HIS 彩色空间各分量之间融合的方式有11 种;对采集的IR，R，G 图像进行归一化处理，处理后的图像进行融合有8 种融合方式，共计29 种融合方式，具体如下:IR，R，G，IR +R，R +G + IR，IR － R，IR/R，IR/G，G/R，(IR － G)/(IR+G)，RGB，H，S，I，IR/H，IR/S，IR/I，R/H，R/S，G/H，G/S，ir，r，g，ir +r，g +ir，g +r，ir －r，2g －ir －r．其中ir，r，g 及其组合是基于对原始图像进行归一化处理，即

使用MATLAB 7．1 软件对图像进行29 种数值量组合，选取其中的6 幅如图5 所示．

3 主成分分析提取最优波长

主成分分析(Principle Component Analysis，PCA)又称为主分量分析，主要目的是通过降维的方法，把变量由多个转化为极少数个综合变量(即主成分)，其中每个主成分都由原始变量通过线性组合而成，而且每个主成分之间无关联．因此原始变量的很多信息都可以由这些主成分反映出来，且所含的信息相互独立［6］．

主成分分析的具体步骤如下．

1)计算协方差矩阵．

首先要对样品数据的协方差矩阵进行计算，协方差矩阵的计算公式为

其中

2)计算主成分载荷．

主成分载荷是反映主成分F1与原变量Xj之间的相互关联程度，原来变量Xj(j = 1，2，…，p)在每个主成分Fi(i = 1，2，…，m)上的载荷Lij(i = 1，2，…，m;j = 1，2，…，p)为

3)计算主成分得分．

样品在m 个主成分上的得分的计算公式为

对4 组29 种融合后的图像进行主成分分析，图6(a)所示是其中一组组合的第1 主成分图像，图6(b)是第2 主成分图像，第1 主成分和第2 主成分的累计贡献率分别是79．98%和14．21%，所以第1主成分更适合优选最佳融合波长． 表1 为4 组图像融合下的第1 成分分析前4 个因子对应的融合方式序列号和对应的载荷及累计贡献率．

图6 信息融合后的主成分分析结果

表1 第1 主成分分析

由表1 可知，对这4 组样本第1 主成分进行分析，第1 主成分前4 个因子中，第一个因子为7 的概率最大．同时由图5 可以看出，IR －R 图像中纹理特征清晰，能明显看到孔洞． 说明在这29 种融合方式中，第7 种即IR－R 融合方式效果最佳．

4 结 语

针对不同波段的图像只是侧重反映麦粒的某一部分信息，仅对这几张多光谱图像进行特征提取，势必会漏掉很多有用信息等问题，所以提出了使用图像融合技术来增强图像的方法．对采集到的近红外、红、绿及全色图像进行了29 种融合，采用主成分分析方法作为评判标准．通过原始、归一后图像融合及不同空间图像融合对比发现，选用IR －R 融合图像可以使目标影像信息清晰、正确地表现在图像中．研究表明，通过一定的多光谱图像融合方式能够有效地增强图像．

［1］张红涛，胡玉霞，邱道尹，等．基于相对熵阈值法的储量害虫图像分割［J］． 华北水利水电学院学报，2003，24(3):27 －29．

［2］章毓晋．图像处理与分析教程［M］．北京:人民邮电出版社，2009．

［3］胡玉霞，张红涛，毛罕平，等．基于多分辨率分析的储粮害虫图像预处理研究［J］． 农机化研究，2012(8):160－163．

［4］张玉珠，毛罕平，张艳诚，等．基于多光谱融合图像的背景分割［J］．农机化研究，2008 (10):122 －124．

［5］岑益郎．计算机视觉技术在杂草识别中的应用［D］． 杭州:浙江大学，2006．

［6］张红涛，楚清河，顾波，等．核函数主成分分析在粮虫特征提取中的应用［J］． 河南农业科学，2011，40(9):90－93．