基于最佳邻域重构指数的水下高光谱目标检测

李斯特, 孙旭东，张红旗，徐凤强，付先平，2

(1.大连海事大学 信息科学技术学院, 辽宁 大连 116026; 2.鹏城实验室，广东 深圳 518033)

0 引言

目前水下机器人大部分是通过传统RGB相机来采集水下图像进行目标检测的，所运用的主流检测算法主要有基于传统图像处理方法[1-3]的目标检测算法和YOLO[4]等基于深度学习的目标检测算法，其对水下目标的检测速度与精度都达到了较高的水平。但在动态浑浊、背景复杂或检测目标具有保护色的情况下，利用传统RGB相机进行采集检测时，检测精度都有了较为明显的下降，检测过程变得十分困难。

近年来，高光谱图像(HIS， hyperspectral image)因能提供比传统RGB图像更丰富的信息而受到广泛关注。HSI是一组三维数据集，由数百个光谱波段组成，每个波段都记录了场景对特定电磁波的反射率，其成像波段覆盖紫外、可见光、近红外和中红外波段，提供了丰富的光谱信息，将高光谱技术应用到水下环境的目标检测中，可以帮助我们改善在一些复杂水下环境中的检测情况。基于高光谱技术的目标检测算法有很多，例如光谱匹配滤波[5](SMF)算法、异常检测(RX)算法[6]、正交子空间投影[7](OSP)算法以及由Harsanyi提出的约束能量最小化[8](CEM, constrained energy minimization)算法等。而CEM算法是一种仅根据已知目标的光谱信息，就可以表现出良好性能的检测算法，适合在背景复杂、先验条件不足的水下环境中使用，符合水下机器人在海产品养殖区域内的水下目标检测需求。

高光谱图像处理技术已经成功地应用于医学影像处理[9]、产品质量检验[10]、环境监测[11]等方面。但国内外有关运用在水下机器人上的高光谱目标检测方法的研究目前进展并不多，其主要原因有以下两点：第一，高光谱图像分辨率较高，数据量较大，根据其成像特征，高光谱图像具有较高的时间复杂度和空间复杂度，相邻波段之间也有较高的相关性，其成像速度、计算速度和传输速度都比较慢，不适合水下设备进行实时的目标检测；第二，由于高光谱技术在针对水下目标的军事邻域和经济领域上均具有较高的战略意义，其技术开放程度较低。

现有的有关水下机器人的高光谱研究方向主要分为海底矿物勘测、海底珊瑚礁检测以及海底生物栖息地勘测等方面。挪威大学的团队为了研究水下高光谱成像仪(UHI, underwater hyper-spectral imager)[12]在海洋矿物勘探中的适用性，将该成像仪安装在无缆水下机器人(AUV, autonomous underwater vehicle)和遥控水下机器人(ROV, remote operated vehicle)上对海底行进了勘测。Daniel L等人设计了一个以补偿光在水中衰减的光传播模型为基础的原位高光谱系统[13]，并将此高光谱系统安装在了AUV上，通过在澳大利亚大堡礁珊瑚礁调查期间获得的数据证明了该系统安装在AUV上校正数据的实用性。Ines Dumke等人设计了一个用于海底底栖巨型动物分类[14]的UHI，并使其搭载在水下机器人上进行了水下实验，其中，该UHI是根据特定的波段反射率特征来识别不同的海洋生物从而进行分类，但是其效率较低，处理速度和成像速度较慢，不适合水下捕捞机器人对于海参、扇贝等小型海产品的实时检测和抓捕。A.C.R.Gleason[15]利用滤光片轮选取6个10 nm宽的波段图像，其中基于568 nm和546 nm波段进行的图像归一化差分比的新算法可以从非光合背景中分割出光合生物(珊瑚和藻类)，结果表明这样的方法可以从图像背景中识别出珊瑚和藻类一般覆盖类别。该实验验证了在海底珊瑚检测方面利用若干波段组合的光谱相机可以比普通RGB相机更加高效，但是上述实验不具有普遍性，并不能在水下目标检测中重复实现该过程。

所以，针对现如今水下高光谱目标检测中遇到的问题，我们需要找到一种能够有效地筛选出对目标检测效果较好波段的波段选择[16]方法，来去除冗余数据，提升光谱数据的采集速度和检测速度，从而提高水下高光谱目标检测的精度和效率，以达到水下机器人可以实时检测与抓捕海产品的需求。因此，本文提出了一种基于最佳邻域重构指数(ONRIF, optimal neighborhood reconstruction index factor)的水下高光谱目标检测方法。整体流程如图1所示，首先，对高光谱原图像进行初步波段选择，根据最佳邻域重构法[17]中的线性重构思想，选出信息量高的初步波段组合；其次，对初步波段组合，进行二次波段选择，以达到去除相关性的优化，筛选出信息量较高且波段间冗余度低的最佳波段组合；最后，将采集到的最佳波段组合中各单波段图像进行融合，用融合图像代替全波段图像进行CEM检测，从而完成整个检测流程。另外，在相同的检测环境下，可以使用单色相机与滤光片结合的形式采集最佳波段组合的单波段图像，其采集速度可以接近普通RGB相机的水平。这样的采集系统搭载在水下机器人上，可以直接采集水下目标的单波段光谱图像集合，从而大幅度提高采集光谱图像的效率。本文所提出的方法，解决了传统高光谱检测方法中数据量过大和处理速度过慢的问题，其采集到的图像保留了检测目标的重要信息，比普通RGB相机所采集到的图像具有更高的分辨率、更丰富的信息，可以基本满足水下机器人在背景复杂或检测目标具有保护色的情况下对于海产品的检测和抓捕的需求。

图1 基于最佳邻域重构指数的水下高光谱目标检测流程图

1 ONRIF方法

由于高光谱数据存在波段相关性强和数据冗余度高的特点，使用传统光谱成像设备进行采集和检测时会花费大量时间，且数据冗余还会对检测结果造成负面影响，难以满足水下机器人对于海产品的实时检测需求。所以通过波段选择方法选出具有良好检测能力的波段组合极为重要。下面是本文提出的最佳领域重构指数的波段选择方法的具体实施步骤：

1)根据高光谱图像数据Ω建立其对应矩阵X，通过奇异值分解X=U∑V*，再将所得的奇异值矩阵∑与右奇异向量矩阵的转置矩阵VT相乘，Y=∑VT，得出低维表示矩阵Y。

(1)

其中:x为任意常数，τ为超参数。再令辅助变量L∈Rd×d×d为：

(2)

其中：l、r、j为枚举变量，1≤l≤j≤r≤d为取值范围，Z为优化变量。

3)对式(2)进行最小二乘法求解，得到：

L1,r,j=([Y1,Yr]T[Y1,Yr])-1[Y1,Yr]Yj

(3)

(4)

(5)

其中:Sij表示波段i和j的协方差，其公式为：

(6)

最后，筛选出低相关性的最佳波段组合Ωb2。

本文所提出的ONRIF方法，首先基于线性重构思想，利用邻域重构寻优的方式对相邻波段的信息量进行对比，从而筛选出高信息量的初步波段组合；然后以波段间信息量与相关系数为基准，对初步波段组合的波段相关性进行衡量，挑选出波段间冗余程度较低且综合信息量较高的最佳波段组合，是一种兼顾信息量和波段间相关性的波段选择方法。

2 CEM算法

通过上述ONRIF方法得到最佳波段组合后，根据本文所提出的方法，接下来将对筛选出来的单波段图像进行波段融合，然后利用CEM算法对融合后的图像进行检测。CEM算法是一种仅知道目标光谱信息，在背景较为复杂或不能掌握背景先验信息的情况下，就可以对目标物进行探测的算法，该算法的特点十分符合水下机器人在水下目标检测时的需求。CEM算法主要通过线性约束最小方差波束形成器，提取特定目标方向的信号并且衰减其他方向的信号干扰，进而达到突在图像中目标物的地物信息并且压制背景信息的效果。

若{r1,r2,...,rN}是高光谱图像中的像元矢量，N是图像中的总像元数，每个像元则可以表示为ri=[ri1,ri2,...,riL]T为L维列向量，其中L是波段数，1≤i≤N。假设d是待检测目的目标光谱信号，是已知的先验信息。而CEM算法就是根据所设计的FIR线性滤波器，使其在满足下面约束条件式(7)的情况下，滤波器所得到的输出能量最小。

(7)

式中，w=[w1,w2,...,wL]T是由滤波系数{w1,w2,...,wL} 构成的L维列向量。

假设上述FIR滤波器对应输入ri的输出为yi，即：

(8)

则，相对的所有输入{r1,r2,...,rN}，滤波器输出的平均能量为：

(9)

(10)

且受限于dTw=1，用拉格朗日乘数法来求解，构造下列拉格朗日函数：

F(w)=wTRw+λ(dTw-1)

(11)

式中,λ是拉格朗日乘子。为了最小化上述函数，让其对w求偏导后等于零。

(R+RT)w+λd=2Rw+λd=0

(12)

其中：R为对称矩阵。

再求解式(12)得：

(13)

上式再结合式(7)可以得到λ：

(14)

即可知式(10)最优解为：

(15)

所以可以得到CEM滤波器δCEM(r)：

(16)

上述滤波器，可以在检测到所设定的感兴趣目标的同时，使其他未知信号引起的能量最小化输出。

通过后续CEM检测实验证明，本文提出的ONRIF方法，能够在保证检测精确度的同时，有效地减少光谱数据的冗余程度和提高检测时的处理速度，较好地匹配了CEM检测算法，提高了整体的检测效率。

3 实验

本文实验过程主要分为3个部分。第一部分，针对水下高光谱相机采集的全波段海参图像进行波段选择，分别使用最佳邻域重构法(ONR, optimal neighborhood reconstruction)、最佳指数法(OIF, optimal index factor)[18]以及本文提出的ONRIF方法，得到几种方法所对应的最佳波段组合；第二部分，针对第一部分得到的最佳波段组合进行波段融合，再对融合后的图像以及原图像进行CEM检测，根据检测实际效果进行对比；第三部分，在同一场景下，采集一次针对目标物的全波段高光谱图像，进行波段选择并记录所得的最佳波段组合，将其标为所要采集的单波段集合，之后只采集别的同类目标物所对应标定集合中的单波段，然后再进行融合与检测。

3.1 波段选择

首先进行水下海参高光谱图像的采集，采集到的图像均含有256个波段，其光谱范围从380～1 020 nm，尺寸为775×696。接下来，根据3种波段选择方法进行最佳波段组合的选择。

本文所使用的波段选择方法分两步完成，其中第一步是基于ONR算法的线性重构思想进行的，而针对第一步中初步波段选择的波段数量，进行了检测实验分析，将一张采集到的海参图像作为例图，仅通过初步波段选择后，提取其中部分波段来进行检测效果对比，如图2所示。

图2 不同波段数量组合检测对比图

由图2可知，分别从原图像中选取了10种不同波段数量的初步波段选择的波段组合进行了检测对比,其中考虑到初步波段选择数量太大则会影响检测速度以及增大数据冗余量，所以最多选取50波段。图2中所使用的检测算法是CEM算法，检测图中亮色部分是关于目标物的突出展示，越亮则表示效果越好；暗色部分是对背景信息进行的抑制作用，与目标物对比越明显则表示抑制效果越好。通过检测效果图对比，30波段的检测情况在突出目标物、抑制背景以及波段数量的综合考量下效果最好。

由于只进行检测效果图的对比，所得出的结论较为主观，本文还计算了各种波段数量检测结果的AUC(area under curve)值，如图3所示。(作为描述检测率与虚警率关系的ROC曲线与坐标轴围成的面积称为AUC，AUC的值就是处于ROC 曲线下方面积大小的数值。通常情况，AUC的值介于0.5～1.0之间，较大的AUC值就代表了该检测方法拥有较好的检测性能。)

通过图3可以看出，AUC值的波动到25波段以后较为平稳，且30波段检测的AUC值最高。所以综合检测效果图的对比和AUC值的对比，30波段的检测性能较好，最终选择30波段为初步波段选择的波段数量。

图3 波段数量与检测结果AUC值的趋势图

接下来进行不同波段选择方法的对比。图4为对比实验所使用的水下海参高光谱图像原图像以及对目标物标定的掩模。

图4 波段选择实验用图

表1是基于ONR算法对图像进行波段选择的结果。所得波段组合是在全波段中根据相邻波段的信息量比较后得出的包含30个波段的波段组合，其综合信息量很高。但是在所得到的波段组合中，很多波段极为接近。从波段编号45到编号66，分别有21个依次相邻的波段。而在高光谱数据中，相邻波段间的相关性往往高于非相邻波段[19]。表2是表1中10个较为接近的波段的相关系数矩阵。

从表2中可以看出，其相邻波段具有较高的波段相关性，均超过0.965，最高达到0.979。通常情况下波段组合中相邻波段越多，波段间冗余信息就越多，这样的情况会增大高光谱数据的冗余量，给检测和采集带来了不必要的负担，同时也会影响后续数据处理的效率，所以需要进行去除相关性的优化。

表1 ONR波段组合

表3与表4，分别是利用ONRIF算法进行去相关性优化后得到的最佳波段组合及其对应的相关系数矩阵。与表2对比可以看出，ONRIF所得的最佳波段组合的波段间的相关系数有所下降，表明其结果的冗余程度有所下降，并且所得的波段组合的波段数量有所下降，在一定程度上又降低了总数据量。

表2 ONR波段组合部分波段相关系数矩阵

表3 ONRIF波段组合

表4 ONRIF波段组合的波段相关系数矩阵

由表2～4对比可以看出，ONRIF的初步波段选择主要以信息量为判别标准，而经过二次波段选择后，在去除相关性方面取得了一定的效果，减少了光谱数据中很多相关性较高的波段，在一定程度上减轻了高光谱数据的冗余度，有利于之后的检测。

表5与表6是对原图像直接采用OIF算法进行波段选择所得的波段组合及波段组合中波段间相关系数矩阵。

表5 OIF波段组合

表6 OIF波段组合的波段相关系数矩阵

由表5～6可以看出，OIF算法主要是根据波段间相关性系数和之比得出的值进行衡量的，最终得出的波段组合中波段间相关系数很低。

3.2 融合检测

融合检测是将波段选择出来的波段组合中各波段融合后再进行检测的方法。本节实验是根据3.1中不同波段选择方法得出的波段组合，将挑选出的各单波段进行融合处理再进行检测。图5是3.1中原图像以及各方法波段组合融合后图像的对比(融合图为假彩色图像)，可以看出本文方法在融合后所展现出来的纹理细节更加接近原图。

图5 波段融合对比图

图6是对原图像直接进行CEM检测和对几种不同波段选择方法处理后融合所得图像进行CEM检测的对比图。通过对比可知，本文方法得出图像的检测效果与原图直接检测的效果所对比，在突出目标物的展示方面，具有较好的效果；同时对于背景信息的抑制方面，比对比方法所得图像进行检测时的抑制效果更好。

图6 检测效果对比图

关于各方法最终检测效果优劣的判定，本文结合了各方法检测结果的AUC值，并进行了对比，将其作为最终的定量检测结果，如表7所示。

表7 检测结果的定量分析对比

通过表7定量分析对比可知，本文方法检测结果的AUC值均大于所对比的几种检测结果，表现出了较好的检测效果。其中，全波段图像的检测结果的AUC值最低，导致这一情况的主要原因，在于全波段检测中，过多的冗余波段，会增加很多重复的光谱信息，不仅降低了检测效率，还对检测结果起到了负面作用。这一现象也说明了通过波段选择方法选取最佳波段组合进行融合检测的方法，在原图像冗余程度较高的情况下更具有优势。

另外，本文还进行了检测时间对比，分别是对原图像直接检测的时间和对最佳波段组合融合图像检测的时间。从表8中可以看出，对波段选择处理后的融合图像进行检测，可以大幅度减少检测时间，显著地提高了在检测速度方面的效率。

表8 检测时间对比

3.3 单波段快速采集检测

在检测环境不改变的情况下，进行了实验来验证快速采集同类目标物单波段集合的方法对于水下目标检测的有效性。其主要过程分为3个部分，分别为选取最佳波段、采集单波段图像、单波段图像融合检测，主要步骤如下：

首先，从实验场景中针对目标物采集一次高光谱原图像，对原图像进行本文所采用的波段选择方法，得到最佳波段组合，记录组合中各波段的光谱信息；然后，直接采集同一场景下别的同类目标物的单波段图像，所采集的单波段图像是根据上一步最佳波段组合的光谱信息而定；最后，对所采集的单波段图像进行融合检测。

对于采集单波段图像的方法，可以使用匹配目标物最佳波段组合中各单波段所对应的滤光片，将其与单色相机相结合进行采集图像[20]。本文使用的水下光谱采集系统，由GRASSHOPPER3 USB3摄像机、滤光片转轮、15个带宽10 nm截止深度OD3的窄带通滤光片以及用于控制相机和滤光片转轮的单片机构成。这样的采集方式，其采集速度可以达到接近普通RGB相机的水平，大幅度提高水下机器人采集光谱图像的效率。图7为此水下光谱采集系统搭载在水下机器人上采集的4组单波段集合图像以及所对应的波段融合图与融合检测图。从采集情况和检测效果可以看出，单波段快速采集方法对于水下目标检测来说具有一定的可行性，不过对于检测环境有一定要求，需要在相同环境下进行，且光源、浑浊度等环境状况不发生较大改变。而这样的情况较为符合海产品养殖区域的情况，满足水下机器人搭载此光谱采集系统进行水下目标的检测与抓捕的要求。

图7 单波段以及融合检测图

4 结束语

本文提出的基于最佳领域重构指数的水下高光谱目标检测方法，根据波段选择得出的最佳波段组合进行融合检测，可以减少数据冗余量且提高检测速度，并且与原图像检测效果接近。同时本文提出的快速同类目标物单波段采集方法，可以解决在相同场景下针对同类目标物检测时，光谱数据采集速度过慢的问题，能够大幅度减少光谱数据采集的时间。将本文提出的两种方法相结合，可以改善水下机器人在一些复杂水下环境中对于海产品检测的情况，基本满足其在水下工作的需求。