基于深度学习的双光谱目标自动识别方法

刘洵，梅宇航，王赫，王嘉城，薛彦涵

1.天津工业大学电子与信息工程学院，天津，300387；2.天津工业大学物理学院，天津，300387；3.天津工业大学软件学院，天津，300387

0 引言

目前，各国科研学者对自动目标识别系统的算法研究越发深入，不仅会改善原本提出的应用算法，还会根据实践累积经验提出全新内容。特别是在引入相关领域的研究成果后，既加快了自动目标识别技术的发展速度，又在改进算法后提升了目标识别提取的精确度和实施性。但从整体发展的角度来看，自动目标识别技术的研究也存在一定的局限性，某类目标研究的识别效果虽然在实验期间十分优异，但在实际应用中会受到不可预知的环境条件影响，增加图像识别和提取的难度。其中，图像分割作为图像处理领域中的重难点，在分割之后要进行特征提取、目标识别等操作，因此图像分割质量直接影响整体识别跟踪效果。虽然从图像分割技术发展至今，各国科研学者提出了多种方法，但并没有哪一种可以适用于所有图像。通常情况下，图像分割方法都会根据图像和目标进行调整，因此现阶段各国学者更加注重寻找统一的方法分割所有图像。本文主要探讨以深度学习为核心的双光谱目标自动识别方法，一方面着重介绍了深度学习和识别架构图，另一方面从实践应用角度分析了未来双光谱目标自动识别方法的发展方向。

1 目前双光谱成像探测技术的研究分析

1.1 国内外研究现状

由于多光谱成像探测技术可以在掌握多个特征光谱波段后，对目标场景进行成像探测，不仅能完成以往不断图像探测无法处理的问题，还可以提升目标提取和识别的精确度[1]。虽然多光谱成像探测技术相比超光谱成像探测技术，有效控制了工作期间的波段数量，无法进行目标种类的精确识别，但可以在特定观测场景中，对比分析强度差异过大的波段，也可以提升目标背景的性价比，优化实际探索的技术性能。在电子技术革新发展中，各国科研学者研制出了多种多光谱相机，比如说将高速电耦合器件看作是图像传感器，将大容量集成电路储存芯片看作核心，亦或是利用面阵互补的金属氧化物半导体等，都可以在实现信息数字化的基础上，获取更加精确的瞬时信息。我国在研发光谱相机时，主要运用了CCD感光器件，由于实际速度过低，无法同时满足高端市场需求，因此整体水平有待提升。

1.2 双光谱相机系统介绍

在构建双光谱相机系统时，可以利用传感器（CMOS）、数据处理（DSP）、数据储存器（SDRAM）来构建整体系统，其中相机系统在获取入射光信号之后，会将其转变成后续电路所需的数字信号，而传感器中集成了A/D功能，所以可以直接输出数字信号，简化外围电路的设计结构。数据处理模块会将DSP看作系统的核心内容，主要用来有效控制芯片，帮助相机系统和其他部件协调运行。同时，数据储存器不仅会将相关信息直接上传到计算机平台，还会与图像处理软件共同处理有关图像。

根据图1所示的系统结构图可知，其具备以下特征：一方面，在经过分割处理之后，会得到包括两个蒲端的特点光谱图像，不仅对比明显，而且成像同步，能解决以往光谱成像仪无法真正成像的技术问题。同时，图像畸变过小，可以便于后续光谱图像的融合处理；另一方面，这一系统选用ARM作为自身的数据处理芯片，不仅能解决传统功能消耗过多、整体体积过大等问题，还可以提升系统运行的效率[2]。同时，在设计期间优先选择功能消耗过低的元器件，能有效控制系统电压和工作频率，在软件设计期间，依据数据终端方式进行处理，系统在初始化之后会直接进入低功能消耗状态，一直到外部信号中断才会转变成节电状态，在任务结束之后会再次转变成休眠状态。

图1 双光谱相机系统的结构图

1.3 设计实现

（1）优化机身。由于多光谱相机必须要具备较为宽阔的波谱范围，所以要清除CCD之前的低通滤片和红外截止滤镜片，并利用口径适宜的全透镜替代，最终按照规范技术要求，科学调整相机的焦距。完成这一优化设计，双光谱相机系统的波普范围可以上升到350nm到1050nm之间，能满足近红外波段成像、可见光全波段等方面的技术需求。

（2）双通道镜头。本文研究利用双高斯镜头的结构形式来构建单一的通道镜头，其中初期结构参数要依据国内外技术研究成果进行设计，并充分研究高级相差求解初始结构参数方法。通常来讲，双高斯镜头作为一种具有对称性的结构器件，在设计应用时要重点思考位置色差、球差、像散等参数。

（3）系统电路。本文研究系统中的图像传感器需要提供充足电源驱动才能正常工作，其中外部包含了数据处理模块、数据储存和传输模块、位置传感器模块等，请每个模块都具备单一的供电电源[3]。由于没有全面连接所有模块的供电线路，所以在设计时要充分考虑图像传感器的供电要求，比如说，为外部相机提供12V电源，而GPS系统要从主板中提供5V电源。

2 深度学习算法分析

这系统利用机器学习技术优化多光谱光场成像系统，并依据液晶复合微透镜阵列的电控变焦特征，来获取这一场景下的清晰光场图像，最终依据相机光谱灵敏度的相关知识，以深度神经网络为核心对光谱图像实现双光谱重新建构，这样不仅能提升光谱的分辨率集体精确度，还可以获取多维度信息，这对现代生物医学、遥感成像等领域发展具有积极影响。因此，在实现双光谱目标自动识别时，要重点研究深度学习算法。

2.1 卷积神经网络

简单来讲，深度学习是以深度神经网络为核心的应用算法，其中包含多个隐含层，既可以逼近复杂函数，又可以计算复杂特征。卷积神经网络作为这一算法的核心内容，主要分为以下内容。

（1）卷基层。卷积作为数学分析的重要工具，其本质是运用卷积核的参数提取输入数据，并学习鲁棒性更高的特征，最终依据矩阵点乘运算和求和运算获取结果。具体运算公式如下所示：

（2）激活函数。如果神经网络只是利用线性卷积运算进行堆叠，那么很难构成复杂的表达空间，也无法获取高语义信息。因此，要在其中添加非线性映射，也就是激活函数。这一内容不仅影响着神经网络中神经元的信号计算和梯度参数，还可以毕竟多样化的非线性函数，稳步提升神经网络的表达能力。

（3）池化层。在卷积网络中，一般会在卷积层之间增加磁化层，主要用来控制特征图的参数数量，提升时间计算速度。根据如图2所示的池化方式分析显示，最常见的方法分为两种，一种是指最大池化，需要计算池化窗口类内的最大数值；另一种是指平均池化，需要计算池化窗口内元素的平均数值。两种方法的最大特征在于保障深度大小维持不变，在正确处理多通道输入数据时，池化层要对所有通道进行分别池化，以此确保池化层的输入和输出通道具有一致性。

图2 池化方式

（4）批量归一化层。在深度网络逐步加深时，浅层参数的微弱变化会经过多层线性变化和激活函数的影响变大，这样在不断调整深层网络时很难收敛模型。而批量归一化处理是依据小批量均值和方差来改变数据分布，以此在保障中间输出稳定的基础上，避免参数陷入饱和区域。

2.2 SSD目标检测识别模型

SSD算法模型包含两大特征，一方面体提取了不同尺度的特征图进行检测，大尺寸特征图可以完成小目标检测，而小尺度特征图能用于大目标检测；另一方面为SSD提供了不一样尺寸和长宽比的先验框进行检验。这类算法运用VGG16作为基础网络，在有效改善中将预处理后的大小固定在300×300的三通道数据中，并经过VGG16网通道前13个卷积，将末端的两处全连接层改变成常规的卷积层，由此提取2个特征图，之后进一步延伸了4个卷积模块提取4个特征[4]。这样经过处理之后，可以构成6个不同尺度不同通道数量的特征图，最深处可以构成大小是1×1的特征图，且具有不同的尺度和感受，能用于检测不同尺度的物体。

结合图2分析发现，VGG16作为基础网络，和图像特征提取有紧密联系。利用VGG Net对传统意义上的卷积网络进行改善，可以基于更小的卷积核和多层网络结构强化网络非线性表达水平，有助于控制网络参数。而在VGG网络后增添额外的卷基层，可以在逐步减少特征图的同时，提升算法的应用效率。

2.3 目标识别评价体系

在目标检测期间对整个模型进行评估，需要利用多种类型的平均精度进行分析。在检测工作中，依据统计模型对各类识别情况进行分析，因为图像中包含背景和目标物体，所以预测框架会出现正确或错误结果，相应的评测结果也会出现四种样本：①正确检测框T P，②指错误检测框F P，③漏检框F N，④正确背景T N。对预测框而言，会正确计算其和原始图像中的所有真实标签框进行判断。其中召回率（Recall）的计算公式如下所示，其是指目前检测出正样本的数量占所有真实正样本的比例：

而准确率（Precision）是指模型中所有预测正样本为真实样本的概率，具体公式如下所示：

3 基于深度学习的双光谱光场成像系统分析

本文研究在整合相机光谱灵敏度相关知识的基础上，利用深度神经网络对光场图像进行双光谱重建，这样不仅能提升技术精度，还可以准确获取这一场景下的相关信息。根据图3所示的系统框架图分析可知，整体系统的操作步骤分为以下几点。

图3 系统框架图

（1）利用聚合物稳定液晶、主透镜、CCD相机耦合构建光场相机，并利用这一内容对等待检测物体进行成像，就可以获取光场图像。在实践操作中，要将等待检测物体、主透镜、CCD相机等放在同一光轴上；在给液晶器件加载电压之后，通过科学调整电压就能在CCD相机处获取清晰的图像；聚合物分散液晶薄膜的初始驱动电压是12Vrms，外加电压的改变范围要控制在10Vrms到14Vrms之间，经过多次调整外加压力，选择更为清晰的光场图像。

（2）利用非周期性算法获取采集到的光场图像的子视角图，将这一图像利用像素拼接算法合并成一张二维mv格式的光场图像。

（3）掌握多光谱数据集合。在下载公开数据库获取相关数据集合后，其中不仅包含数据图像，还有对应的二维图像。在这一数据库中，其提供的文件数据都是按照10nm为增量，在400nm到700nm之间，缩减采样到31个光谱通道。所对应的二维图像会依据通用滤波器响应函数，将双光谱数据映射成二维图像[5]。

（4）构建双光谱重建网络。这一建构要以卷积神经网络为核心，设计一个将相机光谱灵敏度函数集中到重建的全过程中，这样不仅能更好完成建设，还可以精细约束二维图像和光谱图像，提升整体操作的精确度。

（5）运用多光谱图像数据集合训练重新构建的网络，就可以得到相应的训练模型。将实践操作获取的数据集合中的光谱图像文件和对应的二维图像，输入的构建的神经网络模型中，训练300个周期，就可以获取训练之后的重建模型[6]。

（6）运用多光谱重建网络获取的训练模型，对光谱图像进行重新建构，可以将一张二维格式的光场图像输入的已经训练好的模型中，最终可以得到400nm到700nm，步长时10nm的.mat文件数据，其中包含31个段波的图像，且每个段波图像都具备光场和光谱信息[7]。

根据上文研究的成像系统，提出以深度学习为核心的多光谱光场成像方法，具体内容涉及以下几点：①采集模块，主要用来获取清晰明确的光场图像；②合成模块，主要用来提取光场图像的子视角图，并依据像素拼接算法构成一张图像；③数据集合模块，主要用来获取训练集合，并明确二维光场图像和对应的波段光谱图像；④构建模块，主要用来利用卷积神经网络构建多光谱重建网络，在明确光场图像和光谱图像差异的基础上，将计算机光谱灵敏度函数都集中到损失计算中；⑤训练模块，主要在输入光场图像后，输出所对应的光谱图像，主要用来重构网络；⑥重建模块，会将光场图像输入到已经训练好的模型当中，得到具备光场和光谱信息的波段光谱图像。

4 结语

综上所述，在现代科技技术革新发展中，各国科研学者在重视双光谱目标自动识别技术研究工作的同时，开始基于深度学习算法进行实证研究，最终结果显示其不仅能转变传统图像探测和识别模式，还可以在实践探究中发掘更多技术经验。因此，在进入知识经济时代后，既要加强专业技术人才的培养力度，积极学习借鉴国内外先进的研究成果，合理运用现代技术软件进行实证分析，又要转变传统技术研究方向，系统整理现有技术研究成果，基于技术革新发展方向，提出更多有价值的研究课题。同时，还要结合各领域应用要求，分析现有双光谱目标自动识别技术的功能和特征，不断优化实践系统运行面临的问题，加强整体监测管理力度，这样不仅能为技术研究提供有效依据，还可以进一步提升现代自动目标识别技术水平。