APP下载

红外图像边缘检测算法综述

2021-03-26刘伯运

红外技术 2021年3期
关键词:算子边缘红外

何 谦,刘伯运

〈综述与评论〉

红外图像边缘检测算法综述

何 谦,刘伯运

(海军工程大学 动力工程学院,湖北 武汉 430033)

为填补红外图像边缘检测算法综述性研究的空白,使更多研究者较为全面地了解目前成果,并为后续研究提供有价值的参考,遴选了近十年国内外红外图像边缘检测技术研究的相关文献。首先概述了红外成像与边缘检测技术,进而阐述了红外图像边缘检测技术的难点与挑战,接着总结了主要的红外图像边缘检测算法,将相关算法分为了4类——基于经典边缘检测算子改进的、基于蚁群算法的、基于数学形态学的和基于网络模型的,对其涉及的关键技术分别进行了分析。研究认为,在传统红外图像边缘检测技术中,形态学方法因简单易用而具有一定潜力;对于非传统红外图像边缘检测技术,基于深度学习的方法对目标边缘的针对性更强、鲁棒性更好、不需要设计复杂的算法步骤,给红外图像边缘检测带来了新的发展机遇。

红外图像;边缘检测;数学形态学;深度学习

0 引言

边缘检测是通过寻找图像中灰度显著变化的区域来提取图像边缘,在图像分割、图像融合、模式识别和计算机视觉中,常常作为一种基础性的图像预处理步骤而得到广泛使用。

红外成像技术是根据辐射原理成像而得到红外图像,红外图像的像素亮度表征了物体表面的温度。由于具有隐蔽性好、可全天候工作、可穿透烟雾等优良特性,红外成像技术在各领域都得到了广泛应用。受制于红外图像的成像机理、成像系统特性和各种外界噪声(如热噪声、光子电子涨落噪声、散粒噪声等)的影响,红外图像通常具有信噪比低、分辨率低、对比度差和边缘模糊的特点,为满足人们对红外图像进一步分析和识别的需求,红外图像边缘检测技术体现了较大难度和重要意义。

目前,可见光图像边缘检测技术已较为成熟,但仍不断有新的研究涌现。对红外图像边缘检测的专门性研究明显少于可见光图像,红外图像边缘检测算法的综述性研究也几乎是空白。由于红外图像与可见光图像存在很多区别,各类可见光图像边缘检测算法,只能在一定程度上给红外图像边缘检测研究提供参考,无法完全适用于红外图像的边缘检测。因此,有必要对目前红外图像边缘检测技术的各类研究成果进行综合与分析,对技术尚存的问题进行总结与展望,使研究者较为全面地了解目前相关研究的成果,为后续研究提供有价值的参考。

为此,本文遴选了近十年国内外关于红外图像边缘检测技术研究的相关文献,在深入综合分析和分类比较的基础上,首先概述红外成像和边缘检测,进而阐述了红外图像边缘检测技术的难点与挑战,接着对近年来红外图像边缘检测的各类算法进行了分析与梳理。基于此,对当前算法存在的问题和未来发展方向提出了总结与展望。

1 红外成像与边缘检测概述

1.1 红外成像

红外线与可见光、无线电波一样都属于电磁波,其辐射波长为0.75~1000mm,介于微波与可见光之间。温度在绝对零度以上的物体,其分子和原子都会产生无规则运动,由此不停地向外辐射红外热能,热辐射的能量大小和物体表面温度有关。温度越高,无规则运动愈剧烈,热辐射能量愈大,反之则愈小[1]。

红外成像系统就是根据上述辐射原理,利用目标与背景之间的红外辐射差来形成红外图像。典型红外成像系统由光学成像扫描系统、红外探测器、信号处理转换电路和显示模块4个部分组成[2],如图1所示。其中,光学系统在红外探测器的感光面上对景物热辐射进行扫描成像,红外探测器将红外光信号转换为数字信号,再经过信号处理并转换成图像进行显示。

由于红外成像属于被动成像,因而具有良好的隐蔽性;利用红外辐射,几乎可以完成全天候地监测;红外成像不受电磁干扰,能够精确跟踪目标;此外,红外热成像技术的探测能力强、作用距离远。基于以上特性,红外成像技术在军事、工业、农业、医疗和安防领域得到了广泛应用。

图1 红外成像系统原理

1.2 边缘检测

边缘是图像最本质的特征,包含了图像的绝大部分信息,反映了图像局部特性不连续(灰度突变)的地方,即图像中灰度变化比较剧烈的地方。在图像中,一个区域的结束与另一个区域的起始就是边缘在图像中的反映[3]。根据图像灰度变化特点,可将边缘分为阶跃型、屋顶型、阶梯型等。

边缘检测可分为4步,如图2所示。首先通过滤波平滑噪声,再通过图像增强提升对比度、突出边缘,接着需要通过各种方法确定边缘点、提取边缘。最后,如果是要在特定邻域内寻找边缘位置,可以通过子像素的分辨率进行估测。

图2 边缘检测步骤

边缘检测的方法可以归为3类[4]:一是经典检测方法,如各种微分算子——Roberts、Sobel、Prewitt、Laplacian,和基于这些微分算子的Log算子、Canny算子等;二是基于能量最小化准则的全局提取方法,从全局最优出发实现边缘提取;三是以各种新型理论技术为基础的算法,如基于小波变换、数学形态学、遗传算法、模糊数学、组合优化理论、深度学习等各类方法的边缘检测算法。

2 红外图像边缘检测的难点与挑战

根据对红外成像系统的组成和成像原理的分析,可知红外图像具有以下缺点:

1)无立体感。红外图像表征了背景与目标的温度分布,属于灰度图像,缺少透视、色彩、阴影等产生现实空间的假象。

2)空间分辨率低。由于红外光波长大于可见光波长,自然条件下,可见光能量大于红外光,红外成像系统接收到的能量小于可见光成像系统。因此,系统设计时会折中考虑图像的空间分辨率和辐射分辨率,导致红外图像的空间分辨率一般低于可见光图像。

3)对比度低和边缘模糊。红外成像受大气传输衰减影响,相邻像素相似度高,区域变化不剧烈[5]。

4)噪声复杂多样。红外辐射经大气传输到成像的过程中,会受到随机热噪声、散粒噪声、1/噪声等的影响[6],造成红外图像中的噪声来源和分布复杂、不可预测。

5)非均匀性。由于红外探测器中,各探测单元的响应特征无法完全一致,造成了红外图像中存在固定图形噪声、畸变和串扰等。

6)信噪比低。红外成像系统分辨率低,像元受噪声影响的几率更大;红外成像系统内部噪声比可见光成像系统更复杂多样,红外辐射的大气传输还会受到自然辐射源造成的背景辐射干扰。因此,红外图像的信噪比往往弱于可见光图像。

基于以上对红外图像缺陷的分析,可总结出红外图像边缘检测中存在的难点与挑战:一是由于红外图像的噪声复杂多样,导致边缘检测时对去噪的要求较高;二是由于红外图像对比度低和边缘模糊,导致确定边缘点时的难度增大,需要对图像进行合适的对比度增强;三是由于红外图像的空间分辨率低,造成其纹理细节不明显,边缘检测得到的结果信息匮乏,直观视觉感受较差,需要对图像进行一定的细节增强处理;四是提取的边缘往往较粗,需要进行合适的细化处理;五是提取的边缘极有可能断断续续,需要进行边缘连接;六是边缘提取结果在一些情况下应该保证人眼视觉效果,因此有时需要结合人眼视觉模型对边缘检测算法进行相应改进。

总的来说,红外图像边缘检测中具有很多在可见光图像边缘检测时很少遇到的难点与挑战,大量较为成熟的可见光图像边缘检测方法不能很好地适用于红外图像,需要针对红外图像的特点,进行专门性的边缘检测算法研究与改进。

3 红外图像边缘检测算法

本文遴选并研究了近十年国内外红外图像边缘检测算法的相关文献,将主要算法分为4类,分别是基于经典边缘检测算子改进的、基于蚁群算法的、基于数学形态学的、基于网络模型的红外图像边缘检测。此外,还对其他研究相对较少的方法单独进行了阐述和分析。

3.1 基于经典边缘检测算子改进

经典边缘检测算子可分为3类:一是通过一阶导数计算图像梯度值,如Roberts、Sobel、Prewitt算子;二是通过二阶导数搜索零交叉点,如Laplacian、Log算子;三是复合算子,如Canny算子。这些经典算子在大量图像处理的相关研究中都有分析介绍,因此本文不再赘述。

在改进经典算子以提高其对红外图像的适用性之前,有学者先探索了经典边缘检测算子对红外图像的实际应用效果。文献[7-8]对Roberts、Sobel、Prewitt、Log和Canny五种算子进行了实验与分析,并指出:①一阶梯度算子在背景单一的情况下能够完成边缘提取,但缺乏对目标细节边缘检测的能力,同时提取的边缘存在不连续的现象,对于信息复杂的图像提取效率将大大降低。其中Roberts算子对具有陡峭的低噪声图像效果最好,但提取边缘较粗,且受噪声影响最大;Sobel算子可平滑噪声,但检出边缘较为粗糙、定位精度低;Prewitt算子通过对图像低通滤波来抑制噪声,对边缘的定位精度不高。②以Log为代表的二阶算子相比于一阶算子能检出更多边缘,采用高斯滤波抑噪,适用于屋顶型边缘检测,但易出现伪边缘、计算量较大;③Canny算子效果最理想,其关键是选取适当的高斯滤波参数和适当的阈值,但对噪声过分敏感,最好与一些去噪预处理手段结合使用。

文献[9-26]采用了各种方法对经典边缘检测算子进行改进,使之对红外图像边缘检测效果更加完善。

3.1.1 基于Sobel算子的改进

Sobel算子在处理红外图像时具有一定的抗噪能力,提取的边缘较为粗糙。文献[9-10]针对Sobel算子定位精度低的问题进行了改进,文献[9]侧重于预处理步骤,在Sobel算子处理之前先对图像进行了阈值分割和分段对比度拉伸,有利于去噪和突出边缘,但在进行分段灰度拉伸时需要人为指定两个灰度值的控制点,导致其自适应性不强。文献[10]则直接改造Sobel算子,将其检测方向拓展为八方向,提高了准确性,并对Sobel的边缘检测结果基于模糊理论进行了进一步的处理,起到了一定的优化作用,但计算较为复杂。

3.1.2 基于Prewitt算子的改进

针对传统Prewitt算子应用于红外图像处理时,存在人为选取阈值造成边缘结构缺失、产生伪边缘、定位不准等缺点,文献[11]在Prewitt算子内增加了两个对角方向的模板,并通过图像的遍历情况动态更新Prewitt算子的阈值,提高了算法的自适应性,并使得伪边缘明显减少,但其抗噪性能和处理效率还有待于进一步研究。

3.1.3 基于Laplacian算子的改进

文献[12]提出了一种基于Laplacian算子和灰色关联度相结合的边缘检测方法,将Laplacian算子的八邻域模板作为参考序列提取系统序列,根据灰度关联度原理分割图像并提取边缘。相比与Sobel、Roberts和Log算子,该算法去除椒盐噪声和提取图像边缘的效果明显更好。不足之处是只针对了椒盐噪声的去除,没有考虑到红外图像中其他噪声及其影响,且阈值需要人为选取、计算量较大。

3.1.4 基于融合算子的改进

除了对单个算子进行改进,还有研究者通过融合多个算子的处理结果来改善红外图像边缘检测的效果:文献[13]利用Roberts算子和改进8方向的Sobel算子分别对图像进行处理得到两幅梯度幅值图像,将二者相乘后进行阈值分割提取边缘;文献[14]则融合了Log算子与Roberts算子,提取的边缘较为清晰连续,内部细节较为丰富。

融合不同算子进行处理,通常都是因为二者存在某些方面的互补,得到的结果也能综合不同算子的优点,而其难点往往在于如何将不同算子有机地结合起来。

3.1.5 基于Canny算子的改进

相对于一阶和二阶算子,复合的Canny算子功能更为强大,具有更好的应用潜力。因此,在红外图像边缘检测中,有很多基于Canny算子改进的算法研究[15-17,20-26]。

一方面是不改动Canny的内部结构,只增加预处理或后续处理步骤。如文献[15]既使用变窗口中值滤波进行去噪保边预处理,又在Canny算子提取边缘后使用基于最小边缘比的方法对边缘进行连接;文献[16]主要针对预处理过程,对红外图像进行整体灰度变换后,采用基于模糊C均值聚类的方法突出边缘;文献[17]的处理过程类似于文献[15],但处理方法更为先进、有效,预处理时采用了BM3D(Block-Matching and 3D filtering)[18]去噪,对Canny算子的处理结果采用基于GLCPD(Global and Local Curvature Properties Detector)[19]的方法进行轮廓提取和边缘连接,采用该方法提取边缘清晰、连续,但计算量较大。

另一方面是主要对Canny算子的内部处理步骤进行合理优化。如图3所示,Canny算子包括4个处理步骤:一是对图像高斯滤波去噪,二是计算去噪图像的梯度幅值和方向,三是对梯度幅值在邻域内进行非极大值抑制,四是设定高低阈值检测和连接边缘。对不同步骤都存在研究改进:①针对步骤一高斯滤波需要人为设定方差,文献[20]通过采用局部最大标准差为设定方差提供参考实现自适应;文献[21-23]采用数学形态学方法替换高斯滤波进行自适应去噪,其关键在于形态学结构元素的选取去噪效果的好坏具有决定性影响;文献[24-25]采用自适应中值滤波代替高斯滤波。这三种方式在去噪上没有绝对的效果优劣,具体哪种更加完善还是需要针对具体问题而定。②针对步骤二梯度计算中采用单一微分算子导致的局限性,文献[24]使用改进的八方向邻域梯度幅值法计算梯度,文献[26]采用主成分分析法对Sobel、Prewitt和Krisch算子进行融合并提取主算子后再计算梯度。两种方法在一定程度上都能够优化梯度计算。③针对步骤三,文献[25]提出了基于二阶偏导的非极大值抑制方法,使得结果更加准确。④针对步骤四中高低阈值的设定,文献[20, 22-23, 25]均采用最大类间方差法自适应获取阈值。总的来说,在具体应用到红外图像边缘检测时,并不一定需要对每个步骤都进行优化,而是需要结合图像的特征对方法的选择进行考虑。

图3 Canny算子边缘检测流程图

3.2 基于蚁群算法

蚂蚁通过蚁群的共同行为寻找最优路径。在此过程中,蚂蚁会在其经过的地方留下信息素,而后来者将根据信息素强弱选择路径。蚂蚁走到一未曾经过的路口时,会随机选择并释放信息素。随时间推移,较短路径上的信息素将不断增加,其他较长路径的信息素将慢慢减少或消失,最终蚁群会找到一条最优路径[27]。这就是蚁群算法的基本原理。

蚁群算法具有较强的鲁棒性、优良的分布式计算,且易于与其他算法结合[28]。因此,有学者对其进行适用性改进后,用于红外图像的边缘检测:文献[29]将Sobel算子与蚁群算法相结合,通过Sobel算子的预处理引导人工蚂蚁的初始释放,从而简化了蚂蚁向边缘区域集结的过程;文献[30]在文献[29]的基础上,自适应地给出蚂蚁在一次迭代中行进的步长和禁忌列表长度,抑制结果过快收敛;文献[31-32]在文献[30]基础上,选取了Canny算子作为启发信息,采用局部和全局更新规则相结合的方法更新信息素,并对信息素挥发率作了自适应调整,阈值的选取也采用了自适应的K-means方法,大大提高了算法的自适应性。此外,文献[33]重点改进了决策过程的阈值自适应问题;文献[34-35]则将小波变换预处理与蚁群算法相结合,旨在提高算法的去噪能力、改进提取边缘的清晰度。

总的来说,将蚁群算法用于红外图像边缘检测是有效的,然而,受制于蚁群算法本身计算量大、收敛速度慢、易过早陷入局部最优和参数设置带有明显经验性的特点,此类算法在处理效率和自适应性上还有待于后续研究的不断改进。

3.3 基于数学形态学

在图像处理中,数学形态学是一种以形态为基础的分析工具,其基本思想是使用具有一定形态的结构元素来度量和提取图像信息[36]。数学形态学包含4种基本运算:腐蚀、膨胀、开运算和闭运算,可以解决平滑抑噪、图像融合、边缘检测等问题,去噪时可最大程度保留边缘信息[37]。

数学形态学方法的应用,在红外图像边缘检测中是一条必经之路,而其效果好坏的关键在于结构元素的构造和运算方法的设计。在大多数相关研究中,形态学方法都不是单独使用的,而是作为边缘检测步骤中的其中之一:一些研究将其作为去噪预处理步骤[12,14,21,23,38],另一些将其作为最终边缘提取的步骤[24,39-40],其中一般都采用较为通用的结构元素与运算方法。

这里重点讨论将形态学方法作为红外图像边缘检测算法主体的相关研究,其中对形态学方法用于红外图像的探索更为深入。文献[41]针对红外图像边缘提取,构造了两种尺度、4个方向的结构元素,在每个方向上利用两种尺度的结构元素分别对图像进行膨胀和腐蚀运算,将所得结果作差,最后对4个方向的结果加权求和得到边缘,实验表明该算法具有良好的抑制椒盐与高斯噪声能力,提取的边缘清晰连续。文献[42]提出了一种新的基于双奇偶性形态学梯度的边缘检测算子DPMG(Dual Parity Morphological Gradients):先构建两个奇偶形态学结构元素B、C,利用C结构元素分别对红外图像作膨胀、腐蚀运算得到结果G、H,接着将G、H相乘并与B结构元素作腐蚀运算得到结果D,计算D中元素的均值得到最终结果,该算法保边性能好,能有效地解决红外图像边缘模糊的问题。

总的来说,基于形态学的红外图像边缘检测算法计算较为简单、能够较好地保持图像边缘信息,对于精心设计的结构元素和运算方法,在抑噪和检测精度之间能够达到良好的平衡,具有一定的潜力。

3.4 基于网络模型

在基于网络模型的红外图像边缘检测相关算法的研究中,主要涉及到细胞神经网络(Cellular Neural Network,CNN)和深度神经网络(Deep Neural Network,DNN)。

3.4.1 基于CNN的红外图像边缘检测

1998年,Chua和Yang[43]提出了CNN。在解决图像处理、人工智能和模式识别等问题时,CNN由于体现了高速的并行处理能力而备受关注。CNN用于图像处理时,其关键在于算法中模板的设计,在其状态方程中加入相应局部约束条件,让网络在样本和理想值之间进行学习,得到解决与样本类似问题的模板[44]:文献[41]直接设定一组固定模板,文献[45]则采用分布式遗传算法训练CNN模板,文献[46]在考虑对应邻域窗口内各像素同中心像素相对距离的基础上,结合遗传算法训练CNN模板。总的来说,通过遗传算法训练出的模板存在着对样本过拟合的问题,而固定的单一模板难以识别边缘。因此,在模板设计中需要考虑CNN局部邻域空间关系的影响,设计一种阈值自适应的模板才能显著提升红外图像边缘检测效果。

3.4.2 基于DNN的红外图像边缘检测

深度模型具有高效的特征表达能力和强大的学习能力,能从像素级原始数据到抽象的语义概念逐层提取信息,使其在提取上下文信息和图像特征方面具有突出的优势,为解决传统的边缘检测问题创造了新思路[47]。

目前,基于深度学习的边缘检测算法有全监督学习边缘检测和弱监督或无监督边缘检测两类,近年来,前者中出现了很多代表性算法,如HED[48](Holistically-Nested Network)、RCF[49](Richer Convolutional Features)、CEDN[50](Convolutional Encoder-Decoder Network)等等。以HED模型为例,它以VGG(Visual Geometry Group)模型为基础结构,利用多层级的特征融合方式,实现二值边缘检测,其结构如图4所示。

文献[51]提出了一种基于改进HED网络的红外图像边缘检测方法,在原网络结构基础上减少两个池化层以提高输出精度,并将网络输出结果与匹配滤波结果融合。改进HED网络可以输出目标的显著性抽象化边缘图像,表征了图像的高层语义信息,将其与其他方法得到的底层特征信息结合起来,可以有效提高边缘检测的精度和稳定性。

图4 HED结构

总的来说,将深度网络用于红外图像边缘检测的研究目前较少,但由于基于深度学习的边缘检测方法对目标边缘的针对性更强、鲁棒性更好,且现有的深度模型基本实现端到端学习,不需要设计复杂的算法步骤,因此,进一步的研究是十分有意义的。

3.5 其他研究较少的方法

除了基于经典边缘检测算子改进的、基于蚁群算法的、基于数学形态学的、基于网络模型的红外图像边缘检测方法,还有其他一些研究相对较少的方法,如:文献[40]引入了相位一致性方法;文献[52]通过计算子空间Tsallis熵来选取最佳阈值分割红外图像;文献[53]融合线调频小波变换和分形几何的思想,建立了线调频小波分维数对图像进行阈值分割;文献[54]采用了Hough变换;文献[55]探究了局部标准差算子的边缘检测效果;文献[56]引入了组合优化理论;文献[57]应用了量子行为云模型;文献[58]根据人眼和红外图像特性,构造了描述红外图像的3个基本特征以量化边缘特征数据集,采用K-means聚类提取边缘。

4 总结

本文主要分析了红外图像边缘检测中存在的难点和挑战,并对近十年红外图像边缘检测的相关研究进行了较为详细的分类、梳理和总结,还对各类方法进行了研究、分析和评价。

总的来说,关于红外图像边缘检测的研究始终是以问题为导向的。可以说,目前还不存在一种普适性的方法,可以在所有类型的红外图像边缘检测问题上都达到优良效果。红外图像边缘检测算法的抗噪性、精确度、清晰度、连续性、实时性、自适应性,以及算法处理结果的人眼视觉效果等,都是需要针对具体问题来进行权衡的因素。一般来说,复杂算法的实时性和自适应性往往较差,但在其他方面表现较好,结构简单的算法则反之。

就传统边缘检测技术来说,形态学方法简单易用,对于精心设计的结构元素和运算方法,在抑噪和检测精度之间能够达到良好的平衡,具有一定的潜力。相对于传统方法而言,基于深度学习的边缘检测方法对目标边缘的针对性更强、鲁棒性更好,且现有的深度模型基本实现端到端学习,不需要设计复杂的算法步骤。未来,基于深度学习的红外图像边缘检测算法将具有更大的研究价值。

[1] 唐艳秋. 非制冷型红外成像系统关键技术研究[D]. 长春: 中国科学院研究生院(长春光学精密机械与物理研究所), 2016.

TANG Yanqiu. Research on The Key Techniques of Uncooled Infrared Thermal Imaging System[D]. Changchun: Graduate School of Chinese Academy of Sciences (Changchun Institute of optics, precision machinery and Physics), 2016.

[2] 柳鑫. 红外图像去噪算法研究[D]. 西安: 西安电子科技大学,2019.

LIU Xin. Research on Infrared Image Denoising Algorithm[D]. Xi'an: Xidian University, 2019.

[3] 刘丽霞, 李宝文, 王阳萍, 等. 改进Canny边缘检测的遥感影像分割[J]. 计算机工程与应用, 2019, 55(12): 54-58,180.

LIU Lixia, LI Baowen, WANG Yangping, et al. Remote Sensing Image Segmentation Based on Improved Canny Edge Detection[J]., 2019, 55(12): 54-58, 180.

[4] 黄海龙. 数学形态学在图像边缘检测和机器视觉中的应用研究[D].沈阳: 东北大学,2013.

HUANG Hailong. The Research and Application of Mathematical Morphology in Image Edge Detection and Machine Vision[D]. Shenyang: Northeastern University, 2013.

[5] 李毅. 基于视觉模型的红外图像增强技术研究[D]. 长春: 中国科学院研究生院(长春光学精密机械与物理研究所), 2016.

LI Yi. Research on Technology of Infrared Image Enhancement Based on Human and Visual Model[D]. Changchun: Graduate School of Chinese Academy of Sciences (Changchun Institute of optics, precision machinery and Physics), 2016.

[6] 尚磊. 红外成像系统关键技术研究与实现[D]. 西安: 西安电子科技大学, 2013.

SHANG Lei. The Key Technology Research and Implementation of Infrared Imaging System[D]. Xi'an: Xidian University, 2019.

[7] 岳改丽, 王栋, 杨蕊. 几种边缘检测算子在红外图像处理方面应用研究[J]. 西安科技大学学报, 2012, 32(4): 500-504, 513.

YUE Gaili, WANG Dong, YANG Rui. Application of several edge detection operatorin infrared images processing[J]., 2012, 32(4): 500-504, 513.

[8] 周小军, 郭佳, 姜玉泉, 等. 红外图像几种边缘检测算法对比分析[J].工业仪表与自动化装置, 2015(4): 58-61, 64.

ZHOU Xiaojun, GUO Jia, JIANG Yuquan, et al. Comparative study on several kinds of edge detection algorithm in infrared image[J]., 2015(4): 58-61, 64.

[9] 潘东杰, 邓涛. 一种基于阈值分割的红外图像边缘检测方法[J]. 电子科技, 2010, 23(6): 52-54, 58.

PANG Dongjie, DENG Tao. A Method of Infrared Image Edge Detection Based on Threshold Selection[J]., 2010, 23(6): 52-54, 58.

[10] 闫富荣, 魏臻, 樊秀梅, 等. 基于模糊联合误差的红外图像边缘检测方法[J]. 天津理工大学学报, 2011, 27(1): 33-37.

YAN Furong, WEI Zhen, FAN Xiumei, et al. Edge detection of infrared image based on fuzzy association error[J]., 2011, 27(1): 33-37.

[11] 安建尧, 李金新, 孙双平. 基于Prewitt算子的红外图像边缘检测改进算法[J]. 杭州电子科技大学学报: 自然科学版, 2018, 38(5): 18-23, 39.

AN Jianyao, LI Jinxin, SUN Shuangping. Improved Algorithm of Infrared Image Edge Dection Based on Prewitt Operator[J].:, 2018, 38(5): 18-23, 39.

[12] 夏清, 陈亚凯, 张振鑫, 等. 基于Laplace算子和灰色理论的热红外影像边缘检测[J]. 红外技术, 2014, 36(5): 377-380, 388.

XIA Qing, CHEN Yakai, ZHANG Zhenxin, et al. Edge Extraction Algorithm of Infrared Thermal Image Based on Laplace Operator and Gray Theory[J]., 2014, 36(5): 377-380, 388.

[13] 夏清, 张振鑫, 王婷婷, 等. 基于改进Sobel算子的红外图像边缘提取算法[J]. 激光与红外, 2013, 43(10): 1158-1161.

XIA Qing, ZHANG Zhenxin, WANG Tingting, et al. Edge extraction algorithm of infrared thermal image basedon improved sobel operator[J]., 2013, 43(10): 1158-1161.

[14] 夏清, 胡振琪, 位蓓蕾, 等. 一种新的红外热像仪图像边缘检测方法[J]. 红外与激光工程, 2014, 43(1): 318-322.

XIA Qing, HU Zhenqi, WEI Beilei, et al. New edge detection method for images of infrared thermal imager[J]., 2014, 43(1): 318-322.

[15] 王新伟. 基于区域与边界结合的红外目标检测[D]. 武汉: 华中科技大学, 2012.

WANG Xinwei. Infrared target detection based on combination of region and edge[D]. Wuhan: Huazhong University of Science and Technology, 2012.

[16] 唐庆菊, 刘俊岩, 王扬, 等. 基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测[J]. 红外与激光工程, 2016, 45(9): 281-285.

TANG Qingju, LIU Junyan, WANG Yang, et al. Infrared image edge recognition and defect quantitativedetermination based on the algorithm of fuzzy C-meansclustering and Canny operator[J]., 2016, 45(9): 281-285.

[17] Minh V H, Aleef T A, Pervaiz U, et al. Smoothness-based Edge Detection using Low-SNR Camera for Robot Navigation[J/OL]. arXiv preprint arXiv: 1710.01416, 2017.

[18] Kostadin, Dabov, Alessandro, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]., 2007, 16(8): 2080-95.

[19] HE Xiaochen, Nelson H C Yung. Corner detector based on global and local curvature properties[J]., 2008, 47(5): 057008.

[20] 马新星, 徐健, 张健. 一种基于自适应Canny算子的舰船红外图像边缘检测方法[J]. 红外, 2013, 34(7): 25-30.

MA Xinxing, XU Jian, ZHANG Jian. An Adaptive Canny Operator Based Edge Detection Algorithm for Infrared Image of Ship[J]., 2013, 34(7): 25-30.

[21] 郭慧鑫, 牛竹云, 郭会兵, 等. 一种基于Canny算子的红外图像边缘检测算法[J]. 火力与指挥控制, 2014, 39(S1): 95-97.

GUO Huixin, NIU Zhuyun, GUO Huibing, et al. Infrared Image Edge Detection Algorithm Based on Improved Canny Algorithm[J]., 2014, 39(S1): 95-97.

[22] LIU Lisang, LIANG Fenqiang, ZHENG Jishi, et al. Ship infrared image edge detection based on an improved adaptive Canny algorithm[J]., 2018, 14(3): 1-6.

[23] 李宝磊, 李清英, 秦乾坤, 等. 一种改进Canny的热红外边缘检测方法[J]. 计算机时代, 2019(1): 63-66.

LI Baolei, LI Qingying, QIN Qiankun, et al. An improved Canny thermal infrared image edge detection method[J]., 2019(1): 63-66.

[24] TANG Qingju, LIU Yuanlin, BU Chiwu, et al. Infrared Image Edge Detection Based on Morphology-Canny Fusion Algorithm[J]., 2016(9): 259-268.

[25] 孙砚飞, 常晓刚, 李东兴, 等. 基于自适应Canny的红外图像边缘检测算法[J]. 山东理工大学学报: 自然科学版, 2017, 31(6): 18-21.

SUN Yanfei, CHANG Xiaogang, LI Dongxing, et al. Infrared image edge detection algorithm based on adaptive Canny[J].:, 2017, 31(6): 18-21.

[26] 叶德周, 杨风健, 貌程浩, 等. 基于Canny算子的红外影像边缘检测算法[J]. 激光与红外, 2015, 45(9): 1129-1132.

YE Dezhou, YANG Fengjian, MAO Chenhao, et al. Edge detection algorithm of infrared image based on canny operator[J]., 2015, 45(9): 1129-1132.

[27] 史恩秀, 陈敏敏, 李俊, 等. 基于蚁群算法的移动机器人全局路径规划方法研究[J].农业机械学报, 2014, 45(6): 53-57.

SHI Enxiu, CHEN Minmin, LI Jun, et al. Research on Method of Global Path-planning for Mobile RobotBased on Ant-colony Algorithm[J]., 2014, 45(6): 53-57.

[28] 潘杰, 王雪松, 程玉虎. 基于改进蚁群算法的移动机器人路径规划[J]. 中国矿业大学学报, 2012, 41(1): 108-113.

PAN Jie, WANG Xuesong, CHENG Yuhu. Improved ant colony algorithm for mobile robot path planning[J]., 2012, 41(1): 108-113.

[29] 王栋, 张泾周. 结合Sobel算子的蚁群红外图像边缘检测[J]. 河南科技大学学报: 自然科学版, 2011, 32(6): 38-41, 67.

WANG Dong, ZHANG Jingzhou. Edge detection of infrared image based on ant colony algorithm combined with Sobel operator[J].:, 2011, 32(6): 38-41, 67.

[30] 王栋, 尚堃. 基于改进蚁群算法的红外图像边缘检测方法[J]. 四川兵工学报, 2014, 35(7): 87-90.

WANG Dong, SHANG Kun. Edge Detection Algorithm of Image Based on ImprovedAnt Colony Optimization[J]., 2014, 35(7): 87-90.

[31] 李莎. 改进的蚁群算法及其在图像边缘检测中的应用研究[D]. 西安: 西安科技大学, 2016.

LI Sha. Improved Ant Colony Algorithm and its Application in Image Edge Detection[D]. Xi'an: Xi'an University of Science and Technology, 2016.

[32] QIAO B M, LI S, XIAO Y. Infrared image edge detection applied research based on improved ant colony algorithm[C]//2015, 2015: 31.

[33] 陈浩, 方勇, 朱大洲, 等. 基于蚁群算法的玉米植株热红外图像边缘检测[J]. 农机化研究, 2015, 37(6): 49-52.

CHEN Hao, FANG Yong, ZHU Dazhou, et al. Thermal Infrared Image Edge Detection Method Based onAnt Colony Algorithm for Corn Plant[J]., 2015, 37(6): 49-52.

[34] 王凤. 结合蚁群搜索与边缘检测的红外轮廓提取算法[J]. 激光与红外, 2015, 45(6): 722-727.

WANG Feng. Infrared contour extraction algorithmbased on ants search and edge detection[J]., 2015, 45(6): 722-727.

[35] 张琳梅, 赵喜玲. 基于组合优化理论的红外图像边缘检测[J]. 激光杂志, 2016, 37(4): 80-83.

ZHANG Linmei, ZHAO Xiling. Infrared image edge detection based on combinatorial optimization theory[J]., 2016, 37(4): 80-83.

[36] 彭智浩, 杨风暴, 王志社, 等. 基于数学形态学和自动区域生长的红外目标提取[J]. 红外技术, 2014, 36(1): 47-52.

PENG Zhihao, YANG Fengbao, WANG Zhishe, et al. Infrared Target Extraction Based on Mathematical Morphology and Automatic Region Growing[J]., 2014, 36(1): 47-52.

[37] 潘锋, 闫贝贝, 肖文, 等. 基于数学形态学的数字全息再现像融合方法[J]. 中国光学, 2015, 8(1): 60-67.

PAN Feng, YAN Beibei, XIAO Wen, et al. Digital holographic reconstruction image fusionbased on mathematical morphology[J]., 2015, 8(1): 60-67.

[38] ZHANG X, HAN R. The Application of Mathematical Morphology and Sobel Operator in Infrared Image Edge Detection[C]//, 2015: 6.

[39] 孙玉胜, 白克. 一种基于改进的形态学红外图像边缘检测算法[J]. 计算机与数字工程, 2010, 38(2): 127-129.

SUN Yusheng, BAI Ke. An Edge Detection Algorithm of Infrared Image Based on Improved Morphology[J]., 2010, 38(2): 127-129.

[40] 郭龙源, 张国云, 欧先锋, 等. 基于相位一致性的红外图像边缘检测方法[J]. 红外, 2016, 37(9): 25-29, 36.

GUO Longyuan, ZHANG Guoyun, OU Xianfeng, et al. Edge Detection Method of Infrared Images Based on Phase Consistency[J]., 2016, 37(9): 25-29, 36.

[41] 张晓康. 基于DM3730平台的红外图像边缘检测技术研究[D]. 北京: 北京服装学院, 2016.

ZHANG Xiaokang. Research on Infrared Image Edge Detection Technique Based on The DM370 Platform[D]. Beijing: Beijing Institute of Fashion, 2016.

[42] YIN J, LU Y, GONG Z, et al. Edge Detection of High-Voltage Porcelain Insulators in Infrared Image Using Dual Parity Morphological Gradients[J]., 2019(99): 1-1.

[43] CHUA L O, YANG L. Cellular neural networks: theory[C]//, 1988: 10.

[44] 杨婷, 段书凯, 王丽丹, 等. 基于改进忆阻细胞神经网络的彩色图像边缘提取[J]. 中国科学: 信息科学, 2017, 47(7): 863-877.

YANG Ting, DUAN Shukai, WANG Lidan, et al. Color image edge extraction using memristor-based CNN[J]., 2017, 47(7): 863-877.

[45] WANG Wei, YANG Lijun, XIE Yuting, et al. Edge detection of infrared image with CNN_DGA algorithm[J]., 2014, 125(1): 464-467.

[46] 胡刚毅, 秦明明, 荣剑. 一种用于森林红外图像动物边缘检测算法[J]. 红外技术, 2016, 38(8): 709-713.

HU Gangyi, QIN Mingming, RONG Jian. An Algorithm for Animal Edge Detection in Forest Infrared Image[J]., 2016, 38(8): 709-713.

[47] 李翠锦, 瞿中. 基于深度学习的图像边缘检测算法综述[J]. 计算机应用, 2020, 40(11): 3280-3288.

LI Cuijin, QU Zhong. Review of image edge detection algorithms based on deep learning[J]., 2020, 40(11): 3280-3288.

[48] XIE S, TU Z. Holistically-Nested Edge Detection[J]., 2017, 125(5): 3-18.

[49] LIU Yun, CHENG Mingming, HU Xiaowei, et al. Richer Convolutional Features for Edge Detection[C]//(CVPR),, 2017: 21-26 .

[50] YANG J, Price B, Cohen S, et al. Object Contour Detection with a Fully Convolutional Encoder-Decoder Network[C]//(CVPR)., 2016: 28.

[51] 焦安波, 何淼, 罗海波. 一种改进的HED网络及其在边缘检测中的应用[J]. 红外技术, 2019, 41(1): 72-77.

JIAO Anbo, HE Miao, LUO Haibo. Research on Significant Edge Detection of Infrared Image Based on Deep Learning[J]., 2019, 41(1): 72-77.

[52] 刘岩俊. 基于Tsallis熵的自适应红外图像边缘检测方法[J]. 微电子学与计算机, 2011, 28(7): 21-23.

LIU Yanjun. Adaptive Edge Detection Method Based on Tsallis Entropy of Infrared Image[J]., 2011, 28(7): 21-23.

[53] 惠阿丽. 基于线调频小波分维的红外图像边缘检测[J]. 红外技术, 2011, 33(7): 424-428.

HUI Ali. Edge Detection of Infrared Image using Chirplet Dimension[J]., 2011, 33(7): 424-428.

[54] 王晓涓, 魏雪峰. 基于阈值三方向改进Hough变换的红外图像边缘检测[J]. 激光与红外, 2011, 41(3): 319-323.

WANG Xiaojuan, WEI Xuefeng. Infrared imagery edge examination based on threshold and three-direction improves the Hough transformation[J]., 2011, 41(3): 319-323.

[55] 张莹莹, 韩润萍. 局部标准差算子在红外图像去噪及边缘检测中的应用[J]. 制造业自动化, 2013, 35(22): 18-20.

ZHANG Yingying, HAN Runping. Application of local standard deviation operator in infrared image de-noising and edge detection[J]., 2013, 35(22): 18-20.

[56] 陈阳. 组合优化理论的红外图像边缘检测[J]. 激光杂志, 2017, 38(4): 105-108.

CHEN Yang. Infrared image edge detection based on combinatorial optimization theory[J]., 2017, 38(4): 105-108.

[57] 刘云潺, 毕立恒. 基于量子行为云模型的红外图像边缘检测[J]. 实验室研究与探索, 2018, 37(3): 46-50.

LIU Yunchan, BI Liheng. Infrared Image Edge Detection Based on Quantum-Behaved Cloud Model[J]., 2018, 37(3): 46-50.

[58] 苏洪超, 胡英, 洪少壮. 基于红外图像特征与K-means的边缘检测[J].红外技术, 2020, 42(1): 81-85.

SU Hongchao, HU Ying, HONG Shaozhuang. Edge Detection Based on Characteristics of Infrared Image and K-means[J]., 2020, 42(1): 81-85.

Review of Infrared Image Edge Detection Algorithms

HE Qian,LIU Boyun

(College of Power Engineering, Naval University of Engineering, Wuhan 430033, China)

To ensure that researchers are well-informed regarding infrared image edge detection algorithms and to provide a valuable reference for follow-up investigations, we review relevant research conducted on infrared image edge detection algorithms in the past ten years. First, infrared imaging and edge detection technology are summarized, and then, the difficulties and challenges of infrared image edge detection algorithms are described. Finally, the main infrared image edge detection algorithms are summarized, and the related algorithms are divided into four categories: improved classic edge detection operator-based algorithms, ant colony algorithm-based algorithms, mathematical morphology-based algorithms, and network model-based algorithms. Considering traditional infrared image edge detection algorithms, the morphological method has potential because of its simplicity and ease of use; for non-traditional infrared image edge detection algorithms, the method based on deep learning has stronger pertinence, better robustness, and no requirement of designing complex algorithm steps, which brings new development opportunities to infrared image edge detection.

infrared image, edge detection, mathematical morphology, deep learning

TN219

A

1001-8891(2021)03-0199-09

2020-10-21;

2020-12-11.

何谦(1998-),男,硕士研究生,研究方向为图像处理,E-mail:1072633933@qq.com。

猜你喜欢

算子边缘红外
网红外卖
拟微分算子在Hp(ω)上的有界性
闪亮的中国红外『芯』
各向异性次Laplace算子和拟p-次Laplace算子的Picone恒等式及其应用
TS系列红外传感器在嵌入式控制系统中的应用
一类Markov模算子半群与相应的算子值Dirichlet型刻画
一张图看懂边缘计算
Roper-Suffridge延拓算子与Loewner链
基于快速递推模糊2-划分熵图割的红外图像分割
在边缘寻找自我