基于自适应方向导数滤波器的彩色边缘检测
2022-09-15王富平于俊涛张锲石
王富平,于俊涛,张锲石
(1.西安邮电大学 通信与信息工程学院,西安 710121;2.中国科学院深圳先进技术研究院,广东 深圳,518055)
0 概述
彩色边缘检测多被用于处理计算机视觉领域中有关彩色图像的任务[1],例如图像分割[2-3]、目标提取[4-6]、图像插值[7-9]等。现有的彩色边缘检测算法分为输出融合算法[10-11]、向量值算法[12-14]和多维梯度算法[15-17]。
输出融合算法利用灰度边缘检测算法分别提取彩色图像三个通道中的边缘图,将三幅边缘图融合为最终边缘。文献[11]将基于主成分分析(Principal Component Analysis,PCA)提取的彩色图像主分量边缘与改进的色度分量边缘相融合,能够准确检测色度空间的边缘。该类算法虽然计算高效,但是由于未考虑通道之间的信息,因此不可避免地丢失一些边缘信息。
向量值算法利用向量处理方法提取彩色边缘信息。文献[12]根据向量顺序统计算法提出最小向量偏差彩色边缘检测方法。该算法对椒盐噪声具有较优的鲁棒性,但是对梯度方向的估计不准确。为此,文献[13]将微分方向窗与鲁棒性彩色形态学梯度(Robust Color Morphological Gradient,RCMG)算子相结合,并对边缘响应值进行最大值滤波和均值滤波处理,以构建鲁棒性较优的彩色边缘检测算法RCMG-MM。该算法可以精确地估计梯度方向,并且具有较优的椒盐噪声鲁棒性。文献[14]将高斯曼哈顿距离引入到彩色边缘检测中,获得较清晰的彩色边缘强度图(Color Edge Strength Map,CESM),但是缺乏对边缘方向的估计。
多维梯度算法是将每个通道中提取的边缘强度信息融合成一幅CESM,并提取二值图像边缘。文献[15]提出一种基于FRPOS 的彩色边缘检测算法,采用模糊逻辑的广义转移学习算法充分提取边缘像素。文献[16]根据DRM 设计一种新的饱和度不变量,并结合色度不变量对彩色边缘进行检测。彩色Canny算法也属于多维梯度方法[17],其原理是彩色边缘强度的提取、非极大值抑制和双阈值判决。彩色Canny 算法利用二维高斯导数滤波器提取三个通道方向的微分特征并构建雅克比矩阵,从该矩阵中提取融合彩色边缘强度的信息。彩色Canny算法使用的二维高斯导数滤波器在提取边缘强度信息时也存在一定的不足。大尺度高斯滤波器可以抑制噪声干扰,但是导致响应值扩散,从而降低边缘位置的精度。小尺度高斯滤波器能够更精确地定位边缘,但容易受噪声的干扰。
本文提出基于自适应方向导数滤波器的彩色边缘检测算法。分析不同类边缘特性与彩色各向异性高斯方向导数(Anisotropic Gaussian Directional Derivative,ANDD)响应之间的关系,同时构建一种反映边缘类型的新度量,使得在不同类型的边缘处自适应地改变ANDD 滤波器形状,以获得最强边缘响应。采用多方向ANDD 滤波器计算彩色ANDD 响应值,利用奇异值分解(Singular Value Decomposition,SVD)融合得到基于彩色ANDD 的边缘强度。
1 各向异性高斯核及其方向导数
各向异性高斯核gσ,ρ(n)是在两个正交方向上使用尺度不同的高斯函数调制所得。假设对gσ,ρ(n)沿x方向求导数可得ANDD 滤波器,如式(1)和式(2)所示:
其中:σ为高斯尺度;ρ为各向异性因子;Rθk为θk方向上的旋转参数;K为离散方向数。ANDD 滤波器具有各向异性特性,能够精确地提取不同方向上图像强度变化的特征。图1 所示为在σ2=ρ2=6 的8 个方向上的各向异性高斯核和ANDD 滤波器的示意图。第1 行是各向异性高斯核,第2 行是ANDD 滤波器。在文献[18]中已经证明,尺度σ越大,滤波器的噪声抑制能力越优,然而,各向异性因子ρ值越大,滤波器与边缘越相似,使得边缘分辨能力和定位精度越高。
图1 各向异性高斯核与ANDD 滤波器示意图Fig.1 Schematic diagram of anisotropic Gaussian kernels and ANDD filters
2 自适应ANDD 彩色边缘检测
2.1 基于ANDD 的彩色边缘强度
本文算法利用多方向ANDD 滤波器组得到图像多方向导数响应,从而组成了像素点为n的彩色ANDD 向量,如式(3)所示:
边缘和平坦区域像素的ANDD向量与CESM如图2所示(彩色效果见《计算机工程》官网HTML版)。图2(a)表示一幅真实的彩色图像,图2(b)和图2(c)表示在极坐标下图2(a)的边缘区域像素A 和平坦区域像素B 中R通道的ANDD 向量,其角度与ANDD 滤波器方向一致。从图2(b)可以看出,当ANDD 滤波器沿边缘方向时,边缘A 的ANDD 向量响应值最大。随着滤波角度的变化,边缘A 的ANDD 响应值逐渐变小,当滤波器刚好与边缘垂直时,边缘A 的ANDD 响应值最小。平坦区域像素B 在任何方向上的ANDD 响应值都很小。
图2 在边缘和平坦区域上像素的ANDD向量与彩色边缘强度图Fig.2 ANDD vectors and color edge strength map of pixels at edge and flat areas
在彩色图像I(n)=[Ir(n),Ig(n),Ib(n)]T中,每个像素都能得到三个通道的ANDD 向量,它们包含三个通道的边缘信息。受文献[18]的启发,本文提出彩色ANDD 向量,将三个通道的ANDD 向量相融合。由于在三个通道中边缘信息的分布存在差异,因此直接平均三个通道ANDD 向量会丢失部分边缘信息。为此,本文提出自适应加权融合的彩色ANDD 向量,由三个通道的ANDD 向量组成该像素的彩色ANDD 矩阵Α(n),奇异值分解计算如式(4)所示:
其中:|λ1| ≥|λ2| ≥|λ3|为Α(n)的三个奇异值;ui和vj分别为左右奇异向量。假设三个ANDD 向量的融合权值向量为w=[wr,wg,wb]T,本文定义最优的w,使得融合后ANDD 向量的模最大化,如式(5)所示:
其中:当且仅当w=u1时,式(6)成立。因此,最优融合向量w*是奇异值λ1的左奇异向量u1。利用最优融合权值将三个通道的ANDD 向量相融合,得到最终的彩色ANDD 向量新的彩色边缘强度定义为在融合向量中元素的最大值,如式(7)所示:
彩色ANDD 向量具有图2(b)和图2(c)中的特性,即对于边缘区域像素,当ANDD 滤波器沿边缘方向时,彩色ANDD 响应值最大。随着滤波角度变化,彩色ANDD 响应值逐渐变小,当滤波器刚好与边缘垂直时,彩色ANDD 响应值最小。而对于平滑区域像素,在任何方向上的彩色ANDD 响应值都很小。基于通道融合的彩色ANDD 能够自适应地提取在不同彩色通道中的边缘强度信息,使得最终彩色边缘强度最大化。边缘像素C 的彩色和平均加权ANDD向量对比如图3 所示。从图3(a)可以看出,在积木图中边缘像素点C,分别计算本文提出的彩色ANDD 向量和三个通道平均加权的ANDD 向量。彩色和平均加权ANDD 示意图如图3(b)所示,本文提出的自适应融合方法提取的彩色ANDD 向量能够准确描述边缘像素C,且强度较大。而三通道平均加权的ANDD 难以描述边缘像素,且强度较小。
图3 在边缘区域像素C 上的两种ANDD 向量对比Fig.3 Two ANDD vectors comparison between pixel C at edge area
假设向量∇Icolor(n)中第k*(n)个元素最大,那么对应的第k*(n)个ANDD 滤波器的方向与边缘方向一致,其彩色梯度方向计算如式(8)所示:
文献[18]指出ANDD 滤波器的影响区域与σρ呈正相关,σρ越大,ANDD 滤波器的影响范围越广。具有大的σ和ρ的ANDD 滤波器可以同时获得噪声鲁棒性和边缘定位准确性,并具有较广的影响范围。当滤波器在线型边缘上时,具有强方向选择性的ANDD 滤波器可以精确地提取边缘强度。当滤波器在类似角点的复杂边缘周围时,受角点周围多个方向边缘的影响,ANDD 滤波器容易产生较大的响应,从而产生伪边缘。图2(d)左下角表示这种伪边缘的现象,其原因为参数固定的ANDD 滤波器不能同时适应图像中不同类型的边缘。为此,本文设计自适应变化的ANDD 滤波器,以适应局部边缘结构特性。在分析不同边缘特征的微分特性的基础上,本文通过建立彩色图像的微分相关矩阵与图像边缘特征类型之间的新度量,以生成不同类型的边缘像素,从而选择最优参数的ANDD 滤波器,获得最优的边缘响应。
2.2 自适应ANDD 的彩色边缘检测算法
文献[19]利用微分自相关矩阵来描述图像的强度变化程度。如果两个特征值都较大,说明像素位于角点等复杂边缘处;当特征值都较小时说明像素位于平坦区域;如果特征值中一个较大而另一个较小,说明像素位于简单边缘。彩色图像的局部微分自相关矩阵是从灰度自相关矩阵扩展而来。对于一幅彩色图像,利用Canny 算子平滑彩色图像获得三个通道的梯度矢量,并组成雅克比矩阵J(n),从而得到彩色微分自相关矩阵M(n),如式(9)所示:
为突出简单边缘与其他图像特征的差异,根据自相关矩阵特征值之间的关系,本文构建一种反映图像局部结构类型的新度量ζ,且定义为ζ=λ1/λ2。当ζ值较小时,对应的像素位于角点或平滑区。当ζ值较大时,像素则位于边缘区。为保证本文算法的噪声鲁棒性,ANDD 滤波器使用大的尺度σ。此时,各向异性因子ρ可以调整ANDD 滤波器的支撑区域。为了使滤波器在边缘区域具有强的各向异性,在角点和同质区的影响范围较小,对于给定的尺度参数,本文构建ρs与ζ之间的变换函数,如式(11)所示:
其中:ζT为特征值比值的截断阈值(实验中ζT=49)。复杂边缘的ζ一般比较小,相应ANDD 滤波器的支撑区域就比较小。线型边缘的ζ相对较大,则构建的ANDD 滤波器各向异性较强。本文提出的彩色边缘测度具有较优的噪声鲁棒性和精确的边缘检测,以避免在角点附近产生伪边缘。
本文算法主要有以下4 个步骤:
1)对于彩色图像中的每个像素n,计算其彩色微分相关矩阵M(n),并计算特征值比值ζ。根据式(11)计算自适应的各向异性因子ρs,并将其代入到式(4)中得出K=16 个方向的ANDD 滤波器组。
2)利用ANDD 滤波器组平滑彩色图像,提取三个通道的方向微分信息,并将多个滤波器响应组成彩色ANDD 矩阵Α(n)。
3)对Α(n)进行奇异值分解得到最优融合权值u1,并计算融合后的彩色ANDD 向量∇Icolor(n)。该向量中元素的最大值是彩色边缘强度,而梯度方向则根据式(8)获得。
4)利用彩色边缘强度和梯度方向进行非极大值阈值处理和双阈值判决,得到最终彩色边缘图。
3 实验与结果分析
3.1 实验设置
本文算法ANDD 滤波器的参数设置:尺度σs,各向异性因子ρs和方向个数K。σs和K采用文献[18]推荐的参数,和K=16。本文算法的ρs由式(11)获得,根据ζT可以生成适用于不同类边缘的最优ρs。如果ζT取值较小,导致ANDD 滤波器支撑区域较大,导致角点附近的ANDD 响应受局部结构干扰较大,产生伪边缘;相反,如果ζT取值过大,使得所有ANDD 滤波器趋近于各向同性,则难以有效提取线型边缘的响应值。彩色图像的自相关矩阵与灰度图像的性质类似,为解决上述问题,从50 幅公认的含有真实边缘的灰度图像[20-21]中估计ρs。基于直方图统计的参数ρs分布如图4 所示。本文统计真实边缘像素的ζ累积直方图并设定累积直方图30%处的值为ζT,可得ζT=49,并计算图4(a)的ρs分布。简单边缘和复杂边缘处的ρs明显不同。在简单边缘处ρs都比较大,在角点等复杂边缘区域的ρs比较小。如图4(b)中白色箭头处矩形框中心的角点像素,其ρs明显比周围边缘像素的ρs小。
图4 基于直方图统计的参数ρs 分布Fig.4 Parameter ρs distribution based on histogram statistics
3.2 结果分析
为验证本文算法的有效性,本文分别从测度特性、检测结果、Pratt 品质因子(FOM)评价指标和噪声鲁棒性4 个方面对本文算法与彩色Canny 算法[17]、RCMG-MM 算法[13]和FRPOS 算法[15]进行对比。
3.2.1 边缘测度特性验证
本文在图2(a)中加入ε2=100 的噪声,对比本文算法与彩色Canny 算法提取的CESM。本文算法与彩色Canny 算法的边缘测度对比如图5 所示。图5(a)和图5(b)分别是本文算法提取的CESM 及二值边缘图。本文设置彩色Canny 算法中高斯微分算子的尺度为σ=1,使得彩色Canny 算法具有与本文算法相似的边缘定位精度和真实边缘检测率,其检测结果如图5(c)和图5(d)所示。从图5(a)和图5(c)可以看出,本文算法的CESM 背景更干净。从图5(b)和图5(d)可以看出,本文算法具有较少的伪边缘,说明本文算法的噪声鲁棒性更优。
彩色Canny 算法的尺度为σ2=6,使其具有与本文算法近似的噪声抑制效果,其检测结果如图5(e)和图5(f)所示。从图5(a)和图5(e)可以看出,彩色Canny 算法CESM 中的边缘明显模糊,因此,从图5(b)和图5(f)可以看出,彩色Canny 算法检测的边缘定位精度更差,本文算法的边缘定位更准确。因此,本文算法同时具有较优的边缘定位精度和噪声鲁棒性。
图5 本文算法与彩色Canny 算法的边缘测度对比Fig.5 Edge measures comparison between the proposed algorithm and color Canny algorithm
3.2.2 测度显著性与检测结果对比
图6 表示四幅测试图像Lena、建筑物、房子和Peppers。本文选择图6中线段A和线段B所示的两条边缘垂直剖切线上的像素,分别计算本文算法、彩色Canny算法、RCMG-MM 算法和FRPOS算法在这些像素上的边缘测度值,结果如图7所示。从图7可以看出,本文算法的边缘测度在边缘处的数值最大,同时在非边缘像素处的测度值比其他算法小,并且整个测度曲线更加平滑,产生伪边缘的概率更小。而图7(a)中箭头所指处其他算法的测度在真实边缘附近出现了虚假响应。
图6 本文实验的测试图像Fig.6 Test images of the proposed experiment
图7 不同算法的边缘测度值对比Fig.7 Edge measure values comparison among different algorithms
图8 表示4 种算法提取含噪声方差ε2=100 的Lena 图像的CESM,每个子图的下方显示三个局部区域(如图6(a)所示的矩形方框区域1、区域2 和区域3)的边缘强度放大图。从4 种算法在区域1 和区域3 中提取的CESM 可以看出,本文算法提取的CESM 能够增强一些对比度较弱的边缘。这是因为ANDD 滤波器的方向选择性使其能精确地提取不同方向上的边缘强度。而区域2 内包含一定纹理结构,本文算法能够有效去除因纹理产生的伪边缘。
图8 不同算法提取的彩色边缘强度图对比Fig.8 Comparison of color edge strength maps extracted by different algorithms
在无噪声条件下不同算法提取房子图像的CESM对比如图9 所示。右下角局部图均为图9(a)虚线框中的放大图。从图9 可以看出,本文算法在真实边缘处十分明显,而在非边缘区域强度较小,而且背景比较平滑。根据图像局部特征类型,本文算法自适应地选择合适的ANDD 滤波器进行图像平滑处理,因此在角点等复杂边缘附近可以避免产生仿射状响应。
图9 无噪声下不同算法提取的彩色边缘强度图对比Fig.9 Comparison of color edge strength maps extracted by different algorithms without noise
在无噪声条件下不同算法提取房子图像的二值边缘图对比如图10 所示。从图10 可以看出,彩色Canny算法和RCMG-MM 算法可以检测出许多伪边缘,其原因为彩色Canny 算法中高斯微分算子的局限性和RCMG-MM 算法中简单的矩形窗口导致的边缘响应估计不准确。FRPOS 算法检测到的伪边缘数目较少,但是其梯度方向估计不准确,使得非极大值抑制后的边缘出现部分断裂。而本文算法的二值边缘图几乎没有伪边缘,而且真实边缘的连续性较好。
图10 无噪声下不同算法提取的二值边缘图对比Fig.10 Comparison of binary edge maps extracted by different algorithms without noise
当噪声方差ε2=100 时,不同算法提取图6 中房子、建筑物和peppers 这3 幅图像的CESM 对比如图11 所示。从图11 可以看出,彩色Canny 算法和RCMG-MM 算法对噪声比较敏感,FRPOS 算法和本文算法的CESM 相对比较清晰。相比彩色Canny 算法、RCMG-MM 算法和FRPOS 算法,本文算法的噪声更少,其主要原因为本文算法中大尺度σ的ANDD 滤波器对噪声有较强的抑制能力。
图11 含噪声方差ε2=100时不同算法提取的彩色边缘强度图对比Fig.11 Comparison of color edge strength maps extracted by different algorithms with noise variance ε2=100
本文对图11 中的CESM 进行沿梯度方向的非极大值抑制及双阈值处理(Tlow=0.08,Thigh=0.20),获得的边缘检测结果如图12 所示。从图12 可以看出,彩色Canny 算法对噪声比较敏感,能够检测出大量的伪边缘。RCMG-MM 算法使用的形态学滤波器对高斯噪声有一定的抑制作用,因此检测出的伪边缘与彩色Canny 算法相比较少。FRPOS 算法具有较优的噪声鲁棒性,在检测结果中的伪边缘也比较少。本文算法的大尺度ANDD 滤波器同样具有较优的噪声鲁棒性,因此检测到最少的伪边缘。而且在复杂边缘附近的ANDD 滤波器产生较小的影响范围,避免产生放射状响应和伪边缘(如图12中放大的局部图所示)。
图12 含噪声方差ε2=100时不同算法提取的二值边缘图对比Fig.12 Comparison of binary edge maps extracted by different algorithms with noise variance ε2=100
3.3 客观评价指标
本文利用客观评价指标——Pratt品质因子和ROC曲线评估不同算法性能。
FOM 评价指标如式(12)所示:
其中:ne和nd分别为理想边缘图和实际检测结果图中的边缘像素数;d(k)为第k个检测边缘像素与最近理想边缘像素之间的距离;κ为损失因子,实验中κ=1/9。算法的FOM 越大,其性能越优。不同算法的FOM 即使相差较小,其性能也可能存在明显不同。本文对文献[18]中50 幅包含参考边缘的测试彩色图像,分别计算彩色Canny 算法、RCMG-MM、FRPOS 和本文算法的平均FOM。在无噪声和方差ε2=100 的高斯噪声条件下,不同算法的平均FOM 对比如表1 所示。在无噪声和含噪声这两种情况下,本文算法的平均FOM 均最大,说明本文算法具有较优的检测性能。
表1 不同算法的FOM 对比Table 1 FOM comparison among different algorithms
ROC 曲线可以客观地评价不同边缘检测算法在不同参数设置下的性能。假设在某一边缘检测数据中,边缘像素数目为NE,非边缘像素数目为NNE。若边缘检测算法检测到的像素与参考边缘像素一致,则该像素为真阳性(True Positive,TP);若检测得到的边缘在参考非边缘区域内,则该像素为假阳性(False Positive,FP)。NTP表示标记为TP 的像素数,NFP表示标记为FP的像素数。对于一次检测结果,可以得到:
对于各种参数组合可以得到一系列点(1-PTP,PFP),其中,1-PTP表示未被正确检测的边缘点概率,PFP表示被错误检测为边缘点的非边缘点概率。当(1-PTP,PFP)为(0,0)时,检测结果最理想。ROC 曲线则是由点集(1-PTP,PFP)中最靠近左下方的点连接而成。在测试数据集上,某一边缘检测算法的ROC曲线越靠近左下角,则算法性能越好。
本文利用彩色Canny、RCMG-MM 和本文算法分别对50 幅测试彩色图像进行边缘检测,同时分别在无噪声、含ε2=100 的高斯噪声和含10%的椒盐噪声情况下绘制ROC 曲线。彩色Canny 算法中的尺度参数σ1=1,1.1,…,6。RCMG-MM 算法中的窗口宽度L=3,5,…,11。本文算法中的,2,…,9,滤波器方向K=16。而这3 种算法在边缘检测时共用的阈值都设置为Tlow=[0.1,0.35],Thigh=[0.5,0.98],采样间隔都为0.01。不同算法的ROC 曲线对比如图13 所示。从图13 可以看出,本文算法的ROC 曲线在无噪声、高斯噪声情况下都比其他算法更靠近左下角,说明本文算法的综合性能更优。本文算法根据边缘类型自适应调整方向导数滤波器的形状,以更好地匹配边缘,使得在无噪声情况下的性能最优。对于高斯噪声,各向异性高斯滤波器对高斯噪声具有强鲁棒性[22],而RCMG-MM 算法中的自适应均值滤波也具有一定的高斯噪声抑制能力,因此该情况下本文算法性能最优,RCMG-MM 次之,彩色Canny 算法的性能最差。对于椒盐噪声,本文算法的ANDD 滤波器具有狭长空域形态,使其具有一定的椒盐噪声抑制能力。因此,RCMG-MM 算法的中值滤波具有最优的椒盐噪声抑制能力,但其滤波器结构比较简单,导致其综合性能与本文算法相当。彩色Canny 算法中的高斯导数滤波器对椒盐噪声较敏感,导致其性能最差。因此,根据不同噪声情况下ROC 曲线比较,本文提出的彩色边缘检测算法对噪声具有较优的鲁棒性,综合性能优于彩色Canny算法和RCMG-MM算法。
图13 不同算法的ROC 曲线对比Fig.13 ROC curves comparison among different algorithms
3.4 噪声鲁棒性
噪声鲁棒性也是评价边缘检测算法的重要指标。为客观评价本文算法的噪声鲁棒性,本文在50 幅测试图像中分别添加噪声标准差在[0,20]的高斯白噪声和噪声比例在[1%,10%]的椒盐噪声,并计算其FOM。在每个噪声等级下,不同算法的FOM 都是10 幅测试图像进行50 次实验的平均值。不同算法的FOM 随噪声变化的曲线如图14 所示。从图14(a)可以看出,随着高斯噪声方差的增大,本文算法和FRPOS 算法的FOM下降幅度较小。RCMG-MM 算法中形态学方法对高斯噪声鲁棒性稍差,而彩色Canny 算法对噪声最敏感。从图14(b)可以看出,随着椒盐噪声比例的增大,RCMG-MM 和FRPOS 算法的FOM 下降辐度比较小,说明其对椒盐噪声鲁棒性较好。本文算法中的ANDD滤波器对椒盐噪声有一定抑制力,其噪声鲁棒性稍差。彩色Canny 算法对椒盐噪声的鲁棒性最差。在两种噪声下,本文算法的FOM 一直最大,说明本文算法在噪声情况下的检测性能均优于其他三种算法。
图14 不同算法的FOM 随噪声变化的曲线Fig.14 Curve of FOM with noise of different algorithms
4 结束语
本文提出基于自适应各向异性高斯方向导数的彩色边缘检测算法。通过构建反映图像边缘类型的度量准则,以控制各向异性高斯方向导数滤波器的形状,从而精确提取不同类型的边缘微分信息。在特征融合过程中,利用奇异值分解获得最优融合权值,以增强融合的边缘强度。实验结果表明,相比彩色Canny、RCMG-MM、FRPOS 算法,本文算法具有较优的边缘定位精度和噪声鲁棒性。下一步将把非线性滤波器与各向异性方向导数滤波器的结构相融合,使得算法在混合噪声环境下具有较优噪声鲁棒性的同时,进一步提高彩色边缘检测性能。