基于双通路视觉系统的自适应轮廓检测模型①

王宪保 陈 斌 项 圣 陈德富 姚明海

(浙江工业大学信息工程学院 杭州310023)

轮廓检测是计算机视觉领域的一个基本问题,也是重要的图像预处理环节,其目的是准确获取物体形状边界的稀疏表达,常被应用于图像分割[1]、目标识别[2]等高级视觉任务。

以Prewitt 算子[3]、Canny 算子[4]为代表的传统检测算法,边缘定位准确但对背景纹理敏感。基于机器学习的算法通过整合局部特征[5]、结合多尺度分析[6]等方式提高了一定的准确率,但结果依然不理想。而检测效果较好的深度学习算法[7-8]需要耗费巨大的时间成本,同时也对硬件设施提出了更高的要求。不同于深度学习依赖训练和强大算力,仿生算法通过模拟视觉信息加工机理可以适用于单张图像且同样实现了较好的轮廓检测效果,其大致可以分为基于感受野特性和基于感知机制2 类。

基于感受野特性的算法依据细胞感受野对刺激的响应进行设计。经典感受野(classical receptive field,CRF)具有的朝向选择性常被用于边缘提取,而非经典感受野(non-classical receptive field,NCRF)对其中心CRF 响应的外周抑制作用常被用于背景纹理的抑制。Grigorescu 等人[9]据此考虑距离和朝向因素,提出各向同性与各向异性2 种外周抑制算法,其采用的同心圆式感受野计算简洁高效,但会导致弱轮廓被过度抑制。窦燕等人[10]在静态的半椭圆环式感受野基础上融合了固视微动,克服了视网膜在均衡刺激下的信息丢失问题,更好地区分了背景和前景。Yang 等人[11]引入多个局部特征调节外周抑制,提高了轮廓定位准确度。Zhang 等人[12]模拟细胞视差敏感性,组合深度与亮度,进一步提高了轮廓提取能力。

基于感知机制的算法着眼于视觉系统层级交互关系。Melotti 等人[13]采用特定排列的感受野模拟了外膝体到初级视皮层(primary visual cortex,V1区)的映射,与真实的响应更加接近;通过引入神经元间的推拉式抑制机制,有效凸显了主体轮廓。陈树楠等人[14]依照视网膜→外膝体→V1 区这一经典视觉通路的分层响应模式提出了较完整的检测框架,综合暗视觉、侧抑制和微动整合机制,在复杂场景的轮廓检测中保持了较好的鲁棒性。

尽管以上仿生算法取得了一定成果,但还是存在以下问题。

(1) 基于感知机制的算法大多只关注经典视觉通路的分层响应,忽略了皮层下通路对信息的整体评估与调制反馈作用[15-16],导致轮廓断裂较多。

(2) 基于感受野特性的算法通常预设尺度,未考虑感受野面对不同刺激的动态调整能力[17],易于遗漏部分轮廓信息。

(3) 模拟NCRF 外周抑制作用的算法在抑制纹理的同时会削弱轮廓强度,且在纹理较强的图像中轮廓定位不够准确,误检率较高。

针对上述问题,本文基于双通路视觉系统的感知机制与生理特性,提出了一种自适应稀疏抑制模型(adaptive sparsity inhibition model,ASIM),其贡献主要表现在以下3 个方面。

(1) 模拟皮层下通路的信息评估机制,提出了适用于轮廓检测的显著评估方法,判断图像不同位置包含轮廓信息的可能性,为轮廓检测指出需精细感知的区域。

(2) 模拟感受野方向选择与动态特性,提出了自适应尺度的边缘提取方法,基于显著值调节尺度,提高了轮廓细节检出能力。

(3) 模拟NCRF 外周抑制作用对纹理进行抑制,并针对轮廓抑制过度问题,提出了结合空间分布的稀疏度量方法,增强主体轮廓的同时降低了误检率。

1 相关工作

常见的轮廓检测实现思路是:先提取边缘信息,后对其中的纹理边缘进行选择性抑制,最后获得主体轮廓。

针对边缘提取,研究者受具有朝向选择性的简单细胞启发,通过对CRF 进行模拟,得到了几种有效的边缘提取模型。其中,高斯导函数模型[18]由于较好地拟合了CRF 的时空响应,可以有效提取多方位边缘,被广泛应用于各种轮廓检测模型。

针对纹理抑制,Grigorescu 等人[9]利用NCRF 外周抑制机理,提出了各向同性抑制和各向异性抑制2 种算法,取得了较好的效果。其中,各向同性抑制算法考虑了距离在NCRF 外周抑制过程中产生的影响,即NCRF 外周抑制的强度通常随着与CRF 中心的距离增加而减小。他们采用高斯差分(difference of Gaussians,DoG)函数作为距离权重,其外周抑制项的计算如式(1)所示。

其中,Inh(x,y) 表示NCRF 外周抑制项,E(x,y)表示CRF 响应,wd(x,y) 表示距离权重,‖·‖1表示L1范数,DoG(x,y) 表示高斯差分函数,σ表示CRF 的尺度。非线性函数N(z) 起半波整流作用,用于保证神经元响应非负。

经外周抑制后的轮廓响应为

其中,R(x,y) 为轮廓响应;α为抑制强度系数,用于调节外周抑制的强度。此后,众多研究者或改进NCRF 模型的结构,或在式(2)的基础上,将多种特征以单独或组合的形式融入外周抑制,从而提高算法轮廓检测能力。

2 模型实现

基于视觉系统中皮层下通路和经典视觉通路对视觉信息不同的处理方式,本文提出了ASIM 模型。模型由显著评估(saliency evaluation,SE)、自适应尺度的边缘提取(adaptive scale edge extraction,AE)和基于稀疏度量的纹理抑制(sparsity measure-based texture inhibition,TI) 3 个部分组成。

整体模型的工作流程如图1 所示。SE 作为预处理,对输入图像进行整体分析,得到表示轮廓信息可能性分布的显著图。AE 基于SE 生成的显著图,通过自适应调整感受野尺度进行检测,并引入高斯导函数模型提取多方位边缘,得到细节丰富的初级轮廓响应。最后由TI 对AE 得到的初级轮廓响应进行纹理抑制,采用基于稀疏度量的纹理抑制方法提高主体轮廓对比度,降低误检率,最终得到较为清晰的轮廓图像。

图1 ASIM 模型的工作流程

2.1 显著评估

视觉系统中存在一条皮层下通路具备一定的信息评估能力[15-16],基于跨层级的传递方式可以快速感知整体轮廓,并通过眼动转移注意、优化信息采集过程[19]。受这种机制启发,本文提出一种适用于轮廓检测的显著评估方法,在对主体轮廓快速定位的同时,充分考虑背景区域包含轮廓信息的可能性,形成需精细检测区域以指导后续尺度调节,为轮廓边缘的提取打下良好基础。

自然场景中,亮度和对比度等基本视觉特征是影响视觉注意转移到显著区域的重要因素[20],因此本文采用余弦加权窗口[21]对输入图像I(x,y) 计算亮度L(x,y) 和对比度C(x,y),模拟视网膜对输入信息的编码过程。

图像区域的显著性不仅受局部特征等外观因素影响,还与各区域间的距离相关[22]。越相近的2 个区域,其外观上的差异会越明显;而随着距离的增大,其外观差异对它们显著性的影响则会逐渐减小。为了表示2 个图像区域在显著值上相互影响的程度,本文提出了相异度的概念,其定义如式(3)所示。

其中,m和n表示图像上任意的2 个区域,dL(m,n)和dC(m,n) 分别表示2 个区域在亮度和对比度上的差异,计算上采用两区域中对应位置亮度或对比度差值的均方根。此外,由于低亮度图像中区域间亮度差异较小,若与对比度差异采用相同权重将导致相异度始终在较小范围内,进而影响显著值的计算。为避免这一问题,本文设置特征比例系数β,以归一化后的图像平均亮度作为取值,以此提高低亮度图像中对比度差异的贡献。ddistance表示2 个图像区域中心像素间归一化后的距离。

于是,像素(x,y) 处的显著程度可以通过其所处的图像区域m与其他所有区域n之间的相异度进行判断。考虑到依次计算区域m与所有区域n之间的相异度需耗费大量时间,本文采用Goferman等人[23]的方法搜索得到与区域m相异度最大的K个图像区域,并通过初步实验确定了K的取值。因此,(x,y) 处的初级显著值计算过程如式(4)所示。

其中,S∗(x,y) 表示初级显著值,K为参与计算的图像区域数量,nk(x,y) 表示与区域m(x,y) 相异度最大的K个区域。

需要注意的是,通过区域相异度计算显著值可以快速定位显著的主体轮廓,但不能完全反映背景信息在轮廓检测中的重要性。由于光照、雾霾等因素的影响,弱轮廓边缘与背景的分界并不明显,这意味着在距离主体较近的背景区域有很大可能包含了轮廓信息。因此,本文以式(4)计算得出的初级显著图为基础,首先采用大津法对其二值化,得到显著的主体轮廓;然后对背景区域进行距离加权,使得距离显著主体越近的背景区域拥有越高的权重;最终获得表征轮廓信息可能性分布的显著图,其计算方式如式(5)所示。

其中,S(x,y) 表示像素p(x,y) 处的显著值,ncp(x,y) 为显著主体中距离p(x,y) 最近的像素,de(p(x,y),ncp(x,y)) 表示两者距离。

2.2 自适应尺度的边缘提取

采用固定尺度的边缘提取方法往往只能检测特定频率下的边缘,导致许多轮廓信息的遗漏。与之不同的是,经典视觉通路在面对不同的视觉刺激时,可以通过感受野的动态变化对这些刺激进行自适应处理[17]。因此,本文在显著评估的基础上,提出了一种自适应尺度的边缘提取方法,其基本思想是通过皮层下通路反馈的显著值,自适应调节感受野尺度,实现不同频域边缘细节的提取。

本部分工作流程如图2 所示,分为自适应尺度的计算、朝向选择的模拟和多方位边缘响应的融合3 步。

图2 AE 的工作流程

为了与感受野响应变化的生理机制更加接近[24],本文使用Sigmoid 函数作为激活函数,并考虑到感受野尺度与检测精细程度呈反比的关系,对其改进得到如式(6)所示的自适应调制函数。

其中,S(x,y) 为经归一化处理的显著值,表示该处为轮廓像素的可能性;σs(x,y) 为对应的感受野尺度;(a,b) 为一组调整尺度变化范围的参数,即通过(a,b) 来确定自适应尺度的上下界,取值范围为[1,10]。(a,b) 偏大时,尺度范围较大,过大的尺度易于导致轮廓细节丢失,过小的尺度则使得纹理边缘被一并提取;(a,b) 偏小时,尺度范围较小,不同显著值处尺度接近,进而遗漏多尺度信息。为此,本文进行了多组尺度范围下边缘提取性能调优的预实验,确定了(a,b) 的最优参数值为(4,3)。

V1 区简单细胞能从图像中提取边缘信息凭借的是被称为朝向选择的生理特性[24],即具有特定朝向喜好的感受野会对该朝向的边缘产生较强响应。近年来有研究发现具有方向滤波作用的高斯导函数[14,18]与这类感受野对视觉信息的处理十分近似,这为模拟CRF 的边缘提取提供了有效途径。高斯导函数可由式(7)描述。

其中,RF表示感受野;G表示二维高斯函数;～x=xcosθ+ysinθ,～y=-xsinθ+ycosθ;θ表示感受野的最优朝向;γ为感受野的椭圆率;σs为式(6)得到的自适应尺度。

将不同朝向的感受野与图像进行卷积,可以得到对图像I(x,y) 的多方位边缘响应,如式(8)所示。

其中,∗表示卷积操作,Nθ表示朝向的数量。

最后,采取Winner-Take-All(WTA)策略[11-12]对多方位边缘响应进行融合,即针对每个像素,取该位置所有朝向感受野响应中的最大值,形成初级轮廓响应E(x,y),如式(9)所示。

2.3 基于稀疏度量的纹理抑制

AE 得到的初级轮廓响应E(x,y) 包含了大量纹理边缘,这对后续的轮廓提取造成了干扰。为了突出主体轮廓,该部分主要实现对纹理等冗余信息的选择性抑制功能。目前众多仿生算法通过对NCRF 外周抑制机理进行模拟,能够较为有效地消除大部分纹理,但同时也会造成部分轮廓信息丢失,且对强纹理边缘的抑制不够理想。

因此,本文提出了一种基于稀疏度量的纹理抑制方法。在外周抑制之前,通过对初级轮廓响应E(x,y) 的稀疏性进行度量,进一步提高轮廓与纹理的对比度,实现了对主体轮廓的增强和对强纹理的抑制。

Alpert 等人[25]曾提出一个稀疏度量方法用于图像分割领域,公式如下:

其中,spar(x,y) 表示(x,y) 处的局部稀疏度,稀疏度高的为轮廓,稀疏度低的为纹理;hist(x,y) 表示图像在以(x,y) 为中心的局部窗口的直方图,n是hist(x,y) 的维度,‖·‖p为Lp范数。

这一方法只考虑了像素的局部稀疏度,忽略了像素在空间上的分布,仅能粗略划分轮廓和纹理区域。为此,本文结合像素的空间分布关系对此稀疏度量方法进行了改进。将像素(x,y) 所处的局部窗口视作图像块Pxy,取其周围多个图像块组成的区域Sxy进行研究,如图3 所示。

图3 结合空间分布的稀疏度量方法示意图

一般而言,纹理像素点所处图像块的像素平均值¯E和局部稀疏度spar相较轮廓像素点所处图像块更低。特别地,对于图4(f)所示的这类整体响应较强的纹理,单从图像块的角度无法将其与轮廓进行区分,但是在更大区域内具有重复排列特点,表现为各图像块均值接近,有着较低的离散度。针对该现象,本文基于图像块的像素均值及所处区域的离散度,引入空间分布系数实现纹理与轮廓的区分。采用空间分布系数加权后的稀疏度量方式如下:

图4 基于稀疏度量的纹理抑制方法处理效果

其中,SE(x,y) 表示稀疏轮廓响应,η为空间分布系数;Pxy表示以(x,y) 为中心的图像块,¯E(x,y|Pxy) 为图像块Pxy的像素均值,反映了图像块的平均边缘响应强度;Sxy表示以图像块Pxy为中心的区域,δ(x,y| Sxy) 为区域Sxy内图像块均值的标准差,反映了区域Sxy内图像块的离散程度。

最后本文采用计算上简洁高效的各向同性抑制方法(式(1))模拟NCRF 的外周抑制,得到外周抑制项Inh(x,y)。最终轮廓响应为

其中,α为抑制强度系数;N(·)如式(1)所定义,用于保证响应不为负数。

以2 种典型情况对基于稀疏度量的纹理抑制方法处理效果进行说明。仅采用外周抑制方法容易导致弱轮廓边缘被过度抑制而断裂(图4(c)),同时也无法全部去除强纹理区域(图4(g))。相反,通过提前对初级轮廓响应进行稀疏度量,有效地增强了轮廓信息(图4(d)),也更好地抑制了大片的纹理区域(图4(h))。

3 实验结果与分析

3.1 实验设计与评价指标

本文实验的硬件环境采用Windows10 64 位操作系统,16 GB 内存,处理器为Intel ⒸCore(TM)i5-10600 CPU 4.80 GHz,软件平台为Matlab 2018a。本文在数据集RuG40 和BSDS500 上对所提模型的有效性进行验证。RuG40 包含40 张大小为512 ×512像素的自然场景的灰度测试图,每张测试图对应了一张人工标注的基准轮廓图。BSDS500 包含200 张训练图、100 张验证图和200 张测试图,所有图像大小均为321 ×481 或481 ×321 像素,每张图存在5～10 个基准轮廓图,实验中取所有基准轮廓计算得到的指标均值作为最终性能指标。

本文采用非极大值抑制和滞后阈值将模型提取到的轮廓处理为单像素宽的二值图,并设定了整体性能指标P、误检率eFP和漏检率eFN[9]对检测结果进行评价。各指标定义如下:

其中,card(·) 表示集合的元素数量,E表示正确检测到的像素集,EGT表示基准轮廓像素集,EFP和EFN分别表示误检、漏检像素集。

误检率eFP体现了对纹理的敏感度,而漏检率eFN体现了对轮廓边缘的检出能力。P值兼顾了正确检测、误检和漏检,可以准确度量检测轮廓与基准图像的相似性。因此,更高的P值反映了模型更好的检测性能。

本文所有实验的参数设置如表1 所示,由于抑制强度α与滞后阈值p会影响轮廓提取的效果,本文对其以0.1 为步长组合进行实验,获得最优指标。

表1 参数表

3.2 模型验证

3.2.1 处理效果

本实验使用一张自然图像对模型各部分处理能力进行验证,并局部放大来直观展示效果。

自然图像存在大量纹理干扰,例如图5(a)所示草地影响了象蹄轮廓的完整性,给轮廓提取带来了挑战。图5(b)为SE 得到的显著图,大象主体轮廓高亮,与背景有着较好的区分度。在放大区域中,背景的显著值朝象蹄靠近而递增,表明存在轮廓信息的概率逐渐变大,为后续边缘检测提供了可靠的指导。图5(c)为AE 输出的初级轮廓响应,大尺度感受野对背景纹理起到了很好的平滑作用,而小尺度感受野则检出了众多细节。其中象蹄下侧边缘被成功提取,证明了SE 与AE 两部分在轮廓信息保留与提取上的有效性。图5(d)为TI 的处理结果,相比图5(c) 主体轮廓更加粗壮,更多纹理被抑制,表明基于稀疏度量的纹理抑制能够增强轮廓信息,提高轮廓的定位能力,降低误检率。

图5 各部分处理效果展示

3.2.2 SE-AE 边缘提取能力验证

本文中SE 为模型的预处理部分,提供全局显著值以调节AE 中感受野的尺度,实现自适应尺度的边缘提取,因此其有效性同样是通过漏检率eFN和整体最优P值进行衡量。

本实验将SE 与AE 相结合,记作SE-AE,通过固定TI 验证有效性,结果列于表2。实验1～3 采用固定尺度的SE-AE。其中,实验2 固定尺度的选取遵循文献[9,11],实验1 和3 的固定尺度分别为本模型在表1 参数下的自适应尺度上下界。实验4 采用自适应尺度的SE-AE。

表2 SE-AE 边缘提取能力验证

对比实验4 与实验1～3 可知,本文提出的SEAE 在2 个数据集上的漏检率eFN较固定尺度方法分别下降了4.5%和5.5%,最优P值分别提高了6.8%和5.3%。结果表明,基于显著值自适应调节尺度能对不同频域下的轮廓边缘敏感,有效避免了轮廓信息遗漏,显示了SE-AE 良好的边缘提取能力。

3.2.3 TI 纹理抑制能力验证

本实验以AE 得到的初级轮廓响应为输入,采用误检率eFP与整体最优P值作为评价指标,验证TI 的纹理抑制能力。

如表3 所示,实验1 不进行任何纹理抑制,实验2仅采用各向同性抑制方法(isotropic inhibition,ISO),实验3 仅采用本文提出的稀疏度量方法(sparsity measurement,SM),实验4 结合了各向同性抑制方法和稀疏度量方法(ISO+SM),即本文TI 部分提出的基于稀疏度量的纹理抑制方法。

表3 TI 纹理抑制能力验证

由实验1 可知,AE 得到的初级轮廓响应中仍有较多纹理,因此误检率很高,整体最优P值较低。对比实验1～3 可知,单独使用ISO 或SM 方法均有效降低了模型在2 个数据集上的误检率eFP,并提高了整体最优P值。由于SM 相比ISO 方法更注重轮廓信息的强化,因此在保持误检率的情况下降低了漏检率,使得整体最优P值有所提高。对比实验2～4 可以发现,本文的TI 通过组合ISO 和SM 方法,在2 个数据集上的误检率eFP进一步降低了15.9%和26.1%,整体最优P值进一步提高了1.8% 和2.9%。结果表明,各向同性抑制方法和稀疏度量方法在纹理抑制中各有侧重,TI 通过结合2 种方法,进一步提高了轮廓与纹理的区分度,使得误检率大幅下降,整体检测性能上升,证明了TI 在轮廓强化与纹理抑制上的有效性。

3.3 对比实验

3.3.1 实际效果评价

为评价ASIM 模型在图像上的实际检测效果,本文在数据集RuG40 和BSDS500 上进行测试,与3个仿生轮廓检测模型(CORF[13]、MCI[11]、CSLCM[26])进行对比。从结果中随机选取2 张图像,其检测性能与处理效果如表4 及图6 所示。

表4 轮廓检测各项性能对比

图6 视觉效果对比

表4 为不同模型在Golfcart 和42 049 这2 幅图像上的检测性能对比。由表4 可知,在图Golfcart 上本文模型ASIM 具有最好的检测能力,误检率eFP、漏检率eFN和P值均为最优。在图42 049 上,ASIM的eFP和eFN同时保持在较低水平,最终P值最高,这说明ASIM 在轮廓细节的提取与纹理的抑制上达到了很好的平衡。此外在单张图像处理时间的比较上,尽管ASIM 的处理速度不及CORF,但与CSLCM相近,且远快于MCI。因此可以认为,ASIM 在提高检测性能的同时保持了较快的处理速度。

图6 为不同模型对Golfcart 和42 049 这2 幅图像的实际检测效果。在图Golfcart 上,CORF 检测效果较差,仍存在许多纹理;MCI 细节丢失较多,出现了轮廓断裂;CSLCM 提取的轮廓连贯性好于MCI,但是产生了较多毛刺;本文ASIM 的TI 结合了稀疏度量与外周抑制,更准确地区分了背景纹理和轮廓边缘,因此图中纹理噪声抑制效果最为明显。在图42 049 上,CORF 与CSLCM 均产生了虚假轮廓;MCI对树枝末端等细节不够敏感;本文ASIM 通过SE 针对性的信息评估策略,配合AE 以自适应尺度对边缘进行提取,图像边缘细节清晰,主体连贯完整,视觉感知效果较好。总之,ASIM 提取的轮廓与基准轮廓最为接近,具有最好的实际检测效果。

3.3.2 整体检测性能对比

本实验通过计算整个数据集的最优平均P值来显示ASIM 在整体检测上的优越性,结果使用柱状图表示。

如图7 所示,浅色柱表示使用固定的一组最优参数(α,p) 得到整个数据集的平均P值(全局最优)。深色柱表示对每张图像使用一组最优参数(α,p) 得到的平均P值(单图最优)。

图7 数据集RuG40 和BSDS500 上的最优平均P值

从图7 可知,ASIM 将RuG40 和BSDS500 上的全局最优P值提高到了0.50 与0.32,单图最优P值也达到了0.56 和0.35,这证明了ASIM 在整体检测性能的有效性和优越性。此外还可以发现,其他模型在2 个数据集上各有侧重,如CSLCM 在RuG40上的表现优于MCI,在BSDS500 上则反之。与之不同的是,ASIM 在2 个数据集上均有不错的表现,这说明ASIM 具有更好的泛化性,其模拟的视觉机制更利于寻找不依赖数据集的图像本质特征。

4 结论

针对自然图像中背景纹理干扰轮廓提取的问题,本文构建了基于双通路视觉系统的自适应轮廓检测模型(ASIM)。该模型由SE、AE、TI 3 部分构成。首先,受皮层下通路处理过程启发,SE 中提出了一种适用于轮廓检测的显著评估方法作为预处理,通过考虑主体的局部相异度及背景重要性对图像显著评估,预先筛选出可能存在轮廓的区域。然后在此基础上,AE 中提出一种自适应尺度的边缘提取方法,模拟感受野的动态特性,自适应调整尺度提取多方位边缘,加强了对弱轮廓边缘的捕获,增强了轮廓完整性。最后,TI 采用各向同性抑制方法模拟NCRF 外周抑制作用,同时提出稀疏度量方法,从空间分布关系的角度衡量边缘稀疏性,实现了主体轮廓强化与背景纹理抑制。本文通过实验验证了模型各部分的有效性,并与CORF、MCI、CSLCM 等主流仿生模型进行了比较。结果表明,本文模型具有较好的检测效果,背景纹理抑制充分,轮廓主体突出,细节丰富。

本文ASIM 中模拟皮层下通路预先对图像整体进行评估的做法为基于视觉机制的轮廓检测方法提供了新的思路。本模型具有低成本、无监督的优势,可以较好地适用于单张图像和数据集的处理。后续研究一方面可继续探讨高级视皮层的反馈机制在轮廓检测中发挥的作用,另一方面可探讨本文所提取的轮廓如何应用于目标检测、语义分割等计算机视觉任务。