一种基于视觉显著性的交通图像质量评价方法

张凌峰++李玉惠

摘要：随着智能交通的不断发展、监控设备的更新换代，交通监控系统获取到的图像信息每年都在成倍增长，其直接影响就是摄像设备采集到的无用信息太多，如何对其中的图像信息进行质量评价以及筛选是一个重要问题。为了改善这一现象，提出一种基于视觉显著性的交通图像质量评价方法。该方法将图像抽样成一些随机的感兴趣区域 ，然后对这些区域进行计算，最后得到显著性图像。实验结果表明，基于视觉显著性的交通质量评价方法效率高、实用性强。该方法得到的显著性图像明显符合人眼的视觉特性以及感兴趣区域，达到了预期效果。

关键词：图像质量评价；智能交通；视觉显著性；感兴趣区域；显著性图像

DOIDOI：10.11907/rjdk.172407

中图分类号：TP317.4文献标识码：A 文章编号：16727800（2017）010019503

0引言

近年来，随着数字图像信息技术的发展， 图像质量评价（Image Quality Assessment，IQA）成为图像信息技术的重要研究内容。随着科技的飞速发展，图像技术被广泛应用于各个领域，图像信息相比于其它信息优势显著，因此要对图像信息进行合理处理，对图像质量作出有效评价显得尤为重要。算法选择以及图像信息系统性能评价都有赖于对图像质量的有效评价。能否准确地评价图像质量是图像处理技术的核心问题之一。图像质量评价方法通常分为主观评价方法和客观评价方法。主观评价方法准确、可靠，但随着大数据时代的来临，每天获取到的图像数量不计其数，仅依靠主观评价方法会导致评价结果不稳定，无法适用于目前的图像信息工程当中；客观评价方法利用数学度量的方法对图像质量进行分析评价，其目的是建立数学客观评价模型，使评价结果与主观评价具有较好的一致性，具有耗时少、效率高、稳定性强等优点，并且能够实现软件化、模块化，已经成为图像质量评价的研究重点。

经典的客观图像质量评价方法——均方差（MSE）和峰值信噪比（PSNR）均基于数学统计特性度量图像质量。这两种方法计算量小、易于实现，在图像处理领域中获得了广泛应用，缺点是它们单纯对失真图像和原图像之间的灰度值差异进行简单计算，而忽略了人眼在观察图像时的感兴趣区域，难以有效地反映人眼对图像的视觉感知。随着对人眼视觉系统（Human Visual System，HVS）的深入研究，一些专家开始利用人眼视觉系统的某些特性进行图像质量评价。文献[1]通过对人的心理学和生理学进行实验，构造出人类视觉系统的前端特征模型，进而模拟出人的视觉特性进行图像质量客观评价，但得出的实验结果难以令人满意；Wang等[2]将待测图像的亮度、对比度和结构信息与原图像进行对比，提出了基于结构相似度（Structural Similarity， SSIM）的图像质量评价方法；针对SSIM不能较好地评价严重模糊的降质图像的问题，杨春玲等[3]提出一种基于梯度的结构相似度（GSSIM）图像质量评价方法，该方法将梯度作为图像的主要结构信息，其与人眼视觉系统的高层次感知理论比较符合，能较好地评价模糊图像；田浩南等[4]在基于结构相似度的图像质量评价方法基础上，考虑了边缘信息对人眼视觉感知的重要性，提出了基于边缘结构相似度的图像质量评价方法；靳鑫等[5]考虑到亮度、对比度、结构度对不同失真类型图像质量评价的贡献程度不同，提出了根据图像失真类型适应SSIM（ASSIM）的图像质量评价方法。

1视觉显著性研究现状

视觉显著性和相关认知神经学在过去几十年里已经获得了广泛研究，人类的视觉注意机制能够将有限的认知资源聚集于场景中的重要刺激而抑制那些不重要的信息。最早的研究工作由C Koch等[6]完成，他们通过对灵长类动物和人类视觉系统的研究，提出视觉显著性注意转移的3个特点：①不同图像的基本底层特征包括：颜色、朝向、运动方向和差异等；②选择性注释的一个功能是使不同图像之间的信息变成一个连贯的整体；③提出了WTA机制，即在注意过程中先选择最明显的目标，然后选择次明显目标。Itti和Koch[7]在1998年第一次成功实现了视觉显著性模型，并据此提出了视觉选择性注视理论（Itti）。其采用的WTA机制大致符合人眼的注意顺序，对图像的底层特征分析比较详细，缺点是仿生物模型的结构建立比较复杂，计算速度慢、效率低，目标轮廓无法辨识，图像分辨率低；2006年，J Harel和C Koch[8]提出基于Graph的显著性算法，对Itti算法进行了改进，其实验效果比Itti算法有了明显提升，也为视觉显著性跨学科研究提供了新思路。但缺点是计算量大，在实时应用过程中效果很差；2007年，侯晓迪[9]从频率角度提出了视觉显著性新的研究方向，并从信息角度分析了图像组成部分。该算法只需进行傅里叶变换和反傅里叶变换，因此计算速度相当快，但是显著性区域不明显，只能标出高亮区域；2010年，R Achanta[10]在自己研究的基础上改进了AC算法与IG算法，提出一种基于最大对称环绕的显著性检测方法，改善了由于目标中心区域相互之间的显著性不明显，不能高亮地显示显著目标中心区域的问题。但该算法增加了计算复杂度，需要对全图每个点进行扫描；2011年，M M Cheng[11]提出了HC和RC基于全局对比的显著性分割算法，该算法能够得到高精度的显著图，并在复杂自然环境中准确分割出目标图像。HC算法改进了直方统计和全局对比度算法，能够获得不错的计算速度。在RC算法中，其提出的区域分割思路为显著性算法注入了新思路，但其计算复杂度较大，不易实现。

2视觉显著性研究与应用

基于视觉注意的显著性区域检测对于图像分析过程具有非常重要的意义。注意是人類信息加工过程中一项重要的心理调节机制，它能够对有限的信息加工资源进行分配，使感知具备选择能力。如果将这种机制引入交通图像分析领域，将计算资源优先分配给那些容易引起观察者注意的区域，将极大地提高现有图像质量评价的工作效率。endprint

视觉显著性检测（Visual Saliency Detection）是通过模拟人眼视觉系统，利用智能算法及模型提取出图像中的显著区域（人眼感兴趣区域），最终得到显著图。视觉注意机制（Visual Attention Mechanism）为：当人看到一个给定场景时，人眼会自动对场景中的感兴趣区域进行提取，并选择性地忽略掉不感兴趣区域，这种人眼作出自觉反应的机制被称为视觉注意机制，这些人眼感兴趣的区域被称为显著性区域。如图1所示，当人看到这幅图像时，最能引起人眼注意的就是图中的4个人。

人眼视觉注意机制分为两种：

（1）自底向上（BottomUp）。它是基于数据驱动的注意机制，仅受感知数据的驱动，将人的观察点指引到场景中的显著区域，即与周围具有较强对比度或有明显不同的区域。利用图像的颜色、亮度、边缘、条纹等特征表示，判断目标区域和其周围像素的差异，由此计算图像区域的显著值。该注意机制常用来进行图像检索、主动视觉等研究。

（2）自顶向下（TopDown）。它是基于任务驱动目标的注意机制，由人的“认知因素”决定，如预期、知识、目标认知等。它利用图像的某些特定特征计算图像区域的显著值。该注意机制常用来完成目标检测、目标跟踪等任务。

2.1基于随机抽样的视觉显著性算法

首先建立场景，输入一个维数是r×c×3的彩色图像I。其中r和c分别是行和列。开始用高斯滤波器将输入图像I进行滤波，以去除噪声。下一步将其RGB空间分解为各自的L*、a*、b*通道，构成Lab空间，其中每个通道大小为r×c。由于Lab空间经常被用作比较显著图的标准，并且Lab空间与人的心理视觉空间相似度高，因此Lab空间优于其它颜色空间。显著图中，L*、a*、b*通道分别称为SL、Sa、Sb，大小都是r×c。随后，在每个L*、a*、b*通道生成n个随机子窗口。左上角和第I个随机子窗口的右下坐标分别为（x1i，y1i）和（x2i，y2i），其中i=1…n。在给定通道中，特定坐标位置上的显著值定义为像素亮度值的绝对差与给定通道的随机子窗口的平均像素亮度值之和。最后得到的显著图S的大小也为r×c。指定位置计算出的最终显著值作为Lab空间中不同通道的显著性欧式范数。由于图像中的显著区域或对象可以在任意位置上出现，因此在生成的随机子窗口坐标中运用离散均匀概率分布，有助于放置窗口而不会偏向某个特定窗口的尺寸或图像空间域。将得到的显著图在区间[0，255]内进行归一化，随后进行中值滤波。选择中值滤波的主要原因是它在消除噪声的同时能够保留边缘信息。为进一步提高S的对比度，将其进行直方图均衡化。这里的图像增强和人眼视觉系统对视觉场景中显著刺激的视觉对比调和是一致的。本文方法不会降低输入图像的分辨率，也不需要对图像进行预训练，而且只有一个需要调整的参数n。流程如图2所示。

本文的显著性计算方法是先将图像抽样成一些随机的感兴趣区域 （Region of Interest，ROI），然后在这些区域上进行计算，对于一幅图像如RGB，第一步用高斯滤波器进行滤波，并将RGB空间转换成Lab空间；第二步随机生成n个窗口，对于每个窗口，计算出灰度和与面积的比值，即平均亮度值meani：

meani=sumi/Areai（1）

然后依据下式计算窗口中每个像素Iij的显著性映射：

SMi，j=SMi，j+|Ii，j-meani|（2）

第二步是在3个通道上分别进行的，所以最后的显著性映射要采用欧式距离把颜色空间的显著值融合在一起，即：

FMi.j=LM2i，j+AM2i，j+BM2i，j（3）

最后得到的FM即为整幅图像的显著值。

2.2实验结果

将LIVE图像库里的标准图像以及交通监控图像按照上述步骤获取显著图，如图3～图5所示。

显著图的右边色谱图中，自上而下由红色到蓝色渐变，其中红色到黄色部分显著程度为高，由黄色到浅蓝色部分显著程度为中，由浅蓝色到深蓝色部分的显著程度为低。显著图中颜色由红色到黄色之间的区域为高视觉显著区域，与之对应的原图像中的区域即为人眼感兴趣区域。从图3可以直观地看到，白色的塔和房子以及栅栏是人眼感兴趣区域，相应的显著图中这几个区域的颜色都在红色到黄色之间，与预期结果一致；图4中人眼感兴趣区域主要集中在行驶的车辆以及白色线条区域，与显著图中的高视觉显著区域一致；图5中由于没有车辆，而显著图中部分高视觉显著区域显示在非主道路区域，与预想有偏差。因此，本方法用于有车辆的道路交通图像中时效果较好，在无车辆的道路交通图像中效果不佳。

3结语

本文采用了一种基于随机抽样的视觉显著性算法，该算法的优点是不需要将图像转換为灰度图像，参数调节简单，运算速度较快，并且能够在原图上直接操作，同时不会降低图像分辨率。在运用于有车辆的道路交通图像时有明显效果，获取到的显著图的显著区域与人眼的感兴趣区域基本一致，在显著性检测方面达到了预期效果。同时，本文的不足之处在于没有得到完整的质量评价结果，后续还要根据所得的显著图进行下一步研究分析，将得到的显著区域与原图进行相似度分析，最后得到质量评价结果。

参考文献参考文献：

[1]LI BEI，MEYER W，KLASSEN V R.A comparison of two image quality models[C].Human Vision and Electronic Imaging.San Jose：SPIE Digital Library，1998：98109.

[2]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Trans. Image Process， 2004，13（4）：600612.endprint

[3]杨春玲，等.基于梯度的结构相似度的图像质量评价方法[J].华南理工大学学报：自然科学版，2006，34（9）：2225.

[4]田浩南，李素梅，等.基于边缘的SSIM图像质量客观评价方法[J].光子学报，2013，42（1）：110114.

[5]靳鑫，蒋刚毅，等.基于结构相似度的自适应图像质量评价[J].光电子·微光，2014，25（2）：378385.

[6]C KOCH，S ULLMAN. Shifts in selective visual attention： towards the underlying neural circuitry[J].Human Neurobiology， 1985，4（4）：219227.

[7]L ITTI， C KOCH， E NIEBUR.A model of saliency based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：12541259.

[8]J HAREL， C KOCH， P PERONA. Graphbased visual saliency[J].Advances in Neural Information Processing Systems， 2006：545552.

[9]X HOU，L ZHANG. Saliency detection： a spectral residual approach[C].IEEE Conference on Computer Vision and Pattern Recognition， 2007：18.

[10]RADHAKRISHNA ACHANTA， SABINE SUSSTRUNK.Saliency detection using maximum symmetric surround[C].International Conference on Image Processing （ICIP）， Hong Kong，2010.

[11]MINGMING CHENG， GUOXIN ZHANG， NILOY J MITRA， et al. Global contrast based salient region detection[C].IEEE International Conference on Computer Vision and Pattern Recognition （IEEE CVPR）， 2011：409416.

責任编辑（责任编辑：黄健）endprint