基于色调色相不变约束的迭代自适应彩色图像增强

张 义,宛 楠

(1.安徽工程大学 计算机与信息学院，安徽 芜湖 241000；2.皖南医学院 医学信息学院，安徽 芜湖 241002)

机器视觉系统[1]的实现依赖于图像处理、计算机视觉和控制理论等技术.通常情况下设计的机器视觉系统需要补光，而光源也需要稳定光照强度，尤其是在更多的噪声干扰的情况下，获得较好视觉效果的图像难度很大，这大大限制了机器视觉系统应用范围.系统地解决机器视觉系统的难题需要具体地分析影响视觉效果的主要因素，在这些因素中最具有难度的是低照度下的图像增强问题.传统的图像增强方法有很多，利用它们所获得的结果差强人意.Monika Agarwala[2]等提出了自适应伽玛校正的距离限权直方图均衡化，较好地解决了低对比度医学图像增强过程中亮度无法保持和对比度增强过高的问题.然而，所采用的医学图像并非彩色图像，因而无法对颜色进行还原，在进行脊髓造影过程中获得的图像效果较差，且存在较多干扰.Sreenivasa Setty[3]等提出先利用对比度拉伸，再利用多尺度Retinex算法进行图像增强.该方法能够增强脊髓周围区域组织的锋利边缘，且减少图像的噪声，尤其是高斯和斑点噪声，提高了整体对比度.针对数字彩色图像增强不能提供良好的动态范围压缩，在彩色渲染方面容易失败的问题，Ming-Jung Seow[4]等提出可以利用同态滤波器进行图像增强.为了避免色彩恢复失真，将原始图像中每个像素的颜色关系表示为状态空间中的吸引子，然后利用神经网络的动力学特性作为联想记忆，对同态滤波后的图像像素的自然颜色特征进行记忆恢复.该算法获得较好的彩色恢复效果，然而与其他算法相比没有速度上的优势.Sheng Zhong[5]等提出了一种基于小波分析的黑白图像增强方法和一种新的伪彩色图像处理方法.这些方法所获得的增强图像具有丰富的层次，算法提高了图像信息熵达30%左右.然而由于波母函数的不同，选择不同的波母函数所得到的结果也有差异，因而一致性不易保证.

图像增强也是提高阴影图像和低对比度图像的感知质量的过程，以便图像能够获得更高的视觉效果.图像采集设备所获得的图像本身存在各种噪声干扰和环境约束，这导致图像看上去有假边缘或伪轮廓，这些虚假的特征将淹没图像目标真正的特征.一般地，特征并不是存在于整个图像中，而是在图像的某一个局部位置，为了方便，通常把这种局部位置称为视觉焦点区域.视觉焦点可以通过最新的技术-视觉注意机制[6]来找到.研究考虑了在实际低照度环境条件下如何提高视觉焦点提取的精度.因此，图像增强是图像视觉焦点提取之前的关键问题.在真实的环境条件下，存在许多外部干扰，可能影响提取出视觉焦点区域.当然，在过高照度下，通过视觉注意机制检测后将得到大亮度的区域，图像的亮度特征将被这些大亮度的区域所覆盖.也就是说，视觉焦点感知会由亮度不均匀导致视觉误差.同时，在调整亮度时，色彩特征检测不受图像增强算法的影响，这是提出新算法的原因.首先，在RGB-YCbCr[7]模型基础上建立新映射模型.在针对亮度变量Y的微小调整中，可以得到YCbCr中3个分量的相应变化，而后应用视觉注意理论检测文中所提出的图像增强算法，验证算法的鲁棒性和运行速度.

1 色彩空间模型

色彩空间模型(包括RGB、YCbCr和HSV等)被广泛用于数字图像处理.其中，YCbCr颜色空间保留了比任何其他颜色空间更好的亮度分量的细节信息，同时，不少文献显示了使用YCrCb信号时，人眼对色度的敏感性低于亮度，即不易在图像增强过程中出现颜色失真现象.YCbCr是一种能够在色彩处理和感知均匀性两个方面获得较好折衷的色彩空间，其中的色彩均被处理成色彩感知上有意义的信息.这样，后续的图像/视频处理、传输和存储等就在色彩感知上均具有了意义.YCbCr的可分离亮度信号(Y)可以以高分辨率或高带宽传输，而两个色度分量(Cb和Cr)可以通过多次采样、压缩或以其他方式被单独处理，从而提高了系统效率.

由于定义YCbCr的方程是以旋转整个标准RGB颜色立方体的方式形成的，因此可以将其缩放以适应可变尺寸的YCbCr颜色立方体.在YCbCr颜色立方体中有一些点不能在相应的RGB域中表示(至少不在标准的RGB范围内)，因此，可以根据不同的标准定义改变YCbCr的形式.在ITU-RBT.601(也就是以前的CCIR 601)标准中，YCbCr是从RGB空间派生而来的，如式(1)所示：

(1)

JPEG的JFIF使用的YCbCr则按式(2)定义，其中Y、Cb和Cr取值在0～255范围内，

(2)

针对于以上的定义，转换后的YCbCr从数值上随着转换方式的改变而不同，因而不具备一般性.为此，研究提出了抽象变换形式以便进行统一的描述.

2 迭代自适应算法

2.1 抽象色彩空间变换

定义1 (抽象变换形式)RGB和YCbCr的抽象颜色空间变换形式如下：

(3)

这里,

在图像增强中，仅仅改善亮度分量不能获得良好的性能，容易产生颜色失真现象.解决这一问题的可行方法即在图像亮度增强的同时加入色调不变约束和色相不变约束.色调和色相的定义如下：

(4)

(5)

2.2 色调、色相不变约束

(1)色调不变约束.假设色调保持常数α，则排除亮度干扰后，仅对颜色进行恢复时将采用式(6)进行推导.

(6)

在增强图像后，3个分量之间的新关系可以表示如下：

(7)

假设颜色平移的位移是线性的,就是ΔR=R′-R,ΔG=G′-G,ΔB=B′-B.假设：

(8)

鉴于二阶微小量对全局的影响较小，为了简化起见,这里忽略不计.这样式(8)可以展开为：

[2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)]ΔR+[2GD22+(D12+D21)R+

(D23+D32)B+2(T2A22+T3A32)]ΔG+[2BD33+(D13+D31)R+(D23+D32)G+

2(T2A23+T3A33)]ΔB=0,

(9)

首先考虑一个简单的情况，即：

(10)

其中Cb不能为0.如果实际计算中确实为0，可令Cb=ε，其中的ε为不为0的小正数.根据以上的变换，可得：

(11)

(A21k1-A31)ΔR+(A22k1-A32)ΔG+(A23k1-A33)ΔB=k2,

(12)

至此，由于色调与色相的限制，式(9)和式(12)用数学表达式阐述了其中的约束性.

(3)增量迭代模型.以下将利用拉格朗日极值求解方法推导出YCbCr随着R分量迭代增量的模型.假设：

2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)=L1,

(13)

2GD22+(D12+D21)R+(D23+D32)B+2(T2A22+T3A32)=L2,

(14)

2BD33+(D13+D31)R+(D23+D32)G+2(T2A23+T3A33)=L3,

(15)

然后得到：

(16)

(17)

(4)迭代自适应彩色图像增强.为了比较图像增强方法的优缺点，通常使用图像质量指标嵌入这些算法本身.常见的图像质量指标[8]主要包含7个指标，即结构化内容(Structural Content，SC)，均方误差(Mean Square Error，MSE)，峰值信噪比(Peak Signal to Noise Ratio，PSNR)，归一化互相关(Normalized Cross-Correlation，NK)，平均差(Average Difference，AD)，最大差值(Maximum Difference，MD)和归一化绝对误差(Normalized Absolute Error，NAE).用粒子群优化算法(Particle Swarm Optimization，PSO[9])找到最佳迭代步骤.迭代自适应彩色图像增强算法描述如下所示.

算法1 迭代自适应彩色图像增强算法

输入A：一幅低照度彩色图像；输出EA：已增强的彩色图像.

初始化:设定R分量的一个随机初始偏移量.

①将原始图像由RGB空间转换为YCrCb彩色空间；

③分别计算A和EA的7个质量指标；

④在图像增强时，使用PSO搜索最佳迭代次数τ；

⑥将增强后的图像由YCrCb色彩空间转换到 RGB空间；

⑦归一化EA并输出.

3 视觉注意机制

在机器视觉研究中，作为人类视觉系统(HVS)的视觉生物机制启发式算法-视觉注意机制(VAM)越来越受到重视，许多专家将各种新颖的视觉注意机制模型应用到不同的领域.经典的视觉注意机制包括线性滤波器、“中心-周围”差分计算和归一化、多尺度融合归一、线性组合和显著性的竞争焦点等步骤.首先，获得的彩色图像使用线性滤波器来降低噪声.然后将滤波后的图像发送到3个通道，以便并行获得图像的颜色、亮度和方向等信息.在不同的通道下，输入图像进行低通滤波和亚采样，在不同分辨率下利用Gabor滤波，从而形成不同层级的金字塔[10-11].在金字塔的不同层次上获得颜色、亮度和4个方向(0度，45度，90度，135 度)特征，然后每个特征通道计算不同尺度下对应显著图的中心环绕差异和归一化.在合并和归一化地图后，3个通道中的每一个都可以获得对应的局部显著图.通过三通道输出的线性组合，得到最终的显著图.根据经典的Itti算法理论，在显著图中拥有最高值的区域是视觉关注的第一焦点区域，而后将此区域删除，并在其他区域中寻找第二焦点区域、第三焦点区域等等.研究的核心内容是如何获得包括特征图像在内的合适的视觉焦点.

4 实验和讨论

为了验证算法的有效性和鲁棒性，选择卡内基梅隆大学的姿态、照明和表情数据库(CMU PIE，见图1)作为测试图像集.

图1 PIE 图像数据库中的一些图像

(1)平均偏差(Average Difference，AD).

(18)

(2)归一化绝对误差(Normalized Absolute Error， NAE).

(19)

(3)均方误差(Mean Square Error，MSE).

(20)

(4)最大偏差(Maximum Difference， MD).

(21)

(5)归一化互相关系数(Normalized Cross-Correlation， NK).

(22)

(6)峰值信号比(Peak Signal to Noise Ratio，PSNR).

(23)

(7)结构化内容(Structural Content，SC).

(24)

6次迭代后获得的7种图像质量指标如图2所示.从图2中可以看出，随着迭代次数的增加，绝对误差相差很大，图像太亮，对比度不高，增强效果不佳.因此，为了达到更好的图像客观性，需要在合理的范围内搜索迭代次数.研究还发现搜索过程等于获得了图3所示的最佳图像熵.矩形框内的值将是最佳的迭代次数范围.采用粒子群优化的生物激励方法来搜索最佳迭代次数τ，经过τ次迭代后，原始图像与增强图像的视觉焦点比较如图4所示.从图4中可以看出，增强图像的视觉焦点包含了增强前提取的大部分视觉焦点.结果表明，该算法对视觉焦点提取具有鲁棒性，且具有光照不变性的特点.

图2 6次迭代后获得的7种图像质量指标图3 熵空间中最佳迭代次数的选取

图4 原始图像与增强图像的视觉焦点比较

为了验证文中算法在图像增强前后焦点提取的准确性，提出一种焦点覆盖比作为测试指标，即：

(25)

式中，i表示总数为N的图像组的第i幅图像；FO表示焦点覆盖比；be和ae分别表示增强前和增强后.考虑到图像增强算法集中的经典算法，研究所提出的算法将与直方图均衡化、对比度增强、同态滤波、小波变换进行比较，运行结果如表1所示.由表1可以看到，研究所提算法的焦点覆盖比是最好的，超过直方图均衡化近 30%，然而所消耗的时间远低于小波变换.这就证明了研究所提算法对视觉焦点提取的鲁棒性性能较好，且具有快速的特性.

表1几种图像增强算法运行结果比较

图像增强算法 FO/%Time/ms图像均衡化68130对比度增强73210同态滤波75360图像增强算法 FO/%Time/ms小波变换821280研究所提算法97570

5 结论

研究提出的方法在低光照环境下，采用迭代自适应彩色图像增强方法，取得了较好的效果.大多数彩色图像增强算法都是从灰度图像增强中扩展出来的，其中3条通道都进行了相似的增强操作.由于需要在短时间内处理大量的图像数据，导致计算机性能低下.与其他方法相比，此方法取得了较好的效果.同时，采用闭环反馈增强控制，提高了图像增强算法的鲁棒性.目前，将该方法应用于机器视觉中后，通过视觉注意机制提取图像焦点，能够保持图像增强前后焦点差别不大.涉及的算法推导是建立在线性变换基础上的，因而效果仍需进一步改善，后续将建立非线性变换的迭代自适应彩色图像增强算法，为后续的跟踪和识别工作奠定了基础.

[1] 施特格.机器视觉算法与应用[M].北京：清华大学出版社,2008.

[2] MONIKA AGARWAL，RASHIMA MAHAJAN.Medical image contrast enhancement using range limited weighted histogram equalization[J].Procedia Computer Science,2018(125):149-156.

[3] S SETTY,N K SRINATH,M C HANUMANTHARAJU.An improved approach for contrast enhancement of spinal cord images based on multiscale retinex algorithm[J].International Journal of Imaging & Robotics,2014,13(2):112-125.

[4] M J SEOW,V K ASARI.Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing,2006,69(7-9):954-958.

[5] S ZHONG,X JIANG,J WEI,et al.Image enhancement based on wavelet transformation and pseudo-color coding with phase-modulated image density processing[J].Journal of Tianjin University of Technology,2012, 58(5):56-63.

[6] L MAGAZZINI,K D SINGH.Spatial attention modulates visual gamma oscillations across the human ventral stream[J].Neuroimage,2017(166)：219-229.

[7] X ZHU,R CHEN,H XIA,et al.Shadow removal based on YCbCr color space[J].Neurocomputing,2015(151):252-258.

[8] A SAHA,Q M J WU.Full-reference image quality assessment by combining global and local distortion measures[J].Signal Processing,2016,128(C):186-197.

[9] S KARTHEESWARAN.A data-parallelism approach for PSO-ANN based medical image reconstruction on a multi-core system[J].Informatics in Medicine Unlocked, 2017(8):21-31.

[10] X YU,X FEI.Target image matching algorithm based on pyramid model and higher moments[J].Journal of Computational Science,2017(21):189-194.

[11] W ZHAO,H LUO,J PENG,et al.Spatial pyramid deep hashing for large-scale image retrieval[J].Neurocomputing,2017,243(C):166-173.