基于交叉视觉皮质模型的真实图像再现方法

李 成，汪 沛 ，毕笃彦

(1.空军航空大学 长春 130022；2.空军工程大学航空工程学院 西安 710038)

数字图像从获取到显示的全过程一直围绕“视觉匹配(visual matching)”的核心任务，努力实现场景的重现显示来符合人类视觉的认知[1]。虽然成像设备以人类视觉系统为参照，但在动态范围等自适应显示方面还没有达到，同时成像设备与显示系统发展不平衡，新型成像设备获取的高质量图像无法在常规低动态范围显示设备上正常显示。这两方面都导致了各种成像系统获得的图像与真实场景视觉感知存在一定差别。为了在低动态范围显示设备上重现符合人类视觉的真实图像，文献[2-3]引入了真实图像再现(realistic image rendition, RIR)的概念。图像再现技术(image rendition, IR)本身旨在保证图像在各种设备(相机、显示器、打印机等)之间传输和复制过程中输入输出信息的准确性和一致性，而RIR是IR尤其面向成像设备与显示设备间输入输出的继续和深入，重点关注高动态范围图像可视化，在现有传感器技术条件下，实现视觉匹配需要有效的真实图像再现算法。

文献[1]对于降质到有限动态范围的传统低动态范围图像(low dynamic range image, LDRI)，通过图像增强技术尽可能优化清晰度和对比度；而具有更宽动态范围的高动态范围图像(high dynamic range image, HDRI)本身信息不存在丢失，色调映射任务是有效还原场景清晰度和对比度。虽然强调了两种技术所处理对象信息和解决过程的相异性，但是本文认为从最终实现视觉认知的目标来说，二者都是为了在显示端实现人类视觉系统对场景的视觉匹配，输出图像都应接近或超过人眼直接观察所获得的视觉质量。而从技术角度看，二者的共通性则都依赖于视觉系统和视觉特性的研究与图像处理手段的日益进展。所以LDRI图像增强与HDRI色调映射二者在科学问题和理论发展上应走向“共融”。目前可以横跨这两个领域设计的框架主要包括Retinex算法[4]和非线性变换[5]等方法。

本文从真实图像再现的概念和研究内容出发，旨在设计一种基于视觉系统的通用框架，能够有效适用于低动态范围图像增强和高动态范围图像色调映射，最终实现多种动态范围图像在显示端的真实再现。为了适合图像再现场景的应用，针对交叉视觉皮质模型(intersecting cortical model, ICM)自身存在的问题进行了模型改进和方法设计，提出了邻域强化连接交叉视觉皮质模型，对阈值选择下降和参数设置进行了讨论。以此模型为基础，设计了基于改进ICM模型的真实图像再现的算法流程。仿真实验表明依托视觉系统的精细化设计保证了真实图像再现的实现。由于HDRI无法直接显示，为了描述的直观性，本文仿真实验使用8-bit灰度范围的LDRI来进行图示说明。

1 基于视觉特性的真实图像再现技术

真实图像再现依赖于视觉系统的深入研究，包括感光适应机制、感受野、视觉通道与视觉皮质的信息处理等，同时也与一系列生理心理实验相关，是光学、心理学、生理学、图像处理、计算机视觉、机器学习和仿生学诸多学科的交汇，主要进行颜色/亮度恒常性和动态范围压缩等问题的求解，包括Retinex在内的各种色调映射算法。

文献[2]设计了基于Sigmoid函数的局部视觉适应算法，结合视觉感受机制的亮度适应原理模拟感光适应性模型设计了新的适应性模型。实验表明：融合了局部适应性的S形非线性模型在处理光照复杂细节丰富的图像上输出效果较好。进而根据视觉通道感受野结构特点，提出了基于初级ON/OFF视觉通路和朝向性受域模型的真实图像再现算法，尤其关注视觉侧抑制作用和视觉皮质简单细胞的选择作用。文献[6]提出了基于视网膜高动态范围亮度适应和视觉通路侧抑制竞争机制的图像增强算法，TAN函数实现全局亮度的自适应映射，改进视网膜ON/OFF双拮抗响应模型增强图像的局部细节。参数控制混合色调映射方法[7]比Sigmoid方法性能有所提升。在跟踪图像色貌模型方面，文献[8]引入Sigmoid函数融入到iCAM模型，该算法对色调失真图像实现颜色复原的同时，有效提高了图像的对比度和局部细节，能够较好地实现颜色恒常性。尽管低动态范围图像增强和高动态范围图像色调映射看似不同领域研究内容，但从基本理论和算法设计上，真实图像再现思想将二者有效地统一在一起，目标都是实现人类视觉系统对场景的真实认知，以上算法都有较强的借鉴意义。

2 基于NEL-ICM的真实图像再现

由Kinser首次提出的ICM模型是基于多种生物视觉皮质模型共有机理建立的数学综合和简化，具有变阈值、捕获动态脉冲发放和同步振荡等特性，体现人脑部分感知或认知功能，具有适合图像处理的天然优势。因此从视觉系统出发实现真实图像再现有着基本的依据和优势。ICM具有计算量小，性能优越等特点，非常适合图像处理，迭代方程为：

式中，Fij，Sij，Tij，Yij分别为神经元状态、输入图像像素值、动态阈值和神经元输出；f，g，h为标量系数。ICM模型经过持续深入研究，已经在图像分割等多个图像处理方面体现出良好性能。但是为了适合真实图像再现场景的应用，本节针对原始ICM存在问题进行了适应性改进和方法设计，进一步提出了邻域强化连接交叉视觉皮质模型(neighborhood enhanced linking ICM, NEL-ICM)。

2.1 邻域强化连接交叉视觉皮质模型的构建

ICM模型在迭代过程中，神经元点火发放产生自动波效应导致了干涉现象，这对图像清晰度有较高要求的真实图像再现应用场景非常不利。ICM邻域影响集中在表征连接关系的W{}上，其是产生自动波的根源，所以必须修改神经元间连接方式、改变自动波传播特性才能彻底解决自动波效应。Kinser引入向心自动波实现邻域非线性连接项，认为曲率流模型是向心自动波的理论基础，但是Kinser方案从曲率流到向心自动波构造实现的转化过程描述并不清楚，文献[10]在深入分析ICM自动波形成机理及现有文献基础上，提出了基于线性热流和形态学中值集的两种向心自动波实现方法，但运算复杂度依然很高。同时基于向心自动波的实现方式本身与神经元邻域连接问题存在跨越，所以本文在考虑邻域连接关系的基础上进一步解决自动波效应。借鉴边缘保持滤波器等核心思想，充分考虑邻域神经元间的相互作用(距离及邻域所有神经元像素信息的影响)，在ICM神经元连接模型W{}的设计上，本文提出了邻域强化连接函数WNEL{}：

其中，WNEL利用3个连接因子对Y进行加权，分别为：

1)空间邻近因子(spatial closeness factor, SCF)：采用指数下降和欧氏距离描述邻域内神经元对中心神经元间的空间影响，dk为邻域神经元与中心神经元间的欧氏距离，经过指数作用中心神经元与自身的连接距离为1；

2)像素相似因子(pixel similarity factor, PSF)：为了考虑中心神经元像素信息对当前邻域的影响，在像素相似性上，采用邻域神经元像素信息均值代替中心神经元像素值作为比较对象；

3)影响概率因子(influential probability factor,IPF)：由于距离不同，像素信息不同，邻域神经元对中心神经元影响程度不同，综合像素信息和距离信息引入影响概率来定量描述。同样考虑了中心神经元像素信息对当前整个邻域的影响。

NEL-ICM与原始ICM相比，充分考虑邻域内所有神经元的信息及相互作用；在导致自动波的原始单一距离加权上作用以邻域像素信息相似度和影响概率权值，连接输入扩展为脉冲信息Y和像素信息S的混合输入，3个不同角度考虑的加权连接系数可以充分表征不同距离、不同像素信息和不同影响程度的邻域内神经元外部刺激差异。综上，结合连接函数和阈值下降方法的讨论，邻域强化连接交叉视觉皮质模型NEL-ICM为：

根据ICM默认参数和典型设计方法，设计NEL-ICM面向真实图像再现应用的参数设置原则：

1)阈值下降机制决定了点火状态，本文采用文献[11]提出的基于直方图划分的自适应下降方法，按照直方图划分值生成自适应的阈值下降序列第n次下降值为构成的NEL-ICM阈值下降公式：设置T矩阵初始阈值为单位矩阵；

2)迭代次数由直方图划分区域确定，针对真实图像再现的应用，通常划分区域为256个，所以下降步长较小足以保证把相邻灰度级通过不同点火时刻尽可能区分开来；这样的划分可以使得点火更充分细致，输出映射灰度级多。原始图像都进行归一化，直方图根据图像动态范围设定最小统计值(bin)，面向0～255灰度级图像，分层数小于8时，以256-bin直方图统计即可满足需要；分层数等于8时，可以设置为1 000-bin及以上；而对于高动态范围图像，则需要根据图像最小值设定，保证将最小值附近的量纲在阈值下降时也可以分开；

3)根据文献[11]经验，如果调制参数h典型值设置较小则会导致神经元重复点火，所以面向真实图像再现应用场景，保证神经元一次点火，设置h为较高数量级。

4)由于ICM将非线性相乘耦合调制融合到连接函数设计，在状态项Fij的构造中表征连接关系的WNEL{}作用非常关键，为了保证与阈值比较时的尺度细致，点火更加细致和充分，将f设置为较小数值，弱化状态项自身反馈强化连接关系表征，同时赋以系数v调整WNEL{}。

经过大量测试，NEL-ICM默认选取参数为：f=0.1；h=3×1010；v=0.3。

2.2 本文算法流程

图像分解的显著形式来源于透明度感知，ICM是实现分层视觉表征的典型代表。基于视觉皮质模型的图像增强方法的核心是将该神经元点火表征的图像分解过程与像素值变化形成映射对(matching pair)。基于此思路，本文建立基于NEL-ICM的真实图像再现框架，流程见图1。不同动态范围的输入图像像素值根据上述直方图选择下降规律依次点火，引入映射函数fm(⋅)感知点火状态Y[n]与相应阈值T[n]以得到输出图像作为最终真实再现图像。映射函数建立NEL-ICM输入与输出映射关系，点火映射图累加即是整个迭代过程的体现。因此，基于NEL-ICM的真实图像再现算法核心框架为：

该框架的核心是设计合适的fm(⋅)，能够根据具体实现情况、依据NEL-ICM迭代过程而获得目标输出。

为了提高处理效率，无需进行3个通道的分别处理。首先得到原始图像S的亮度分量L，NEL-ICM迭代过程完成图像增强/色调映射的核心环节——亮度再现。通常亮度可控和细节保持这两个环节需要分步实施[12]，而NEL-ICM邻域内非线性连接函数可以在图像对比度再现时体现一定的约束作用，从而可以在一个模型中综合考虑。亮度再现后，在RGB空间进行颜色再现。在亮度分量计算时，采用NTSC/PAL的YUV空间计算方法，即：L=0.298 9R+0.587G+0.114B。这样的灰度转换方式比HSV空间的max(R,G,B)和HSI空间的(R+G+B)/3都更适合直接低端显示需求。

图1 基于NEL-ICM的真实图像再现算法流程

2.3 自适应亮度再现

亮度再现旨在使非均匀光照环境下获取图像能恢复出均匀光照下真实的视觉可见。对于调整亮度动态范围，基于Weber定律，最典型的是对数函数。文献[13]发现基本对数公式能够保证场景亮度到显示器亮度的光滑变换，但是输出亮度值容易出现过度压缩，从而丢失对比度，所以设计了自适应的对数基底，对不同像素值操作时基底不同，整个映射函数为：

式中，输出Ld是亮度L和最大亮度Lmax的对数比值函数。对数基底在邻域的约束下作用在不同亮度值像素上，参数bias在调整高亮区动态范围和暗区细节上非常重要，典型值为0.85。

全局自适应对数映射曲线可以实现高效应用，但是其在局部效应上考虑还不够充分，同时尚未融入HVS模型的时域自适应性，在图像处理过程中较难同时解决高光和阴影。对数基底插值方式需要自适应改进。为此，本文设计了基于新型键值的自适应基底。

在设计亮度调整环节时，主观量—键值(key)经常被用来代表视觉适应性，其属于感光细胞响应模型，图像可以大致按照键值分为亮键、常态键或者暗键3类[4]。但经典计算方式只描述了全局的主观亮度值，并没有考虑到局部视觉的适应性，对于在非均匀光照下获取的图像，局部光照差异很大，所以局部估计键值非常有用。实际上，视觉适应性尤其是感光细胞响应机制是符合S形状曲线的[2]。基于视觉适应性描述，本文设计了基于反正弦函数的局部键值来表示局部视觉适应性：

本文提出的亮度再现方法在优良的曲线函数控制下是复合设计的思路。局部键表征了局部视觉适应性，是视觉感官适应性的统计描述，也是视觉对光照动态范围的调整。整个亮度映射函数来自局部特征和邻域中心值的比例关系，是逐邻域自适应的根本法则，即给每个像素产生基于邻域信息的相应调节函数。自适应的基底和偏置函数一起保证了在高光和阴影中信息的视觉可见。bias仍为文献[13]默认参数。

3 仿真实验与分析

3.1 面向非均匀光照图像增强应用

本文按照图像降质场景不同，分别对多种非均匀光照图像进行测试，尤其是暗区等场景，并与典型方法进行对比。Retinex算法是较常用的一类方法，本文选择专业图像增强软件Photoflair，其核心为NASA学者提出的(multi-scale retinex with color restore, MSRCR)算法，为降低参数调整问题，选取Scenic Mode模式。另外，Vijayan K.Asari教授领导团队一直推进非线性图像增强方法来提升视觉质量、强化图像细节和特征，为后续复杂光照环境中的模式识别任务奠定前端处理基础，相继提出一系列方法，本文选择STTF算法(self-tunable transformation function)[5]和IISE算法(integrated intensity and spatial enhancement)[14]作为对比对象。本文的NEL-ICM框架进行图像增强时，自适应阈值下降方法根据实际需要对分层数进行调整。由于人类视觉阈值特性，分辨率只有几十个灰度级，所以面向灰度级范围为0～255的低动态范围显示设备，本文默认阈值下降分层数Nk=6。典型对比结果见图2～图4。

图2 含有天空的自然场景增强效果

图3 夜视灯光场景增强效果

含有天空区域的图像是一种典型非均匀光照场景，普通相机无法捕捉宽动态范围亮度，图像增强方法需要尽可能实现全局曝光补偿。图2a为典型测试图像(1 824×1 368，jpg格式)；图2b为Photoflair增强结果，可知MSRCR方法可以大幅提升图像对比度，但是对暗区亮度调整不充分，引入不自然颜色和光晕现象；STTF方法能够保留天空区域真实感，但从局部图可知，对于高/低亮度区域调节上仍不易均衡，如图2c所示，非线性函数运用到非均匀光照图像增强中时，动态范围压缩与细节信息保持仍是难点；而本文方法能够再现视觉良好亮度和提供更多细节，并保持颜色信息稳定性，如图2d所示。

图4 曝光过度场景增强效果

夜视灯光场景也存在典型非均匀光照环境，高光和背景区域对比度都会下降，典型测试图像如图3a(320×243，jpg格式)所示。仿真结果表明：MSRCR容易引起一定程度光晕，某些细节不能较好再现；STTF方法对于夜视灯光场景中细节力展现上尚有不足，而且其前端引入直方图调整较容易干扰其对比增强步骤。本文方法可以在一定程度上保留原有高亮度信息，并较好地提升了暗区亮度，重现其细节和颜色，从局部放大图可知，尤其对于立杆之间的连线都能够实现良好重现。

曝光过度场景是曝光不足的相反情况，典型测试图像见图4a(446×572，jpg格式)所示，本文方法对该类测试图像的增强效果较理想，尤其能够比MSRCR和IISE在局部产生更好的对比度，如图4细节放大图，而且在全局色彩恢复方面也有一定优势。

目前很多传统图像增强算法在对雾霭、烟尘、浑浊液体等复杂环境应用时的扩展性有局限，本文方法对这类图像有一定效果，尤其是能够有效压缩该类图像动态范围以提升对比度，颜色和细节也有一定恢复，如图5所示，左为原始图像，右为本文结果。

图5 复杂降质条件下图像增强效果

表1 不同方法客观评价

除了主观评价，本文使用典型客观评价指标，包括局部均值的均值和局部标准差的均值，分别表征局部亮度和局部对比度，同时使用平均梯度和OND引导清晰度[10]评价细节边缘对比度信息。表1为测试图像增强前后，不同方法的客观评价指标值。MSRCR方法由于容易引入光晕等人工效果，衡量对比度的客观值(如平均梯度和OND引导清晰度)反而较高；与STTF和IISE方法相比，本文算法能够兼顾亮度再现和对比度再现，尤其在细节再现方面有较强体现，衡量对比度的客观值较高。所以，面向非均匀光照图像增强，主客观评价必须相结合，同时融入视觉特性的客观评价指标设计。经过测试，本文方法在亮度和对比度再现上都具有一定优势。但对于jpg格式图像，在图像增强时，本文方法结果中块效应有一定程度放大。

3.2 面向高动态范围图像色调映射应用

真实图像再现的另一个重要方面是HDRI色调映射。为验证本文算法有效性，针对文献[4]的.hdr格式图像，选择典型文献方法和实用软件进行对比实验。与Drago的自适应对数TMO[13]，Melyan的自适应Retinex[4]，Reinhard的摄影算子[15]，H.Kiya的统一TMO[16]，R.F.Xu的水平集框架[17]和N.Bansal的边缘保持滤波TMO[18]等方法，以及常用软件Photomatix Pro处理结果相比较，各种方法和软件参数采取默认值。HDRI动态范围更宽，信息丰富，所以本文在进行分层划分时默认Nk=8，NEL-ICM固有参数设置不变。

图6 “cornellbox”的显示结果及细节对比

从结果可以发现，本文方法达到了典型方法的显示效果，同时在某些方面具有一定优势。以“cornellbox”图像为例(如图6所示)，由于主动光源的存在，需要兼顾高光区域和暗区域的信息再现，Meylan和Reinhard方法不能将光源区域的信息充分显示出来，R.f.Xu方法导致暗区光照提升程度不够，Meylan、Hitoshi Kiya方法存在全局出现一定程度白化或色调偏移、亮度直方图两端截断等后处理步骤自适应性弱等情况。Photomatix、Naman Bansal和Drago方法的整体视觉效果较好，而本文方法在高动态范围信息细节显示和颜色再现上有一定优势。本文算法对大量HDRI进行了测试，典型输出结果见图7，不管从整体亮度、对比度和颜色方面，本文算法结果都能达到较为良好的视觉效果。

图7 典型HDR图像的输出结果

4 结束语

本文围绕实现低动态范围图像增强和高动态范围图像色调映射的复合，提出了基于邻域强化连接交叉视觉皮质模型的真实图像再现框架。通过连接函数、阈值函数和参数设计使NEL-ICM具有解决自动波效应和面向真实图像再现应用的基础。通过大量实验，对于非均匀光照图像实现了亮度动态范围调整，对比度提升，细节边缘清晰，在视觉评价上达到或优于典型方法；对于高动态范围图像，本文方法实现了在低动态范围显示器上较高视觉质量显示，兼顾高动态范围信息显示和图像细节体现。本文算法框架具有一定的开放性，尤其是表征NEL-ICM的输入和输出关系的映射函数，可以根据具体情况设计，为深入研究提供了基础。

[1]WARD G, RUSHMEIER H, PIATKO C.A visibility matching tone reproduction operator for high dynamic range scenes[J].IEEE Trans on Visualization and Computer Graphics, 1997, 3(4): 291-306.

[2]肖蔓君, 陈思颖, 倪国强.基于 Sigmoid函数局部视觉适应模型的真实影像再现[J].光学学报, 2009, 29(11):3050-3056.XIAO Man-jun, CHEN Si-ying, NI Guo-qiang, et al.Tone reproduction method by a local model of visual adaptation based on sigmoid function[J].Acta Optica Sinica, 2009,29(11): 3050-3056.

[3]DOU Ze-yang, GAO Kun, ZHANG Bin, et al.Realistic image rendition using a variable exponent functional model for retinex[J].Sensor, 2016, 16(832): 1-16.

[4]MEYLAN L, SUSSTRUNK S.High dynamic range image rendering with a retinex-based adaptive filter[J].IEEE Transactions on Image Processing, 2006, 15(9): 2820- 2830.

[5]ARIGELA S, ASARI V K.Self-tunable transformation function for enhancement of high contrast color images[J].Journal of Electronic Imaging, 2013, 22(2): 1-23.

[6]吕丽丽, 高昆, 邵晓光, 等.基于人眼视觉特性的高动态范围彩色图像自适应增强方法[J].北京理工大学学报,2012, 32(4): 415-419.LÜ Li-li, GAO kun, SHAO Xiao-guang, et al.An adaptive high dynamic range color image enhancement algorithm based on human vision property[J].Transactions of Beijing Institute of Technology, 2012, 32(4): 415-419.

[7]饶志涛, 许廷发, 刘子伟, 等.参数控制的混合色调映射方法[J].北京理工大学学报, 2015, 35(12): 1280-1284.RAO Zhi-tao, XU Ting-fa, LIU Zi-wei, et al.Parameters controlled hybrid tone mapping method[J].Transactions of Beijing Institute of Technology, 2015, 35(12): 1280-1284.

[8]杨磊, 高昆, 吕丽丽, 等.基于 Sigmoid-iCAM 色貌模型的真实影像再现算法[J].光学技术, 2016, 42(2): 121-125.YANG Lei, GAO Kun, LÜ Li-li, et al.Realistic image rendition algorithm based on Sigmoid-iCAM color appearance model[J].Optical Technique, 2016, 42(2): 121-125.

[9]LINDBLAD T, KINSER J M.Image processing using pulse-coupled neural networks[M].3nd.[S.l.]: Springer-Verlag, 2013.

[10]高山.交叉视觉皮质模型的若干理论及在图像处理中的应用研究[D].西安: 空军工程大学, 2010.GAO Shan.Study on the theories of intersecting cortical model and its applications in images processing[D].Xi’an:Air Force Engineering University, 2010.

[11]李成, 孙路, 田润澜, 等.基于交叉皮质模型的单幅图像阴影检测算法[J].自动化学报, 2014, 38(7): 1134-1144.LI Cheng, SUN Lu, TIAN Run-lan, et al.Single image shadow detection based on intersecting cortical model[J].Acta Automatica Sinica, 2014, 38(7): 1134-1144.

[12]陆许明, 朱雄泳, 李智文, 等.一种亮度可控与细节保持的高动态范围图像色调映射方法[J].自动化学报,2015, 41(6): 1080-1092.LU Xu-ming, ZHU Xiong-yong, LI Zhi-wen, et al.A brightness-scaling and detail-preserving tone mapping method for high dynamic range images[J].Acts Automatics Sinica, 2015, 41(6): 1080-1092.

[13]DRAGO F, MYSZKOWSKI K, ANNEN T.Adaptive logarithmic mapping for displaying high contrast scenes[C]//Proc of Eurographics.Granada, Spain: [s.n.], 2003.

[14]EVAN K, ASARI V K.Integrated intensity and spatial enhancement technique for color images[C]//International Conference on Digital Image Processing: Techniques and Applications.Copenhagen, Denmark: [s.n.], 2015.

[15]REINHARD E, STARK M, SHIRLEY P, et al.Photographic tone reproduction for digital images[J].ACM Transactions on Graphics, 2002, 21(3): 267-276.

[16]HITOSHI K, TOSHIYUKI D.An efficient unifiedtone-mapping operation for HDR images with various formats[J].ITE Trans on MTA, 2016, 4(1): 2-9.

[17]XU Rui-feng, PATTANAIK S N.High dynamic range image display using level set framework[J].Journal of WSCG, 2003, 11(1): 1-5.

[18]BANSAL N, RAMAN S.Regularized tone mapping using edge preserving filters[C]//2015 Twenty First National Conference on Communications (NCC).Bombay: [s.n.],2015.