FC_ICM及其在图像增强中的应用

杨忠斌，吕明钊，胡宝雷

(1.中国航空工业西安航空计算技术研究所第1研究室，陕西西安 710068;2.中国航空工业西安航空计算技术研究所质量部，陕西西安 710068)

交叉视觉皮质模型(Intersecting Cortical Model，ICM)是单层神经网络［1-2］，是基于20世纪70年代Eckhorn对于家猫视觉皮层神经细胞的研究成果，在综合几种视觉皮质模型的基础上，利用生物神经元所具有的延迟特性、非线性耦合调制特性所提出的。ICM具有传统人工神经网络所不具备的无需学习大量样本即可进行图像处理任务的特性［3］。文中针对传统交叉视觉皮质模型对神经元记忆能力差，且单一的阈值衰减方式限制ICM图像处理能力的问题［4-5］，提出了一种改进型可连续点火交叉视觉皮质模型(Firing Continuable Intersecting Cortical Model，FC_ICM)。并通过选择合理的突触函数、阈值激增判决函数和阈值衰减函数，进一步提出了基于FC_ICM的直方图均衡化方法，对比自适应直方图均衡化方法以及基于ICM的图像增强方法，实验结果表明该方法，在图像增强领域具有良好的应用前景。

1 ICM

1.1 ICM的神经元架构

ICM依据Eckhorn和Rybak的模型特性，提取了这两种视觉模型中线性相加、非线性调制的特性，并加以优化。图1为ICM神经元的架构图，其是由树突、非线性连接调制和脉冲产生3部分构成。

树突部分的作用是接收来自相邻神经元的输入信息，由线性连接输入通道和反馈通道两部分组成。线性连接输入通道接受来自局部相邻神经元突触输入信息，以及来自外部的刺激信息输入，而反馈输入通道接受自身状态信息的反馈输入信息。非线性连接调制部分即神经元的内部活动项，神经元间通过突触函数进行互联构成复杂的非线性动力学系统。脉冲是否产生取决于内部活动项的大小是否超过其激发动态阈值，而此阈值随着该神经元输出状态的变化而变化。ICM的数学表达式如下

图1 ICM神经元架构图

式中，f(f＜1)是神经元状态值的传递系数，又称衰减因子，表征神经元对上一时刻状态值的记忆衰减程度。Sij为输入图像对应的像素值，其中i，j为各个像素点的坐标。Fij为神经元状态值，θij为动态阈值，Yij为每一神经元的输出。g为阈值衰减因子，g＜f＜1，保证神经元按照对应输入图像像素值的大小顺序点火。h值较大以保证神经元点火后对应阈值得到较大提升，使神经元在下次迭代时不被激发。n代表迭代次数，0≤n≤+∞。

1.2 ICM存在的问题

ICM神经元的变阈值特性是其动态脉冲发放的根源，变阈值特性导致神经元被抑制和激活，而硬限幅函数则实现神经元输出端脉冲的产生，其相互作用的结果使神经元发放脉冲，而发放脉冲的频率和相位则与神经元输入有关，故神经元输出可视为是对输入信号的某种频率相位的调制，从而神经元发放脉冲的频率和相位携带了输入信号的某种特征。

事实上，对于多个频率相同的周期性脉冲函数而言，每个脉冲在单个周期内所处的不同位置就代表不同的相位。对于ICM，当不考虑连接输入的影响以及神经元对自身状态值的记忆功能时，若将神经元在只受外部激励而无其他影响下的点火周期称为自然点火周期，且假定在受外部激励最强的神经元自然点火周期内，所有的神经元均发生点火，并在该自然点火周期后重新初始化每个神经元的阈值，则所有点火神经元的脉冲频率均表现一致，其周期则是受外部激励最强的神经元的自然点火周期，而每个神经元不同的点火时刻就代表了不同的相位。即相位的不同反映在ICM的每个不同的神经元点火时刻上。

综上分析，文中认为ICM存在的问题可概括为:脉冲频率虽携带输入信号的特征信息，但更多的是作为传输通道的一种标识字，用以描述神经元刺激间的相似性，而真正携带信息的是相位调制，其是将输入信号的特征反应在不同神经元的点火时刻上。然而，ICM并未有效地记忆相位调制特性，在传统交叉视觉皮质模型迭代运行过程中，因神经元发放的脉冲既通过神经元突触作用于其他相邻神经元，又作用于自身调节神经元点火阈值，所以神经元的脉冲发放矩阵Y即是相邻神经元间相互作用的输入信息，又可视为神经元内部的自我反馈，但这种脉冲发放情况是单次不能复现的，在一个神经元点火周期内，已完成点火的神经元在剩余的点火周期内将不能再次点火，神经元的点火时刻在脉冲发放矩阵中无法体现，在点火阈值矩阵中虽有所体现但无法直接获取需做额外计算，从而导致模型对神经元行为记忆能力差的问题。另外，神经元点火阈值的单一衰减方式无法满足进行混合噪声去除、大气退化图像恢复、注意力选择等复杂图像处理的要求，限制了ICM对图像的处理能力。

2 FC_ICM

2.1 FC_ICM模型的构造

作为控制神经元脉冲发放的根源，神经元点火阈值既能方便记录不同的神经元点火时刻，又能传递同一时刻共同点火的神经元信息。因此，针对模型对神经元行为记忆能力差的问题，文中提出了采用神经元点火阈值作为不同神经元间的信息传递媒介。另外，阈值变换在图像处理中作用较大，不能采用一成不变的递减方式，因此引入了阈值变换函数，以应对不同处理所需的变换。同时，在传统ICM中，每个神经元都有固定的点火周期，一个神经元一旦点火就不能在单周期内再次点火，这对去除图像中的噪声干扰是不利的，所以在新模型中引入了可连续点火机制。基于上述分析提出了可连续点火交叉视觉皮质模型—FC_ICM，图2是FC_ICM的神经元架构图。

图2 FC_ICM神经元架构图

FC_ICM每个神经元和输入图像的像素是相对应的，神经元当前时刻的状态Fij［n］由3个因素决定:输入图像的对应像素值Sij;神经元上一次迭代结束时脉冲发放情况Yij［n-1］;通过突触函数Ψ{}互联的周围神经元输入。与ICM不同的是，FC_ICM神经元间的信息传递媒介是对神经元行为具有更强记忆能力的神经元点火阈值;神经元的脉冲发放决定了其对周围刺激的灵敏度;同时改善了神经元点火阈值的变换模型，将固化的衰减替换为更加灵活的函数变换。FC_ICM的数学表达式为

式中，Fij［n］是神经元状态值;Sij为输入图像对应像素值，其中ij为各像素点的坐标;Yij为神经元(i，j)的脉冲发放情况是对Yij取反(0/1→1/0)，避免临近时刻点火的神经元相互干扰，简化神经元动力学行为;Ψ{}为突触函数，决定中心神经元和周围神经元的耦合连接关系;θij为神经元动态点火阈值，在模型中也作为神经元的输出;T{·}为阈值衰减函数;H{·}为阈值激增判决函数;n代表迭代次数，0≤n≤+∞。

2.2 FC_ICM较ICM的对比优势

FC_ICM继承了传统交叉视觉皮质模型的相位调制特性，输入信号的特征信息在不同的神经元点火时刻可得到充分反应，区别在于:(1)FC_ICM神经元无需重复记忆自身的状态值，神经网络的内部作用信号得以简化成外部激励信号和受神经元点火状态控制的周围神经元反馈之和。(2)采用神经元动态点火阈值作为神经网络的反馈，从而对神经元行为的记忆时间更长，且将动态点火阈值作为反馈和外部激励共同决定神经元的状态值，可更好地处理外部激励间的相关性。(3)将阈值衰减因子替换为函数变换，可根据具体应用灵活选择相应的衰减函数，摆脱了单一的衰减模式对神经网络图像处理能力的束缚，改善了其图像处理能力。(4)在点火神经元的阈值提升时增加了邻域判读，以决定对应阈值是否发生陡变，且实现了神经元的连续点火。例如，假设在式(5)中第k个神经元在第n时刻完成点火，但若该神经元的阈值经式(6)判读后未发生陡增，则该神经元在第n+1时刻会继续点火，此过程可看作FC_ICM的连续点火机制。

3 FC_ICM在图像增强中的应用

直方图表示数字图像中每一灰度级与此灰度级对应的图像中像素点数之间的统计关系。进行直方图均衡后可使图像的灰度间距拉开或使灰度分布均匀，从而增加了反差，使图像细节清晰，达到增强目的。其实质是将概率大的灰度相互拉开以体现细节，概率小的灰度级有可能被合并，因其像素少，不易被人眼察觉。传统直方图均衡化方法的一个较大的缺陷在于其增强了较平坦区域的不均匀性，容易产生伪轮廓，同时也会放大噪声。

3.1 基于FC_ICM的直方图均衡化算法描述

基于FC_ICM设计了一种既能增加图像全局对比度又可提升局部对比度，且具有一定去噪能力的直方图均衡化方法。FC_ICM中的突触函数表达式设为

当某一未点火神经元周围有超过5个均点火时，上式结果为

因此，满足条件的神经元状态值会得到迅速提升，在下一时刻该神经元的状态值将大于点火阈值，从而完成点火、发放脉冲。否则

这些神经元将继续等待阈值衰减到一定程度才能点火。所以，当一神经元和周围神经元所受激励的相似性较大时，突触函数的这种表达形式允许该神经元提前点火，从而可有效锐化图像边缘。

噪声在图像中表现为一些灰度上的奇异点，而灰度大小直接反应在神经元所接受的刺激强度上，又因对神经元的刺激强度可决定神经元的脉冲发放时刻，所以脉冲发放矩阵能有效反应出图像中的奇异点。综上分析，在FC_ICM中采用的阈值激增判决函数表达式为

当Yij［n+1］=1 时

当Yij［n+1］=0 时

由式(11)可见，当一个点火神经元的相邻处仅有1个或无点火时，该神经元在接下来的时刻会继续点火，直到周围有多个神经元点火为止，这一神经元所对应的图像像素值，被归类到周围有多个其共同点火时刻的神经元所对应的图像像素所在的灰度级。阈值衰减函数设置为

其中，ΔSi为阈值衰减梯度，由直方图均衡化的过程确定。将FC_ICM感知的图像灰度作为增强后的图像亮度，表达式为

综上所述，文中提出的基于FC_ICM直方图均衡化方法的具体步骤如下:

(1)将待增强图像由RGB空间转换到HSV空间，提取亮度分量并归一化作为原始输入图像，计算输入图像的累积分布函数

式中，L是图像均衡化后的灰度级个数，ni是图像中具有灰度值Vi的像素个数，n是图像的像素总数，Vk是图像的第k级灰度值，EH()表示求累积分布。

(2)计算累积分布函数的反函数，并得到神经元点火阈值的衰减梯度

(3)用上一步得到的ΔVL-k作为阈值的衰减梯度

式中，θij［0］初始化为 1。

(4)初始化神经元脉冲发放矩阵Y=0。

(5)依次计算神经元状态值、脉冲发放矩阵、神经元点火阈值，同时根据式(16)得到第i时刻点火神经元感知的图像灰度。

(6)判断神经元点火阈值是否衰减至0，是则执行第(7)步，否则返回第(5)步。

(7)将神经元感知的图像灰度作为FC_ICM的增强结果，并将此结果投影到灰度范围0～255内，作为增强后的亮度图像输出。

(8)在亮度比例约束下进行彩色图像的恢复，公式如下［6］

I与IEN是增强前后的亮度图像，构成了增强比例因子，Sj，SR_j为RGB3个通道基于亮度分量变化校正前后的分量(j=r，g，b)。

3.2 仿真实验和分析

算法通过Matlab7.1进行仿真，硬件平台的配置为AMD双核CPU，主频2.1 GHz，内存2 GB。式(14)中的动态范围调节因子α设置为0.82，图像灰度级L设为50。针对来源于文献的典型测试图像，对FC_ICM模型在图像增强中的应用进行了仿真，并与CLAHE［7］和基于 ICM 的算法［8］进行比较。

图3 典型非均匀光照人像

图像增强面向主观程度较高，而为了自动化评价的实现，选用了几种客观评价标准:使用图像均值来衡量整体亮度，邻域标准差平均值表征局部特征，对于细节边缘等对比度信息使用基于梯度域的清晰度(Definition)来进行测度。清晰度定义的基本公式是平均梯度，对于尺寸为M×N的图像，其清晰度计算方法为

主观上看，以上方法均可实现光照动态范围的调节，展现处于阴影中的细节，并一定程度的抑制较强光源的影响。可以看出，基于ICM的方法处理结果色彩过于饱和，且图像细节被平滑;经典的CLAHE处理结果光晕现象和块效应明显，对于暗区的细节展现存在不足;文中算法的处理结果光照更加均匀，对比度得到有效提升，细节清晰，场景色彩得到较好的保持。综上，文中算法的主观评价质量更优。由于有些算法增强结果存在过增强现象，视觉效果较差，表1中的客观评价指标仅做参考，需结合主观评价对图像增强效果进行综合评定。

表1 几种算法处理结果客观评价

将彩色图像转换为灰度图，并将平均亮度调整到同一灰度值后，选用式(20)描述的峰值信噪比(PSNR)对图4中(b)、(c)、(d)进行客观评价，得到(b)、(c)、(d)的 PSNR 分别为 42.645 2、120.131 7、108.322 5，可见文中算法具有一定的噪声抑制能力。

式中，f为原始图像，f'为增强后的图像，MAX为f(x，y)的最大值，对于8 bit图像，MAX=255，M，N为图像尺寸。

图4 噪声抑制实验

4 结束语

文中在传统交叉视觉皮质模型基础上，将神经元间的通信媒介由脉冲发放矩阵修改为神经元点火阈值，并将原模型中单一的衰减模式改变为灵活的变换函数，增加了神经元在单周期内可连续点火机制。并从理论上阐释了FC_ICM较ICM所具有的优势，同时基于新模型提出了一种改进的直方图均衡化方法，验证了新模型在图像处理中具有良好的噪声抑制能力。

ICM的阈值衰减函数呈单一的衰减模式，限制了模型的应用范围，新模型的阈值衰减函数虽灵活多变，但如何合理选择仍存在的问题。新模型的神经元可连续点火特性是否有某种视觉机制可遵循，仍有待于研究。在今后的研究工作中应参考对脉冲耦合神经网络的研究进展以及有关ICM的在去噪性能方面的改进［1，4-5］对模型做进一步优化［9］。

图5 更多实验结果

［1］GAO Shan，LI Cheng，BI Duyan.Equivalence relation between intersecting cortical model and binary mathematic Morphology in Image Processing［C］.Paris:AICI2009，3:490-494.

［2］EKBLAD U，KINSER J M.The intersecting cortical model in image processing［J］.Nuclear Instruments ＆ Methods in Physics Research A，2004，525(1):392-396.

［3］高山，毕笃彦.交叉视觉皮质模型的格论理解［J］.西安电子科技大学学报，2009，36(6):1120-1125.

［4］GAO Shan，LI Cheng，BI Duyan.Image enhancement algorithm based on NF-ICM ［J］.Chinese Optics Letters，2010，8(5):474-478.

［5］ZHANG Xiangguang.A new kind of hybrid filter based on the ICM and the improved extremum-and-median filter［C］.International Conference on Computer and Electrical Engineering，2008:890-893.

［6］LI Tao，VIJAYAN A K.An adaptive and integrated neighborhood dependent approach for nonlinear enhancement of color images［J］.SPIE Journal of Electronic Imaging，2005，14(4):1-14.

［7］PIZER S M，AMBURN E P.Adaptive histogram equalization and its variations［C］.SPIE Proceedings，1989，1092:290-300.

［8］鞠明，李成，高山，等.基于向心自动波交叉皮质模型的非均匀光照图像增强［J］.自动化学报，2011，37(7):800-810.

［9］ZHAO Bin.Review of pulse-couple neural networks［J］.Image and Vision Computing，2010，28(1):5-13.