利用非经典感受野竞争机制实现有效图像表征的方法∗

许跃颖 郎 波 黄 静

（北京师范大学珠海分校信息技术学院 珠海 519087）

利用非经典感受野竞争机制实现有效图像表征的方法∗

许跃颖 郎 波 黄 静

（北京师范大学珠海分校信息技术学院 珠海 519087）

论文是在人类视觉的基础上，利用神经节细胞非经典感受野的神经机制原型对图像实现通用表征。该模型利用生物视觉处理中的反馈机制设计了一种神经计算回路，模拟了非经典感受野在不同的刺激状态下能够动态调节的生理特性来对图像进行基于邻域相似度的图像局部分割与压缩表征，从而在神经表征层面实现了图像的内在表征，以便于进一步提取图像的语义，实现图像的理解。为更加有效、充分地表征图像提供了一种新的研究思路。

非经典感受野；神经节细胞；图像表征

1 引言

提取图像的语义、实现图像理解是一项对人工智能而言非常具有挑战性的任务。就目前所知，高等哺乳动物的视觉系统也是经过了长期的生物进化过程才得到了这种能力。在视觉信息加工的多个环节中，对刺激进行客观、全面的表征是一个关键的环节。图像处理和计算机视觉有着很多不同层次的任务，对于简单任务（如边缘锐化）和复杂的任务（如场景理解）来说，它们的本质区别在于语义的复杂程度和介入程度，前者比较低，而后者比较高。场景理解等高层次视觉任务的最终目标是形成图像的整体性语义和掌握内容的总体框架，而这是图像像素及其阵列本身不可能提供的，只能由主动加工过程来实现。这种加工过程把物理层面上的数百万个像素点变成了意义层面的数十个对象，这种抽取过程的中心操作便是聚合。大脑通过建立关于外部世界刺激的内在表征，形成一个待加工的近似物，使得图像的不同局部能够被能动地操纵（选择、分解、组合），以便与记忆进行对比从而得到对近似物的合理解释。

2 非经典感受野动态调整算法实现

目前对视觉的神经机制已经做了很深入的研究，对于非经典感受野在视觉处理中所具备的作用也做了详细的阐述，证据表明［10］，在视皮层V2区细胞感受野的非经典感受野区域有非局部性的长程连接，可以接受来自更高层次的神经元的反馈输入，从而形成视觉处理中的反馈通路。这为设计非经典感受野计算模型提供了解剖学的证据。神经生物学研究表明，根据不同亮度、不同刺激、不同背景图像、不同的运动速度，感受野的大小会进行动态的调整变化。基于这个特点，可以设计这样一种基于非经典感受野的图像表征算法。它能够根据刺激的性质进行调节。

2.1 算法描述

非经典感受野动态调整的算法如图1所示。

图1 非经典感受野示意图

在图1中，除CRF之外，外面的圆环代表非经典感受野，分别设为 n1，n2，n3… ，由于非经典感受野并不是无限扩张的，它的大小约为经典感受野的3～6倍。在算法中设定了非经典感受野的最大扩张范围。每个圆环又是由若干个亚区组成，每个亚区覆盖一部分像素点。首先计算亚区内像素点的波长的平均值，然后利用式（1）计算出圆环内所有亚区的方差。

其中n表示单个圆环中亚区的个数；ki表示第i个亚区的波长值；K表示所有亚区波长的平均值。

首先确定经典感受野的尺寸，外面的环带表示非经典感受野的扩张。每一个环带被分为若干个亚区，计算每一个亚区所覆盖的波长的平均值后并求方差。如果波长方差的平均值小于给定的阈值，表示该区域颜色变化平缓，感受野会扩张。如果波长方差大于给定的阈值，表示该区域颜色变化剧烈，感受野将停止扩张。圆环的扩大和缩小表明了它所覆盖的区域是否是相似的。通过非经典感受野的这种动态变化关系可以将图像分割成若干个区域，这样在表征图像的时候就从数以万计的像素点过渡到若干个“块”的表示。

神经节细胞的输出可以表示为

其中

式（2）中GC表示神经节细胞的响应，I(x，y)表示输入的图像。(x ，y)表示光感受器细胞的位置，(x0，y0)表示感受野的中心坐标，Wcenter，Wsurround，Wextend表示的是权值函数，A1，A2，A3表示的是感受野的最大范围，σ1，σ2，σ3表示的是权值函数的标准差值，在本实验中，设定 σ3=4σ2，σ2=5σ1，A1=1，A2=0.18，A3=0.05。

2.2 神经节细胞间感受野竞争机制的实现

去除冗余感受野，最大程度的保留能够表征图像的“有效感受野”。在实现感受野竞争的时候，要遵循以下基本原则：1）输出内容不同的GC不形成竞争；2）覆盖范围相差比较大的感受野不形成竞争；3）输出高度相似、空间位置邻近、感受野又存在大面积交叠的GC存在竞争。

图2 用于形成表征的感受野竞争网络示意图

如何实现感受野竞争机制呢？在图2中，四个神经节细胞分别在图像上投射了四个感受野A，B，C和D，分别是独立、重叠和交叉的位置关系。从图4中可以看到，由于C包含在B中，C感受野所能表征的范围同样包含在B感受野的表征范围内，所以C就被抵消了，最后的输出应该是A，B，D。在模型里设计了两个控制层：分别是反馈控制层（FCL）和输出控制层（OCL）。FCL发送信号给OCL，OCL打开相应的输出开关，则感受野所表征的范围也被输出。反之，FCL将发送相反的信号给OCL，OCL会关闭输出，则感受野表征的范围也不会被输出，相当于感受野被屏蔽了。感受野的竞争机制使得用户可以花费最小的代价去表征图像。

3 实验结果

3.1 引入竞争机制后的非经典感受野在自然图像中的变化状态

从图3的实验结果可以看到，在颜色相近的区域，感受野连续的扩张，在边界或者是颜色对比度比较大的区域，感受野急剧缩小。通过非经典感受野的这种动态调节，原来由成千上万的像素点组成的图像就被感受野理解为若干个“块”。在竞争之前有很多感受野，相当于每一个神经节细胞都有自己的感受野投射到图像上，每一个感受野覆盖的区域称之为“块”。但其中有许多是重叠的，也就是说它们表征的范围和内容是相同的。引入竞争机制以后，一些重叠的感受野就被消除了，只保留了最能表征图像特征的感受野。

图3 引入竞争机制后的非经典感受野在自然图像中的变化情况

图3 （a）是没有引入竞争机制前感受野在图像上的分布情况。图3（b）是引入竞争机制以后感受野的变化情况，其中图中的圆点表示被消除掉的感受野的圆心坐标点。圆圈经表示经过竞争以后保留下来的感受野。图3（c）竞争完成以后最终保留下来的感受野分布情况。

3.2 非经典感受野的变化与被表征的图像之间的关系

3.2.1 图像“连续块”与感受野变化的关系

统计图像中“连续块”的数量、尺寸和分布，所谓的“连续块”，是指图像中某一区域的像素值是相等或相近的。颜色块数量与感受野的数量成正比关系。当颜色连通块的数量比较多时，表示图像中的色彩变化剧烈，则该图像的复杂程度较高，表征所需要的感受野个数也比较多；当颜色连通块的数量比较少时，表示图像中的色彩变化平缓，则该图像的复杂程度较低，表征所需要的感受野的个数也比较少。结果如图4所示。

图4 引入竞争之后感受野个数的变化与自然图像颜色块的关系

3.2.2 图像频率与感受野变化的关系

图像频率是用来表征图像灰度变化的重要指标。对所测试图像进行傅里叶变换，分析图像中高频信息和低频信息与表征该图像所需感受野个数之间的关系。图像中包含的高频分量越多，表明图像复杂度越高，表征图像所需的感受野个数也较多。如图5所示。

图5 图像频率与感受野个数变化之间的关系

4 结语

众所周知，一幅数字图像就是由若干个像素点组成的阵列，但是分散的、单独的像素点只是单纯的物理元素，它不能表示深层的语义信息。我们需要把像素组织成为一些有意义的集合或者区域。被组合的像素点比起单独的像素点具有更深层次的意义，可以帮助我们进一步提取图像的语义。这就需要设计一种行之有效的表征方式。这种表征方法能够完整地提取图像中最具有本质的特征信息，并且这些特征能够在更高的层次上被操作，它应该具有更好的表现形式和更高的执行效率，能够完整而快速的表征不同的图像，并且表征的结果能够进行后续处理。幸运的是，人类的视觉系统经过亿万年的演化，已经具备了强大的表征功能，由此，我们利用神经节细胞及其非经典感受野模型的特点，来设计这样一种满足上述特点的图像表征算法，为数字图像处理技术提供一种新的解决途径。

［1］Willson H R，Humanski R.Spatial frequency adaptation and gain control［J］.Vision Res 33，1993，234（6）：1133-1149.

［2］Gilbert CD，Wiesel TN.The influence of contextual stim⁃uli on the orientation selectivity of cells in primary visual cortex of the cat［J］.Vision Research，1990，30（1）：1689-1701.

［3］Sillito AM，Grieve KL，Jones H E，Cudeiro J，Davis J.Vi⁃sual cortical mechanisms detecting local focal orientation discontinuities［J］.Nature，1995，378（6）：492-496.

［4］Wilson HR，Richards WA.Curvature and separation dis⁃crimination attextureboundaries［J］.Neuroscience，1992，9（1）：1653-1662.

［5］Knierim J，Van Essen DC.Neural responses to static tex⁃ture patterns in area V1 of the alert macaque monkey［J］.Journal of Neurophysiology，1992，67（3）：961-980.

［6］Li Wu，Li，C.Y.Integration Field Beyond The Classical Visual Receptive Field［J］.Chinese Journal of Neurosci⁃ence，1994，634（6）：123-136.

［7］Jones JP，Stepnoski A，Palmer LA.The two-dimensional spectral structure of simple receptive fields in cat striate cortex［J］.Journal of Neurophysiology，1987，58（4）：1212-32.

［8］李冠彬，吴贺丰.基于颜色纹理直方图的带权分块均值漂移目标跟踪算法［J］.计算机辅助设计与图形学学报，2011，23（12）：2059-2066.LI Guanbin，WU Hefeng.Weighted fragments-based meanshift tracking using color-texture histogram［J］.Jour⁃nal of Computer-Aided Design&Computer Graphics，2011，23（12）：2059-2066.

［9］Yang，X.L.，Gao，F.，Wu，Samuel M.，Modulation of horizontal cell function by GABA（A）and GABA（C）re⁃ceptors in dark-and light-adapted tiger salamander retina［J］.Vision Neuroscience，16（3）：967-979.

［10］邱芳土，李朝义.视网膜神经节细胞空间传输特性的模拟［J］.生物生理学报，1995，11（2）：214-220.QIU Fangtu，LI Chaoyi.Mathematical simulation of disin⁃hibitory properties of concentric receptive field［J］.Acta Biophysica Sinica，1995，11（2）：214-220.

［11］姜求平，邵枫，蒋刚毅，等.基于视觉重要区域的立体图像视觉舒适度客观评价方法［J］.电子与信息学报，2014，36（4）：875-881.JIAN Qiuping，SHAO Feng，JIAN Gangyi，et al.An ob⁃jective stereoscopic image visual comfort assessment met⁃ric based on visual important regions［J］.Journal of Elec⁃tronics& Information Technology，2014，36（4）：875-881.

A Model of Image Representation Based on Non-Classical Receptive Fields

XU YueyingLANG BoHUANG Jing
（School of Information Technology，Beijing Normal University，Zhuhai 519087）

In this paper，the physiological mechanism of non-classical receptive field is utilized and a hierarchical network model for image representation is designed based on neurobiology.It is different from the contour detection，edge detection，and oth⁃er practices using the classical receptive fields，it simulates the non-classical receptive field's physiological mechanism which can be dynamically adjusted according to stimulation for image local segmentation and compression based on image neighborhood region similarity，thus to realize the inner image representation in neural representation level and convenient for extract the semantic fur⁃ther.

non-classical receptive field，ganglion cell，image representation

Class Number TP391

TP391

10.3969/j.issn.1672-9722.2017.12.034

2017年6月7日，

2017年7月30日

国家自然科学基金项目（编号：61272364）资助。

许跃颖，男，硕士，助教，研究方向：数字图像处理。郎波，男，博士，教授，研究方向：模式识别与人工智能。黄静，女，博士，教授，研究方向：计算机图形图像。