基于光照模型的细胞内镜图像不均匀光照校正算法

邹鸿博，章 彪，王子川，陈 可，王立强，袁 波

（1.浙江大学 光电科学与工程学院,浙江 杭州 310027；2.之江实验室类人感知研究中心,浙江 杭州 311100）

1 引言

细胞内镜是一种具有超高放大倍率的内窥镜[1-4]，可实现常规倍率到细胞级放大倍率的连续放大观察。受不均匀照明及杂散光的影响，不同放大倍率下的细胞内镜图像均存在光照不均匀现象，这会直接影响图像的视觉效果及医生对病灶的分析判断。

现有不均匀光照校正方法可分为传统方法和深度学习法两大类。典型的传统方法有直方图均衡化(Histogram Equalization,HE)方法和基于Retinex 理论的算法。直方图均衡化算法[5-7]简单，但存在色彩失真、灰阶过渡不连续等问题。基于Retinex 理论的算法根据光照-反射模型提取光照分量，包括同态滤波[8,9](Homomorphic Filter,HF)、SSR[10-11](Single Scale Retinex)、MSR[12-13](Multi Scale Retinex)等，但在具体应用中需配合适当参数才能起到最佳效果，特别在细胞内镜中使用时，不同放大倍率下需设置不同的校正参数，否则容易导致光照校正不足或过度。

深度学习法通过建立“均匀-不均匀”光照图像对并利用卷积神经网络自动学习光照校正。如：Mei 等人[14]设计全卷积神经网络(Full Convolution Network,FCN)模型来进行端到端的学习，将不均匀图像校正为均匀图像；Wang 等人[15]设计了特征编/解码模块对显微镜不均匀照度进行预测，再通过细化网络逐步恢复光照均匀图像。深度学习法具有泛化能力强和无需人工设置参数的优势，但校正图像会有颜色失真，且不易在纯CPU 下实现实时推理。

为此，本文从细胞内镜的光照模型出发，提出利用轻量级深度学习网络从图像中提取光照分布和利用二维Gamma 函数进行校正的细胞内镜图像的不均匀光照校正算法。该方法在光照校正的同时，可以更好地保持目标颜色，并且具有更快的推理速度。

2 细胞内镜图像去光照算法

基于Retinex 理论，图像信息可以分解为光照分量和反射分量，如式（1）所示：

其中：f(x,y) 为图像信息，i(x,y) 为光照分量，r(x,y)为反射分量。光照分量主要影响图像的亮度，反射分量主要影响图像细节的纹理信息。因此，只需要从图像中提取出光照分量，就可以有效地对图像进行光照校正。

2.1 细胞内镜光照模型

细胞内镜采用如图1 所示的两路发散光照明，在常规成像模式下，两路发散光的光轴随观察平面靠近镜体而远离，从图像中可以看出由此导致的光照不均匀性情况也是变化的。

图1 常规成像模式下的照明光路Fig.1 Optical path in conventional imaging mode

在显微成像时，细胞内镜的孔径光阑位置提前，使得视场角变大，由于细胞内镜镜体前端存在凸起（如图2(a)和2(b)所示），以大角度入射的光线会从侧面进入，形成杂散光，最终导致成像面出现如图2(c)所示的条形光斑。

图2 显微成像模式下的杂散光产生过程Fig.2 The process of stray light generation in microscopic imaging mode

2.2 细胞内镜光照提取网络

在深度学习中，语义分割任务属于图像到图像的变换问题，而图像光照提取也是类似的。参考经典的语义分割网络DFAnet，并基于上述细胞内镜光照模型，本文设计了一个光照提取网络，可以从原始图像中提取光照分布。如图3（彩图见期刊电子版）所示，其结构主要包含主干网络、位置编码模块、空间金字塔模块等。

图3 光照提取网络结构图Fig.3 Structure diagram of illumination extraction network

首先，细胞内镜图像的光照分布既受到全局光照的影响，又受到局部特征的影响，因此，主干网络分三个尺度提取图像特征，每一尺度下的浅层特征与深层特征进行融合，不同尺度下的浅层特征进行融合，得到融合后的特征图。

其次，将融合后的特征图输入位置编码模块，以获得额外的空间位置信息。位置编码模块采取的编码方式如下：

其中PE为位置编码的特征向量，pos代表位置，i为当前通道维度，dmodel为通道总维度。位置编码特征和输入的特征图结合，可使得网络包含显式的位置信息，从而提高对不同区域光照强度的预测能力。

然后，通过空间金字塔模块将主干网络的多尺度深层特征与位置编码后的浅层特征进行融合。空间金字塔模块如图4 所示，按由深到浅的顺序依次进行特征解码，每次特征解码包含3 个步骤：上采样、拼接和卷积融合。

图4 空间金字塔模块示意图Fig.4 Schematic diagram of spatial pyramid module

最后，通过卷积对特征图进行通道数压缩，并上采样到与输入图像相同尺寸，得到光照预测结果。

2.3 细胞内镜光照校正算法

利用上述光照提取网络提取到光照分布后，采用如图5 所示的基于二维Gamma 函数的自适应图像亮度校正方法进行光照不均匀校正。首先，将图像从RGB 空间转换为HSV 空间。然后，基于如下的Gamma 函数对图像亮度进行校正：

图5 图像不均匀光照校正算法流程图Fig.5 Flow chart of non-uniform illumination correction algorithm

其中V(x,y) 为输入的亮度图像，VREC(x,y)为校正后的输出亮度图像；t(x,y)为用于亮度增强的指数值，其中包含了图像的光照分量特性；I(x,y)为提取到的光照分布图像，Im为光照分布图像的均值。最后，将校正后的V 通道与H 和S 通道重新合成彩色图像。

3 实验结果与讨论

3.1 细胞内镜图像不均匀光照校正数据集

光照提取网络的训练需要构建“均匀-不均匀”光照图像对数据集，WSI-FCN 算法通常的做法是：先拍摄不均匀光照图像，再拍摄相同位置的均匀光照图像，以此获得一组图像对。但上述方式操作繁琐，数据集制作较耗时，本文提出了一种仿真数据集制作方法。该方法先采集均匀光照下的细胞内镜图像，然后在细胞内镜的自带光源照明下，拍摄灰度卡，得到不均匀光照分布图像。最后将二者进行组合叠加，得到大量的不均匀光照下的细胞内镜图像。根据以上方法只需拍摄少量的内镜图像和光照图像，无需严格匹配，操作简单，数据集制作高效。

据此制作了包含750 组图像的数据集，图6 (a)（彩图见期刊电子版）为常规成像数据集，从左到右拍摄距离递减，可以看出光照对图像的影响会随距离而变化；图6(b)（彩图见期刊电子版）为显微成像数据集，从左到右放大倍率依次增加，可以明显看出显微成像时图像中存在条形光斑。

图6 细胞内镜不均匀光照数据集展示Fig.6 Images of non-uniform illumination dataset under cytoendoscope

细胞内镜图像采集装置如图7 所示，细胞内镜镜体固定在支架上，可通过手柄自由调节角度，离体动物组织或灰度卡可置于升降架上以方便调节目标到镜体的距离。

图7 图像采集装置Fig.7 Image acquisition device

实验所用内镜的放大倍率是连续可调的，在工作距离约为0 cm 的条件下，其放大倍率可达到500 倍；在工作距离约为15 cm 的条件下，其放大倍率约为1.5 倍。因此，通过调整工作距离，即可得到不同放大倍率的图像。

首先，使用外部平行光照明动物组织，如图7(a)所示，拍摄得到均匀光照下的细胞内镜图像；然后使用如图7(b)所示细胞内镜自带光源照明灰度卡拍摄得到不均匀光照分布图像，在0～15 cm 的工作范围内设置15 个距离，每个距离下设置10 种拍摄角度，每个拍摄角度下设置5 个亮度等级，由此得到750 组光照分布图像。

3.2 内窥镜图像去噪评价指标

选择AGIC(Average Gradient of Illumination Channel)、DE(Discrete Entropy)两个指标定量评价不均匀光照的校正效果。AGIC 为光照分量的平均梯度，其表达式为：

其中：M、N分别为图像沿水平和垂直方向的分块数；i，j代表图像块的位置；g(i,j)为相邻块之间的最大差值：

其中：m0(i,j)代表位置为(i,j)的图像块的亮度平均值；mk(i,j)代表位置为(i,j)的图像块的8 个邻域块的亮度平均值；max 表示取最大值。DE 为离散熵，其表达式为：

其中：x代表灰度图像；i是灰度等级；而pi是灰级i的概率。DE 值越高，代表图像包含的信息量越大。

3.3 实验配置

实验在Ubuntu16.04 系统进行，显卡为NVIDIA RTX 1080Ti 11G 独立显卡，CPU 为Intel Core i7-10700K，代码在Python 3.7.0 环境下运行，并使用Pytorch 深度学习框架。不同于对分辨率要求较高的图像分割任务，输入输出图像尺寸的变化不会对光照提取效果产生太大影响，因此在综合考虑模型精度与推理速度之间的平衡后，统一将输入图像大小设置为512×512。为了使模型有更好的泛化能力，将初始学习率设置为0.01，并使其在训练过程中不断衰减，最小为0.000 1，考虑到显存占用的问题，将Batch Size 设置为4，参照DFAnet 的训练策略，将Epoch 设置为100，并使用Momentum 为0.9、Decay 为0.000 5 的SGD 优化器进行网络参数优化。

选择了AHE、HF、SSR 三种传统方法和WSIFCN 深度学习法的校正效果进行对比。为了确保训练结果的可靠性，将数据集按6∶ 2∶2 的比例划分为训练集、验证集和测试集。依据验证集上的结果调优模型，并将训练好的深度模型在测试集上与其他方法进行效果对比。

3.4 结果分析

3.4.1 定性对比

定性对比结果如图8（彩图见期刊电子版）所示。

图8 不同方法的图像校正结果Fig.8 Image correction results using different correction methods

其中第一列和第二列为常规倍率下的猪胃图像，第三列和第四列为显微观察下的腺管和细胞图像，可以看出：

（1）在传统算法方面，AHE、HF 和SSR 对边缘区域亮度提升均不明显，且AHE 和SSR 还存在过曝光的问题；此外，传统方法往往需要手工调节参数，如从常规倍率切换到细胞级放大倍率时，这3 种方法都需要改变参数才能达到好的处理效果。

（2）基于深度学习的WSI-FCN 方法无须调整参数，边缘区域亮度有一定提升，但存在明显的偏色，这主要因为细胞内镜的应用场景多样，不同倍率下的图像色调变化较大，通过卷积神经网络直接预测校正后的彩色图像会出现信息杂糅问题，导致当前场景下的色调受其它场景的影响。

（3）本文方法对边缘暗区的亮度提升效果明显，且不存在偏色及过曝问题。此外，从显微倍率下的细胞图像对比结果可以看出，本文方法对光斑也有很好的去除效果。

3.4.2 定量对比

不同校正方法在测试集上的定量结果如表1所示。可以看出，本文算法较其他几种方法中效果最好的HF 方法，AGIC 降低了0.04，DE 提升了0.21。说明本文校正算法在光照校正的同时，能更好地保留图像细节。

表1 不同方法的定量结果对比Tab.1 Comparison of quantitative results for different correction methods

3.4.3 速度对比

为了对比不同算法的运行速度，本文通过细胞内镜采集了一段时长为2 分钟的视频，计算每种算法处理每帧视频的平均耗时，结果如表2 所示。可以看出，无论在CPU 下还是GPU 下，本文算法的每帧耗时都最短，这得益于本文方法在网络设计时通过小特征尺寸（128 pixel×128pixel）和低通道数（128）有效降低了模型的参数量。本文方法在CPU 为Intel Core i7-10700K 的条件下校正速度能够达到20 frame/s，能够满足细胞内镜实时使用的需要。

表2 不同方法的速度对比Tab.2 Speed comparison of different correction methods

4 结论

本文实现了一种基于细胞内镜光照模型的不均匀光照校正算法，它通过卷积神经网络学习图像的光照分布，并基于二维Gamma 函数实现不均匀光照校正。实验结果表明，经本文方法进行不均匀光照校正后，图像边缘暗区的亮度提升明显，图像光斑去除效果显著，且不存在偏色及过曝问题。从定量结果来看，图像的光照分量平均梯 度和离散熵分别为0.22 和7.89，优于AHE、HF和SSR 等传统方法以及基于深度学习的WSI-FCN 算法。该方法可以有效改善不均匀光照对 细胞内镜图像质量的影响，从而更好地辅助医生 进行诊疗。