基于Retinex理论的电子内镜图像增强算法

陈越洋，何行宽，李晨瑶 (北京理工大学 信息与电子学院，北京 100081)

随着医疗技术的不断发展，电子内镜在临床中的使用也越来越为广泛.电子内镜可直接伸入人体内进行病灶筛查，还可配合微创器械实现手术治疗，与开放式诊断治疗相比，电子内镜大大减轻了患者的痛苦，提高了医生的诊断效率.血管的异常增生往往是病变组织形成的基础，高清晰度和高对比度的电子内镜血管图像对于病情诊断具有极高的临床价值.由于人体腔体结构的特性、内镜光源需要外部送入以及内镜图像单一暖色调等特点，采集到的原始内镜图像往往亮度较暗、光照不均匀且对比度较低，因此，需要对图像进行增强处理.

在计算机视觉领域，常用的图像增强算法有基于直方图均衡[1]、基于非锐化掩模[2]和基于Retinex理论[3]3大类.其中，基于Retinex理论方法灵活，理论联系实际，增强效果显著，经过数十年的发展，具有较高的研究价值.在电子内镜领域，通过光学滤镜改变光谱配比，增强血管图像的窄带成像(narrow band Imaging，NBI)技术[4]和通过建立光谱与颜色通道之间关系实现图像增强的智能分光颜色增强(flexible spectral imaging color enhancement，FICE)技术[5]已广泛应用于各种电子内镜产品中.

本文通过将计算机视觉领域的图像增强算法与电子内镜领域的专用血管增强手段相结合，提出了一种基于Retinex理论的电子内镜图像增强算法.该算法提升了内镜图像整体亮度，改善了内镜图像光照不均匀的问题，同时增强了血管图像对比度，并通过Matlab测试实验，为算法提供了理论模型.

1 算法模型描述

电子内镜的工作环境主要为人体肠胃消化道，存在气渣等悬浮颗粒或悬浮小液滴，对成像具有一定的干扰作用，在进行增强算法之前，可使用暗通道先验去雾算法[6]进行图像的预处理操作.

根据Retinex理论，对于人眼或传感器等接收到的图像S(x,y)可以等价为反射图像R(x,y)和光照图像L(x,y)的逐点相乘，即

S(x,y)=R(x,y)∘L(x,y)

(1)

反射图像R(x,y)表示图像细节纹理和高频特性，光照图像L(x,y)表示图像总体轮廓和灰度范围，Retinex算法的核心思想即从原始图像中分离出反射图像与光照图像.该计算可以看作是已知一个变量，求解两个未知变量的问题，这种问题在数学上被称为是“病态”的，可以通过变分优化使之转换为“良态”，从而实现数学求解[7].

本算法提出的变分优化Retinex模型基于以下几点条件与假设.

① 根据Retinex理论，将计算由常数域转变至对数域.

② 规定量化范围：S为[0,255]，R为[0,1]，L为[0,255].

③ 认为反射分量包含较多边缘信息，是分段连续的.边缘信息往往是图像中数据跳变最强的地方，使用图像差分的L1-范数作为图像边缘信息的度量.

④ 认为光照分量平滑，表现图像整体轮廓，使用图像差分的L2-范数作为图像光滑特性的度量.

⑤ 认为光照分量中尽可能不包含图像的纹理细节，通过对光照分量进行纹理抑制，将更多纹理细节优化分离至反射分量.

⑥ 对数域的计算存在过分恢复图像暗通道的特性，易产生光晕(Halo)现象，考虑进行约束补偿.

基于以上考虑，建立能量泛函.

(2)

式中第一项采用L2-范数约束，保证了图像分解后的保真情况；第二项采用L1-范数约束，保证反射分量的分段连续特性，使反射分量包含尽可能多的纹理细节，α为权重参数，μ为对数补偿参数；第三项采用L2-范数约束，保证亮度空间的光滑特性，β为权重参数，W为纹理抑制因子，ν为对数补偿参数；第四项采用L2-范数约束，用以限制亮度分量不过分优化，γ为权重参数，l0为光照分量初始值.

纹理抑制因子考虑光照差分图像的邻域效应，给出表达式：

(3)

其中Ω(x)表示像素点的邻域窗口区域，ε为一个趋近于0的小参数，用于使得式(3)有意义.Gσ表示高斯卷积核，用以考虑邻域中的距离权重.分母中累加绝对值项表征了邻域窗口内的总体变化程度，当在轮廓位置时，窗口内各点梯度方向大致相同，累加后的绝对值较大，当在纹理位置时，窗口内各点梯度方向差异较大，且同一方向存在正负交错，累加后的绝对值较小.即通过综合考虑距离和邻域情况，给出各点的纹理抑制权重参数，用于优化求解.

该能量泛函中包含两个未知变量，考虑使用交替方向乘子法(alternating direction method of multipliers，ADMM)[8]进行求解.为了方便L1-范数的求解，引入辅助变量d和误差变量b；图像差分考虑水平和垂直两个方向；对数补偿使用上次迭代的指数结果；l0初始值选取原始图像5×5高斯滤波后的结果.

由此能量泛函写为

(4)

根据ADMM方法，可将该问题分解为4个子问题的迭代更新.

①更新d：

(5)

求解过程中，为避免矩阵范数求导时出现分母为0的情况，使用shrink软阈值算子

(6)

②更新r：

(7)

求解过程中使用向前差分的循环矩阵C和向后差分的循环矩阵CT，为加速矩阵求逆的求解过程，根据循环矩阵的特性，采用快速傅里叶变换进行

(8)

式中：Λ表示C循环矩阵列元素的傅里叶变换特征值；Λ*表示Λ的共轭矩阵；F表示傅里叶变换；F-1表示傅里叶逆变换.进一步地，共轭矩阵相乘问题可通过差分循环矩阵的点扩散函数求得.

③更新b：

(9)

④更新l：

(10)

更新过程类似更新r：

(11)

4个子问题交替求解，建立迭代关系，小于模型误差时跳出迭代，流程图如图1所示.

图1 求解流程图Fig.1 Solution flow chart

为简化计算量的同时保证增强效果，将色彩空间由RGB转至HSV，且只在V通道进行上述变分过程，求解出光照图像分量和反射分量后，利用γ矫正均匀调整亮度分量，并利用sigmoid函数拉伸反射分量中间灰度处的反射细节，最后再将处理后图像的色彩空间转至RGB.

光照图像分量的γ矫正在[0,255]范围内，则矫正公式可写为

(12)

其中γ为矫正参数.

反射图像分量的sigmoid函数拉伸在[0,1]范围内，其sigmoid函数可写为

(13)

式中：g为增益；k为位移度.

将图像调整至RGB色彩空间后，根据人体视锥神经细胞对绿色更为敏感的生理特点，并结合各大内镜厂商的内镜图像专用做法，使用改进的对数直方图均衡算法，对图像进行色调调整的后处理，以更清晰显示血管组织.

2 结果分析与讨论

算法的具体执行需确定相关参数，通过大量的参数调整测试，根据原始图像的具体情况，获得Retinex权重的最佳参数.ADMM计算中，辅助变量初始值可根据实际情况取全0或全1图像，迭代停止条件考虑r和s的L2-范数变化率，纹理抑制邻域大小可根据实际纹理特征选取.

图像增强效果的评价包括主观评价与客观评价两大类.主观评价方式直接、操作简单，但评价结果会因为实际环境及人员认同差异存在较大波动.客观评价方式通过确定一套行之有效的指标计算方式评价图像，虽参考因素单一，但评判标准不受环境和人为的影响，是图像评价的重要手段[9].本文中，使用均方差(mean squared error，MSE)基础评价方式、文献[10]提出的亮度相对阶误差(lightness order error，LOE)和文献[12]提出的颜色增强因子(color enhancement factor，CEF)两种适用于增强算法的图像评价体来进行图像的综合评价.

为了更好地评价提出算法的理论优势与实际应用价值，选取来自“ATLAS ENDOSCOPY”网站的“胃肠道内窥镜互动图集”图像3张(图像(a)～(c))，实际获取的某医院内镜原始图像2张(图像(d)～(e))，共同作为测试图像，给出测试图像和本文提出的增强图像对比如图2所示.

图2 增强前图像Fig.2 Image before enhanced result

图3 图像增强结果Fig.3 Image enhancement result

将提出算法与姜鸿鹏等[11]基于光谱变换提出的内镜图像增强算法(算法X)、Rao等[12]基于Retinex模型提出的内镜图像增强算法(算法Y)和Imtiaz等[13]基于滤波原理提出的“Three Stage”内镜图像增强算法(算法Z)进行图像质量评价参数比较.

算法实现、参数调整、他人实验复现和图像质量评价均使用Matlab R2019a环境，计算机硬件配置为Intel i7-8550 CPU,8GB内存.

从主观角度结合文献说明对比分析：算法X以日本富士内镜的FICE增强模式为切入点，进行光谱变换的增强操作，同时使用类非锐化掩模的方式进行细节增强，对于血管细节有明显的增强效果，但算法和实际应用中未过多考虑非均匀光照和低照度的问题.算法Y与本文提出算法类似，均使用Retinex理论模型结合L1、L2-范数约束进行图像增强，改善了光照不均匀问题和低照度问题，但算法Y未考虑内镜实际应用条件，未提高血管图像对比度.算法Z通过滤波方式调整图像亮度并均匀光照和增强图像细节，并通过调整通道增强血管图像对比度，增强思路与本文大致相似，但滤波操作实际效果不如变分Retinex模型细致优秀.

客观评价MSE结果如表1所示，CEF结果如表2所示，LOE结果如表3所示.

表1 MSE结果对比

表2 CEF结果对比

表3 LOE结果对比

MSE反映了增强图像与原始图像之间均方差值，在一定程度值越大，反映了图像增强能力的提升，但值过大亦可能是由于图像噪声增强所致，需综合考虑.CEF反映了图像色彩增强情况，通过RGB通道的数据统计，采用无参考评价方式得出，在一定程度值越大，反映图像色彩对比度越强.LOE反映了增强图像与原始图像之间的亮度增强和自然度情况，值越大表征图像在亮度增强和自然度评测范围内图像的增强效果越好.

3 结 论

本文提出了一种基于Retinex理论的电子内镜血管图像增强算法.通过纹理抑制的变分Retinex优化算法模型迭代分离出光照图像和反射图像，对光照图像通过伽马校正进行光照均匀与亮度提升，对反射图像通过Sigmoid函数进行细节增强，再将合成结果进行改进对数直方图均衡，以特定增强血管图像.主观评价与客观指标均显示，本算法使得内镜血管图像更清晰、光照更均匀、血管组织对比度得到增强，评价结果优于同类型算法.