基础信息保持和细节强化的胸部CT图像增强

2022-03-26张余张顺利白相志张利

中国图象图形学报 2022年3期

张余，张顺利，白相志*，张利

1. 北京航空航天大学宇航学院, 北京 100191； 2. 北京交通大学软件学院, 北京 100044；3. 清华大学电子工程系, 北京 100084

0 引言

检查患者胸部计算机断层扫描(computed tomography, CT)图像是诊断是否患有肺部疾病的常规手段(Agarwala等，2020；Bonelli等，1998；刘阳等，2011；Sundaram等，2008)。然而受成像设备、条件等的限制，扫描得到的患者胸部CT图像可能不够清晰，从而影响对肺部相关疾病的准确诊断。此外，短时间内重复进行CT扫描会增大患者受辐射剂量，不利于身体健康，所以一般不会对患者连续进行多次CT扫描。在CT成像质量受限的情况下，医学图像增强是改善图像质量的一种有效手段，已在检测膝关节疾病(Saba等，2018)、分割乳腺病变(Flores和de Albuquerque Pereira，2017)、诊断新冠肺炎(Rahman等，2021)等领域广泛应用，提高胸部CT图像质量的增强算法(Chen等，2015；Hsu和Chou，2015；van Rikxoort等，2008)有助于医生精确诊断包括新冠肺炎等在内的多类肺部疾病。

近年来，提出了多种图像增强算法。Huang等人(2006)、Wan和Shi(2007)分别提出基于直方图均衡化的图像增强算法，通过调整图像强度以提高原始图像的对比度。Bai和Zhang(2014)、Bai (2015)提出两种基于多尺度交替切换算子的图像增强算法，通过放大亮、暗特征的对比度实现图像增强，分别用于增强矿物图像和红外图像。Zhou等人(2016)利用一种基于Gamma校正的图像增强算法改善夜视图像的对比度信息。然而，直方图均衡化算法往往会大幅改变原始CT图像的强度，从而影响对CT图像的准确理解，进而可能降低对肺部疾病的诊断准确率。类似地，Zhou等人(2016)提出的方法通常会在很大程度上改变原始图像的强度，主要用于改善微光、夜视图像的视觉质量。Bai和Zhang(2014)、Bai(2015)提出算法中形态学算子的性能欠优且强化系数较大，通常会改变图像原始的结构信息并过度强化细节信息。

具体来说，性能优秀的胸部CT图像增强算法能够在保留大量原始基础信息的基础上，显著提高图像边缘、斑点等纹理细节(即细支气管、结节和淋巴结等)的清晰度。为了实现这一目标，本文提出一种简单有效的胸部CT图像增强算法，首先利用先进的引导滤波器(He等，2013)将胸部CT图像分解为一个基础信息层和多个不同尺度的细节层，然后采用基于熵的权重策略对细节层进行融合，使重构的细节层能够有效强化纹理细节并且抑制冗余的背景信息，随后通过强化系数进一步强化重构的细节层，最后将强化的细节层和原始的基础信息层重新组合生成清晰的胸部CT图像。为了验证本文算法的优越性，与5种优秀的图像增强算法进行比较，实验数据为中国人民解放军总医院第八医学中心放射科提供的3 209幅胸部CT图像。实验结果表明，本文算法在定性和定量评估方面均显著优于5种对比算法。

总体来说，本文工作的贡献主要体现在3个方面：1)采用多尺度引导滤波器分解胸部CT图像，可以有效将胸部CT图像分解为一个基础信息层和多个不同尺度的纹理细节层；2)强化具有较大熵值的细节层和弱化熵值较小的细节层，能够有效强化胸部CT图像中的纹理细节信息和抑制大量冗余的背景信息；保持基础信息层不变可以保证增强得到的图像结构和风格不会相对原始图像发生较大变化，从而不会影响对增强图像的理解及判别；3)本文算法具有优秀的泛化能力，可以用于增强其他部位的CT图像以及其他模态的图像，并且能够获得良好的视觉效果。

1 已有工作

1.1 引导滤波器

引导滤波器在计算机视觉中有着广泛应用，如去雾(He等，2011)、高光谱图像分类(Kang等，2014)、图像融合(Li等，2013)等。本质上，引导滤波器是在以像素k为中心的局部窗口ωk中引导图像和滤波图像之间的局部线性模型，其数学形式可以表示为

q(i)=ako(i)+bk, ∀i∈ωk

(1)

(2)

式中，p为输入图像I位于窗口ωk中的图像块；i为像素索引；ε为正则化参数，用于约束ak不能过大。

优化式(2)，可得

然后根据式(1)，滤波图像块q中每个像素值可以求解为所有可能像素值的平均值，即

为了便于介绍后续算法，将引导滤波器的数学表示简化为

F=fg(I,G,r,ε)

(3)

式中，fg表示引导滤波函数；I、G和F分别表示输入图像、引导图像和输出滤波图像；r和ε分别表示滤波器的局部窗口半径和正则化参数，并且两个参数决定着滤波图像的平滑程度。

1.2 图像多尺度分解

类似于高斯差分金字塔(Burt和Adelson，1983)，胸部CT图像的分解方法如下：

首先，根据1.1节计算方法，通过设置不同窗口大小和正则化参数对胸部CT图像进行引导滤波，生成多个尺度的平滑图像，具体为

Fi=fg(Fi-1,Fi-1,ri,εi), 1≤i≤n

(4)

由于最后一个尺度(即第n个尺度)的滤波图像中蕴含着原始图像中的大量基础结构信息，因此本文算法中将其作为图像分解得到的基础层，即

B=Fn

(5)

然后，通过逐步计算得到多个尺度的细节层，具体为

Di=Fi-1-Fi

(6)

式中，细节层中的正值部分为亮细节特征，负值部分为暗细节特征(Bai和Zhang，2014)，亮、暗细节特征可以分别表示为

(7)

(8)

综上，输入图像可以高效地分解为一个基础信息层B和n个细节层Di。将所有细节层和基础信息层重新合并即可恢复原始图像，即

(9)

2 本文算法

增强胸部CT图像的目的是强化图像中的纹理细节，同时保持原有的基础结构信息，以在不改变图像结构性特征条件下提升纹理细节的辨识度。为了实现这个目标，本文提出图像增强算法的主要步骤如下：1)利用多个尺度引导滤波器将胸部CT图像分解为一个基本信息层和多个细节层。2)基于熵的权重将细节层进行加权融合，并通过强化系数进一步增大细节强度。3)通过重组强化的细节层和原始的基础信息层即可生成细节强化的胸部CT图像。本文算法流程图如图1所示。

图1 本文提出的胸部CT图像增强算法流程图Fig.1 Flowchart of the proposed chest CT enhancement algorithm

2.1 胸部CT图像多尺度分解

2.2 多尺度细节层融合和强化

通常，多个尺度细节层之间存在冗余信息，从而降低图像中纹理细节的对比度。鉴于熵是量化图像信息量的有效工具(Roberts等，2008；Bai和Zhang，2014)，本文基于熵的权重策略强化胸部CT图像中的纹理细节信息，降低其中的冗余信息，从而达到提升图像纹理细节的效果。

(10)

式中，fe表示计算输入矩阵熵的函数。

然后，根据信息熵加权融合所有细节层，具体为

(11)

由于纹理丰富的细节层可以获得较大的权重系数，所以基于熵的加权融合方法可以显著强化纹理细节，并且降低增强图像中的冗余背景信息。此外，本文算法采用强化系数φ进一步增强纹理细节，即φ决定本文算法对纹理细节的强化程度。具体为

Den=φ·Df

(12)

2.3 胸部CT图像增强

通过重新组合强化的细节层Den和原始的基础信息层B，即可得到细节显著强化和原始基础信息保持良好的胸部CT图像Ien，即

Ien=B+Den

(13)

图2展示了本文算法的优越性。可以看出，增强图像中的纹理细节得到了显著增强，并且保持了原始图像中的大量基础结构信息，可以实现不影响医生理解图像的前提下提升其对病灶及其类型的鉴别力。

图2 本文算法增强胸部CT图像实例Fig.2 Demonstration example of our algorithm for enhancing chest CT image((a) original chest CT image；(b) our enhanced images；(c) B；(d) Den)

2.4 参数设置

本文算法包含两个未知参数，即引导滤波器的尺度数n和强化系数φ。由于胸部CT图像的主要纹理特征通常比较狭窄，如静脉和支气管等，因此较小尺度就足以充分分解胸部CT图像，故本文将n设置为5。而φ用于增强图像中的纹理细节，所以φ应大于1以获得增强效果，但是不应太大以避免改变原始的细节结构，故本文将φ设为2。大量实验验证了两个参数设置对增强胸部CT图像是有效的。

3 实验结果与讨论

实验在中国人民解放军总医院第八医学中心放射科提供的3 209幅CT图像组成的数据集(如图3所示)上进行，对本文算法进行测试评估，并与直方图均衡化算法(histogram equalization，HE)、对比度受限的自适应直方图均衡算法(contrast limited adaptive histogram equalization，CLAHE)(Huang 等，2006)、基于交替切换算子的图像增强算法(alternative toggle operator，AO)(Bai和Zhang，2014)、基于光照图估计和Retinex理论的图像增强算法(low-light image enhancement，LIME)(Guo等，2017)以及一种联合去噪和Retinex理论的图像增强算法(robust retinex model，RRM)(Li等，2018)等5种优秀的图像增强算法进行比较，从定性和定量两方面进行评估。

图3 胸部CT图像数据集中样本图像Fig.3 Sample images in our chest CT image dataset

3.1 定性分析

图4和图5展示了两组比较实例，每个子图右上角展示了图中框线区域的放大图。从两组对比结果可以看出，HE和CLAHE两种算法通常会大幅改变整幅图像的灰度值，不利于对胸部CT图像的理解。类似地，LIME和RRM两种算法会显著提高CT图像的亮度，相较于原始图像变化过大，不利于后续病灶的诊断、识别。AO和本文算法可以较好地增强胸部CT图像，视觉效果远优于其他算法。但是AO通常会对图像细节(包括背景噪声)过度强化(详见其放大图像区域)，这不符合胸部CT图像增强的目标。本文算法可以显著加强有用的细节信息(见其放大图像区域中的支气管和毛细血管支气管)，同时有效削弱了含有噪声的背景信息。因此，本文算法增强图像中的纹理细节比其他算法的增强图像更清晰，并且远优于原始胸部CT图像。此外，与其他算法相比，本文算法增强图像的风格更接近于原始胸部CT图像，因此本文算法可以在增强图像中保留更多原始图像的基础结构信息，从而不会影响医生对医学影像的判别与诊断。总体来说，本文算法在定性分析中取得了最好的结果。

图4 不同算法的第1组增强图像Fig.4 First group of enhanced images by different algorithms ((a) original chest CT image；(b) HE；(c) CLAHE；(d) AO；(e) LIME；(f) RRM；(g) ours)

图5 不同算法的第2组增强图像Fig.5 Second group of enhanced images by different algorithms ((a) original chest CT image；(b) HE；(c) CLAHE；(d) AO；(e) LIME；(f) RRM；(g) ours)

3.2 定量分析

采用标准差(standard deviation, STD)、结构相似性(structural similarity metric, SSIM)(Wang 等，2004)和峰值信噪比(peak signal to noise ratio, PSNR)这3项常用的客观指标对不同算法得到的增强图像质量进行定量评估。STD可以度量图像中灰度变化量，因此STD可用于比较增强图像与原始图像之间的细节增加量。SSIM衡量两幅图像之间的结构相似性，PSNR衡量增强图像与原始图像之间的信息保真度，因此，SSIM和PSNR可以用来量化增强图像从原始图像汲取的细节量。理想的图像增强方法应不仅能强化图像中的纹理细节，而且应尽可能多地保持原始图像的基础结构信息，因此选择以上3项客观指标评估图像增强算法的性能。3项指标的值越大，表示图像增强效果越好。实验时分别计算HE、CLAHE、AO、LIME、RRM和本文算法增强图像的客观指标值，各算法的平均指标值及各算法得到每幅增强图像的每个指标曲线分别如表1和图6所示。依据图6，可以查验每种算法客观指标结果的总体分布情况。

从表1可以看出，本文算法在3项指标上均取得最优值。在图6(a)—(c)中，本文算法的指标曲线均位于最高位置，与表1的平均指标值一致。因此，本文算法在3项指标上的表现均为最优，客观表明了本文算法的图像增强效果最佳。更具体地，根据表1和图6(a)中的STD指标值，AO和本文算法在强化图像细节方面显著优于其他算法。SSIM和PSNR指标显示本文算法可以比其他对比算法保留更多的原始图像结构信息。此外，AO通常会过度强化图像中的纹理细节，以至破坏图像的原始结构信息，致使该算法的SSIM和PSNR指标值较小(如表1和图6(b)(c)中的SSIM和PSNR指标值所示)。另外，HE和CLAHE利用直方图均衡化对图像的灰度值进行非均匀调节以增强图像，而LIME和RRM更着重于提升暗部区域的亮度，这4种算法均未考虑增强图像中的细节信息，不能有效强化原始图像中的纹理细节信息，并且会在较大程度上改变原始的结构信息，致使4种算法的STD、SSIM和PSNR指标值通常较小(如表1和图6(b)(c)中的STD、SSIM和PSNR指标值所示)。

表1 不同算法增强图像的平均指标值Table 1 Average metric values of the enhanced images by different algorithms

图6 不同算法增强每幅CT图像的指标值Fig.6 Metric values of each enhanced image by each algorithm ((a) STD；(b) SSIM；(c) PSNR)

此外，为了评估不同图像增强算法的运行效率，本文统计了每种图像增强算法处理每幅512 × 512像素的CT图像的平均消耗时间，统计结果如表2所示。可以看出，本文算法消耗0.10 s可增强1幅512 × 512像素的CT图像，处理速度不及HE、CLAHE和AO 算法，但显著快于LIME和RRM算法。

表2 不同算法增强图像的平均消耗时间Table 2 Average time costs of different algorithms to enhance chest CT images

综合以上评估结果，本文算法分别在定性和定量分析中取得了最优秀的结果。因此，本文提出的胸部CT图像增强算法具有应用于实际临床诊断的巨大潜力。

4 结论

清晰的胸部CT图像是准确诊断肺部疾病的重要媒介。本文提出一种简单有效的胸部CT图像增强算法，首先利用多尺度引导滤波器将胸部CT图像分解为一个基础信息层和多个尺度的纹理细节层，然后融合并强化纹理丰富的细节层，最后通过重组原始的基础信息层和强化的细节层以实现基础信息保持和细节强化的胸部CT图像增强。本文算法分别对细节层和基础层进行处理，可以显著增强图像细节，并完好保持原始基础结构信息。为了验证本文算法的有效性，在3 209幅胸部CT图像组成的数据集上的大量实验结果表明，本文算法的增强图像在视觉效果和客观指标对比中均显著优于现有的5种优秀图像增强算法。此外，本文算法具有较好的泛化能力，可以用于增强其他部位的CT图像，甚至其他模态的图像(如图7所示)。从图7可以看出，本文算法可以有效地增强多种模态的图像，并且不会显著改变图像的风格和引入额外的噪声。但是，本文算法依赖引导滤波器分解图像，因而增强效果会受限于引导滤波器的性能，并且相比HE、CLAHE、AO耗时较多。因此，后续将继续研究高速有效的基于局部区域拟合的滤波器，以进一步提升图像增强算法的性能。