超分辨荧光显微图像去噪算法性能影响因素

程 涛,金 虎,贾东东

(广西科技大学机械与汽车工程学院,广西 柳州 545006)

0 引言

超衍射极限的超分辨显微成像是进行细胞内部等微观研究的重要工具[1-3]。随机光学重构显微镜(stochastic optical reconstruction microscopy,STORM)和(荧光)光激活定位显微((fluorescence) photoactivated localization microscopy,(F)PALM)都可基于稀疏分布的荧光分子成像实现单分子定位(single-molecule localization,SML)。最终的超分辨图像的构建需要数千帧原始图像[1,3-4]。

原始图像的噪声是影响超分辨重构的重要因素。电子倍增电荷耦合器件(electron-multiplying charge-coupled device,EMCCD)采集的原始图像的噪声主要包括服从泊松分布的散粒噪声、服从高斯分布的读出噪声和背景噪声等[5-8]。由于EMCCD的读出噪声及其方差较小,原始图像模拟大多仅考虑背景和泊松噪声[5-6,9]。超分辨显微的单张原始图像去噪研究少见报道。使用三维块匹配滤波(block-matching and 3D filtering,BM3D)和广谱去噪(wide spectrum denoising,WSD)[10-14]对超分辨显微的单张原始图像作去噪处理,可取得较好效果。两种算法在超分辨显微领域的研究和应用都处于起步阶段,BM3D和WSD在各种情境的性能并不完全清楚。因此需要作大量的研究,以充分发掘两种算法的潜力,明确两种算法的性能。本文的目的是研究制约两种去噪算法性能的因素,及其对两种去噪算法性能的影响,研究结果表明,原始图像的分块大小和荧光分子密度都会影响去噪算法性能。

2 超分辨显微中的压缩感知

压缩感知(CS)是不同于SML的超分辨显微重构方法。CS允许激活的荧光团密度比SML能够处理的高一个数量级。即使这些荧光团的分布不再稀疏,各弥散斑高度重叠,依然可取得很好的重构效果。活细胞微管的超分辨成像的时间分辨率可达3 s[5-6]。

式(1)是表示原始图像与超分辨图像之间关系的CS数学模型。向量y和向量x分别由原始图像和超分辨图像(即像素化的超分辨图像)逐行或逐列首尾相接而成;点扩散函数(point spread function,PSF)是无限小点光源的光通过显微镜,在像平面上的光强分布函数[5-6],测量矩阵A由PSF确定。当且仅当x的第i个元素位置的荧光分子发射光子时,采集到的原始图像对应测量矩阵A的第i列。

min‖x‖0s.t.y=Ax,

(1)

式(1)中,x∈RN,y∈RM,A∈RM×N,M

信噪比(SNR)可以表征去噪后的原始图像和重构得到的超分辨图像的整体质量[6]。结构相似度测度(structural similarity index measure,SSIM)可用于度量两幅图像之间的相似程度[14-15]。SSIM取值范围为0～1。如果两幅图像相同,SSIM的值为1。本文以SNR和SSIM作为原始图像和超分辨图像的评价指标。

3 两种去噪算法的性能与分块大小及荧光分子密度的关系

超分辨显微采集的原始图像通常很小,只有约上万个像素[2,6,10],而且图像非常单调,都是各种大小的弥散斑。BM3D要求处理的原始图像大小不能小于8×8像素,否则就无法正常运行[10]。可见,BM3D的去噪性能与原始图像大小有关。WSD能处理的原始图像大小受测量矩阵行数制约[10]。当处理像素数量远大于测量矩阵行数的原始图像时,必须把原始图像分割成小块,分别去噪,去噪后再将各分块合并成大图。因此,两种去噪算法的性能都应该与图像的分块大小有关。原始图像的荧光分子密度,与原始图像的噪声直接相关：荧光分子密度越低,就意味着信号越弱,噪声也相对越大,一般噪声越大越容易去噪;如果噪声很小,反而难以去噪[10]。因此,两种去噪算法的性能都应该与荧光分子密度有关。

为区别于原始图像的像素,称超分辨图像的像素为网格。模拟生成20帧已知分子位置的超分辨图像,并生成对应的20帧原始图像。模拟将863个分子随机放置在1 024×1 024网格的区域。荧光分子密度为6.304 μm-2,原始图像的有效像素大小为100 nm,有效网格大小为12.5 nm,超分辨图像的网格是原始图像像素大小的1/8,原始图像的大小为128 × 128像素。PSF是高斯函数,标准差是原始像素大小的1.127倍。荧光分子发射光子数为3 000,均匀背景的光子数为64。在原始图像中添加泊松噪声。图1(a)和(b)是去噪前后20帧(高密度)模拟原始图像基于不同分块大小的SNR均值曲线,每一帧包含863个荧光分子。

模拟生成500帧已知分子位置的超分辨图像和相应的500帧原始图像。模拟将34个分子随机放置在1 024 × 1 024网格区域。荧光分子密度分别为0.248 μm-2。图1(c)和(d)是去噪前后500帧(低密度)模拟原始图像基于不同分块大小的SNR均值曲线,每一帧包含34个荧光分子。图1(a)和(c)中,通过BM3D去噪的SNR曲线中,虚线左侧的实线表示逐块去噪拼接后的原始图像大小大于99×99,虚线表示逐块去噪并拼接后的原始图像大小小于99×99,虚线右端实线表示对每帧图像直接去噪,不做分块处理。虚线只是两条实线相邻两端的连线。

在荧光分子高密度分布(即20帧)时,通过BM3D去噪后的SNR曲线反而低于去噪前,通过WSD去噪后的SNR曲线随分块大小的增大而上升。在分块大小为37时SNR达到最大28.909 dB,相较于去噪前的27.553 dB,提高1.356 dB。

在荧光分子低密度分布(即500帧)时,通过BM3D去噪后的SNR曲线出现明显的两个大波峰和一个大波谷。波谷区域的SNR低于去噪前的19.645 dB。波峰最大值出现在分块大小为41的位置,SNR达到21.667 dB,较去噪前提高2.022 dB。通过WSD去噪后的SNR曲线,除3个明显的波谷外,总体随分块大小的增大而上升。在分块大小为33时SNR达到最大22.406 dB,相较于去噪前的19.645 dB,提高2.761 dB。无论荧光分子高密度分布,还是低密度分布,WSD的去噪效果都好于BM3D。

图1 500帧模拟原始图像去噪前后的平均SNR对比Fig.1 Comparison of the mean SNRs based on 500 simulated raw images before and after denoising

总的来说,两种去噪算法在低密度模拟原始图像的分块大小取37时都可获得各自最优的去噪效果,发挥最优去噪性能,因此,37就是最优分块。为便于比较实验结果,并做进一步的验证分析,以下的模拟实验和真实实验的去噪分块大小都选37,原始图像都选低密度的原始图像。

4 基于最优分块和低密度的模拟原始图像的去噪和超分辨重构

图2的上行是500帧模拟原始图像中的一帧的局部放大图。模拟原始图像的去噪分块大小选37。图2(a)是采用BM3D去噪后的原始图像,图2(b)是采用WSD去噪后的原始图像,图2(c)是添加噪声后的原始图像,图2(d)是没有噪声的原始图像。在超分辨显微中,对原始图像去噪的最终目的是得到更好的超分辨图像。图2的下行是用CS重构出的相对应于上行的超分辨图像和真实超分辨图像。表1是模拟原始图像去噪前后的SSIM和SNR。“/”的左边是去噪前的SSIM或SNR的值,“/”的右边是去噪后的增量。

图2 模拟原始图像去噪前后和相应超分辨图像的对比(标尺：1 μm)Fig.2 Comparison of thesimulated raw images before and after denoising and the corresponding super-resolution images(scale bars：1 μm)

通过BM3D去噪后,SSIM从0.146增加到0.362,提高一倍多。SNR由19.813 dB提高到20.206 dB,提高约0.4 dB。通过WSD去噪后,SSIM从0.146增加到0.157,提高约0.011,SNR由19.813 dB提高到22.406 dB,提高约2.6 dB。BM3D和WSD都是有效的去噪算法,去噪效果明显。

表1 去噪前后的模拟原始图像和相应的超分辨图像的SSIM和SNRTab.1 SSIM and SNR of the simulated raw images before and after denoising and corresponding super-resolution images

通过BM3D去噪后,SSIM从0.833增加到0.873,提高0.04,SNR由-0.592 dB提高到0.293dB,提高0.885 dB。通过WSD去噪后,SSIM从0.833增加到0.889,提高0.056,SNR由-0.592 dB提高到0.68 dB,提高1.272 dB。BM3D和WSD对超分辨重构都具有增强作用。

将下行图中去噪前后的圆形区域与真实超分辨图像的圆形部分对比,可以发现：WSD的三角结构清晰可辨;而BM3D和Noisy的三角结构都不甚清晰。

将上行图中去噪前后的椭圆区域与真实图像的椭圆部分对比,可以发现：BM3D去噪后的伪影现象非常严重,椭圆区域几乎漆黑一片,看不到任何有效结构;WSD的背景比去噪前的原始图像更平滑。尽管上行中原始图像去噪后的SSIM值,BM3D的0.362高于WSD的0.157,但从下行的重构效果看,相较于BM3D,WSD是更好的去噪算法。

5 基于最优分块的真实实验原始图像的去噪和超分辨重构

真实实验原始图像的去噪分块大小选最优分块37。图3第一行是去噪前后的单帧真实原始图像,图3(a)是采用BM3D去噪后的真实原始图像,图3(b)是采用WSD去噪后的真实原始图像,图3(c)是去噪前的真实原始图像[16]。尽管荧光分子的真实密度无从得知,但是由图3(c)中弥散斑的分布可见,各弥散斑都稀疏分布,重叠的很少。因此荧光分子的密度较低。

图3 去噪前后的原始图像和超分辨图像对比(标尺：1 μm)Fig.3 Comparison of the raw image and the super-resolution image before and after denoising(scale bars：1 μm)

对比图3第一行各图的椭圆区域,可以发现：WSD和Noisy的椭圆区域的5个弥散斑都清晰可辨;由于BM3D的平滑作用,BM3D的伪影现象非常严重;BM3D椭圆区域中的5个弥散斑几乎连成一片,无法分辨出5个弥散斑;WSD几乎无伪影现象。

图3第二行是用CS重构出的对应于第一行的超分辨图像。BM3D的微管结构模糊,没有WSD和Noisy的清晰。第三行是对应第二行红色划线处的光子计数曲线,最高波峰值为15 000。WSD的两个波峰非常清楚;Noisy的两个大波峰之间还存在一些很小的小波峰;BM3D只有一个大波峰比较清楚,其他各波峰很不清晰。BM3D尽管有一定去噪能力,但不适用于真实实验的原始图像。WSD优于BM3D。

6 结论

BM3D和WSD的去噪能力都与分块大小和荧光分子密度高度相关。在荧光分子低密度分布时,BM3D和WSD在分块大小约为37时都可取得各自最好的去噪效果。WSD的去噪效果优于BM3D,而且几乎不产生伪影。基于WSD的超分辨重构效果优于BM3D,BM3D不适用于荧光分子高密度分布的情景。在荧光分子高密度分布时,WSD在分块大小为37时可取得最好的去噪效果。