显微镜景深拓展技术研究

张 平，吴嘉敏，林靖宇，刘烨斌

(1.清华大学 自动化系，北京 100084；2.江苏北方湖光光电有限公司，江苏 无锡 214035)

引言

光学显微镜从发明至今已有四百多年的历史，伴随着人类科技的发展，不断演化进步。普通光学显微镜的放大倍率已可超过1 000倍，并具有明场、暗场、偏振、荧光、相差、微分干涉、数字全息等多种类型，由简单的手动目视观察演变为整合拍照、摄像、处理、电控等多种功能的强大光学仪器。

在显微镜功能越来越强大、越来越人性化的同时，人们对它也在不断提出新的要求，但目前显微镜还在很多方面有局限性，主要体现在：1) 空间分辨率受波动特性限制提高困难；2) 显微镜景深小，尤其是在高分辨率和大数值孔径的条件下，微小的离焦就会造成目标丢失。

分辨率是由电磁波特性决定的，更换探测波段可以提高分辨率，如扫描电子显微镜，但对于光学波段的显微镜而言横向分辨率的提高进展较为缓慢。随着生命科学的高速发展，对于高性能的大景深三维立体显微的需求日益迫切，这对大量已应用的光学显微镜是一种挑战。受显微成像原理的限制，在获取高横向分辨率的同时会丢失掉纵向分辨率，因此如何增大显微景深，使三维立体显微更具应用价值，创造出新型设备仪器成为了光学显微镜领域的一个研究热点。

对于提高景深的研究在光学领域从来就没有停止过[1-2]，其中不乏有很多新的思路和方式，也取得了许多研究进展与成果。在显微光学中，就各种方法所获取到的景深拓展效果来看，要形成大的三维立体显微还需要做很多研究工作。在传统显微镜的模式下，通过一些部件变形可获取一定景深拓展，如：将球差故意引入显微镜头设计中[3]，改变显微镜的出瞳函数形式[4-5]，但这些获取的景深深度有限。

在显微成像领域中，更多的是在通过扫描成像、空间光调制、波前编码及应用光场来进行显微景深的提高研究。这些方法都能够形成大的景深范围，如扫描成像的光学切片技术，理论上可对“任意”厚度的样品进行聚焦处理，空间光调制、波前编码等方法可以获取大于1个数量级的景深提升，而应用光场则可提高至2个数量级。在这些方法中，尽管都获取了景深的大幅提升，但由于自身技术的限制和不完善，目前都有些局限性，它们总是在牺牲效率、设备体积和横向分辨率等，因而需要更多新的技术应用到其研究中。这些技术带来的大景深效应可以在生命科学研究中对大尺度的三维目标进行有效的观察，有些可以进行活体快速运动观察，光场显微还可进行多视角立体观察，形成全面的显微探测。

大景深显微成像作为一个实际需求牵引的技术，经几十年发展已取得一定成效，有些已应用到显微镜生产中，相信在不久将来会在实际工作中得以应用。计算摄像(computational photography)是近年在国际上兴起的一门新学科，在超分辨率成像、瞬态成像、拐角成像、散射介质成像、深度获取、去模糊等方面已经获得了巨大的成功，其通过前端采集和后端计算处理，可实现常规光学成像系统无法实现的多维信息获取。在显微镜景深拓展方面，计算摄像也发挥着巨大的作用，通过体扫描、空间光调制、波前编码及光场等手段，采用计算方式可有效拓展出大显微景深图像。国内在显微镜大景深方面集中在波前编码和空间光调制器上，主要研究单位有西安光机所[19，24]、清华大学[23]、浙江大学[5]、上海理工大学[30]、哈尔滨工业大学[29]等。

本文以光学显微镜为研究对象，就其近年发展的大景深显微成像技术进行了综合、全面的阐述，主要对光学切片扫描、空间光调制、波前编码及光场进行了分节介绍与论述，并就其技术发展提出观点。

1 扫描成像

1.1 切片扫描

在不改变现有显微镜显微成像的原理条件下，增大显微图像景深的通常做法是对样品进行不同厚度位置的扫描，并采集形成序列图像，以一定的规则进行融合，通过计算重建出一幅大景深图像。

通过载物台或者光学系统移动的方法可在不对显微镜进行大的原理改变情况下，获取满足一定需要的大景深图像。该方法获取移动范围内的图像切片序列，重建的大景深图像是扫描时间内的切片集合。若要获取大景深及高纵向分辨率图像，系统需要在扫描、计算上消耗大量时间。因此，该方法更适合于静态样本的观察，无法应用于活体样本。

构建快速扫描大景深显微镜可有效提高系统的适用性。通过类似共聚焦原理在显微后端搭建一套与前端成像一致的系统[6]，通过与物面共轭的反射镜快速移动使成像物面在轴向快速移动，形成扫描，输出实时图像。该方法的扫描频率可达到1kHz以上，但成像速度受制于高分辨率CCD的帧速度。也可在CCD成像光路中插入电动可调谐透镜，并进行对焦面的快速扫描，用以进行数据记录，速度可达到30 Hz[7]。

切片扫描的重建方法可分成空域法和频域法。空域法是对每一幅图像进行清晰和模糊分类，并将清晰部分进行融合图像处理形成大景深图像[8-10]，目前已有很多实现合成全聚焦图像的软件，更多的研究在于清晰与模糊区的算法分析[11]；频域方法是利用清晰图像所具有的高频信息与模糊图像的差异性来进行区分与融合[12-14]。

切片扫描保持了显微镜原有的高横向分辨率优势，并拓展了纵向分辨率，是一种经济、便利、有效的景深拓展方法。

1.2 体扫描

对于显微应用尤其是活体观察，希望能够尽快获取全景深的图像信息，尽管切片扫描中有了一些快速成像技术，但离真正的“实时”成像还有些距离，因此通过一次曝光即可实现大景深图像显示显得极具诱惑，这可以通过光学体扫描技术来实现。光学体扫描即在相机曝光期间快速变化物面位置，形成一个高速扫描区，获取的图像融合了“无数”的显微物镜聚焦切片图像，通过去卷积可反演得到清晰的大景深、高分辨率图像。相比于切片扫描，体扫描在一次曝光期间即可完成所有采样工作，可实现“无缝”融合与强实时性。

具体方法为：在普通生物光学显微镜后端安放一可控小型液体透镜作为快速、连续的变焦元件，实现CCD单次曝光期间的快速变焦[15]。模型计算表明，显微镜的点扩散函数在一个相当长的变焦距离内保持不变。图1给出了不同离焦距离处的传统显微镜与体扫描显微的点扩散函数对比情况。

体扫描显微实验采用10倍放大倍率、0.25数值孔径的显微物镜，液体透镜反应速度约10 ms，样品尺寸5 μm～30 μm，实验结果如图2所示。图2中(a)、(b)为传统显微镜在前端、后端清晰位置处的图像，(c)为获取的体扫描图像，(d)为处理后的图像。实验获取的显微景深约为160 μm，且成像质量与传统显微镜保持一致。但是这一方法对于显微物镜的要求较高，各类实验都集中在低倍率下。相位梯度图像的研究也进一步表明了单次曝光获取大景深的可行性与意义[16]。

图2 体扫描与传统显微镜景深对比Fig.2 Comparison of depth of field between volumetric optical scaning and conventional microscope

2 波前编码

波前编码成像技术是由Cathey和Dowski[17]首先提出的一项用于扩大焦深的处理技术，近年来国际上众多学者对该技术进行了研究，现已有各种实现形式。波前编码的主体思想是在光学系统的出瞳，通过改变出瞳处的光波波面相位，使得光学系统的点扩散函数或光学传递函数变得与焦点所在的位置无关，在焦点前后均保持了相同的函数描述形式，且系统截止频率范围内的调制传递函数没有出现零点。因此，通过获取的与离焦量无关的模糊图像与先验模板信息进行解卷积，即可恢复出整个场景的清晰图像，且该图像具有大景深的特点。

波前编码的核心在于如何设计出一个最佳的相位模板，由于不同的模板具有不同的特性，所产生的点扩散函数与焦距位置的敏感性也不相同，因此在最初的三次掩膜板[17-18]提出后，研究了数型模板[19]、高阶型模板[20]、多项式模板[21]、指数型模板[22]、自由形式模板[23]、正弦型模板[24]等。多数模板由于存在着点扩散函数的移动效应，使得理论设计值与实际值之间存在着失配情况，这就需要进行模板优化研究，设计更为复杂但更加合适的复合模板[25-26]，并采用新的评价方式[27-28]。

该方法的优点是在不降低系统分辨率的情况下，仅需一次曝光即可将显微景深扩大至1个量级以上。同时，由于无需要精确的焦点位置，因此该方法可抑制各种离焦类误差，如球差、色散[18]、温变[29]及装配误差，大大增加了显微系统的冗余度，降低了系统的高精度设计要求与成本。波前编码技术很好地解决了大景深与高成像质量互为矛盾的两难处境，在显微镜领域极具应用潜力，且在一些其他领域中也已应用。

相位模板在应用到显微镜时最为根本的目的是为了提高点扩散函数在焦点附近的非敏感量，从而提高系统的景深。除理论计算外，通过实验进行验证，可以得出不同的模板、出瞳形式有着略微差异的景深和光学传递函数，但总体来看波前编码技术所获取的景深扩大了约1个数量级。

Tucker[18]等人在普通生物显微镜后部放置三次相位模板，进行了景深的实际测量，实验结果如图3所示。图3中(a)为传统显微镜获取的图像，(b)为插入三次相位板后所获得的图像，(c)为经过计算重建出来的大景深图像。图3(a)中的景深约为9 μm，经过拓展后景深约为90 μm，扩展了10倍左右。Pan[30]等人通过研究三次相位板的相位项系数，发现景深拓展的理论上限为60倍。Zhao[25]通过优化掩膜板，在无限远系统中插入相位板，在32倍放大率、0.6数值孔径角情况下，景深拓展了13倍。

图3 波前编码与传统显微镜景深对比Fig.3 Comparison of depth of field between wave front coding and conventional microscope

波前编码可有效提高显微镜的景深范围至1个数量级以上，且景深增大的同时保持横向分辨率不变。但编码会一定程度的压缩系统传递函数，因此通过不断地优化模板形式、孔径方式、插入位置、评价方式等有望进一步提高综合性能，并朝着实用化角度前进。

3 空间光调制

在显微镜成像光路中插入一些特殊元件，这些元件会按照自身的特性对显微光场进行一定的空间调制，在某些模式下系统可得到大景深。例如，在成像光路中插入一圆形或圆环形孔径光阑[31-32]，系统会由于通光孔径的减小而增大景深，但同时也会导致系统传递函数下降，图像质量变差。但是，在系统传递函数还没有下降到系统最低要求时，可以认为这种缩小孔径是增大景深的一种简单有效方法。在系统中插入光栅[33]，进行不同深度图像的CCD分区域成像，也可增大系统景深。

调制最为便捷的方法是在成像光路中加入空间光调制器，通常的做法是在成像光路的傅里叶面上进行调制，其最大优点是灵活，在同样的硬件配置环境下，只需进行软件修改即可实现不同的调制方式。

实质上，空间光调制器提供了一种光场调制方式，它可以产生各种需要的模式，比如不同类型的物理孔径、相位模式。利用空间光调制器可以制作各种光学元件，如：各类光阑、衍射透镜[34]、菲涅尔透镜[35]、多功能调制器[36]、光栅[37]等，这些元件的引入使显微成像产生了很多特性，在一定情况下也提高了显微镜的景深。

C. Iemmi[34]在显微物镜和CCD中间插入空间光调制器，然后在调制器上制作了多种衍射透镜，在非相干单色光照明情况下，发现这些透镜的多路复用可以产生大的景深图像，并保持高图像质量。Christian Maurer[35]等人在显微物镜后端构建一套傅里叶系统，并在傅里叶面上插入一片1 080 pixel分辨率的空间光调制器，通过在空间光调制器上制作了多焦距离轴菲涅尔透镜，并进行了焦距的多路复用，实现了单次曝光大景深图像的获取。

空间光调制器进行的多路复用如图4所示。在显微物镜后部插入空间光调制器，在多路复用的作用下，焦点前后不同位置处的像分别成像到CCD的不同位置上。因此，通过CCD的一次曝光成像，即可得到不同深度处的图像。

图4 SLM原理示意图Fig.4 Schematic diagram of spatial light modulation

图5给出了使用倍率100倍、孔径角1.3浸油物镜条件下，系统获取的不同景深的图像及这些图像在空间位置的分布情况。传统显微镜的景深约为0.38 μm，而实验获得的有效景深约为8 μm，增大了约20倍。

图5 SLM纵向显微图Fig.5 Axial micrograph of spatial light modulation

空间光调制技术尽管提高了景深，但在进行显微镜大景深图像获取时，牺牲了CCD的横向分辨率，且当引入衍射元件时会产生一定的色散，因而系统更适合于单色光观察。将空间光调制器进行照明光调制时，也可获取景深增大效果[38]。对于空间光调制进行显微景深增大了还需要在系统方式及提高成像质量上进一步研究。

4 光场显微

随着计算手段的飞速发展，光学成像开始更细致的追求成像过程与更高维度信息场，光场成像就是这样一种新发展的光学技术。光场是空间中同时包含位置和方向信息参数化表示[39-40]，理论上来说光场包含了所有的光学信息，因此通过计算可以得到任何想要得到的光学信息，实现先拍照后成像。

1996年Levoy的光场渲染理论进一步修改并完善了光场理论[39]，在此基础上，2005年Ng发明了第一台手持式光场相机[41]，2006年Levoy将光场理论运用于显微成像，并研制出光场显微镜[42]，可得到多视角大景深显微图像。

Levoy创造的光场显微镜与传统显微镜的差别是在传统显微镜的成像面上插入了一片微透镜阵列，并在微透镜阵列的焦面上安装成像器件，形式如图6所示。这一改变使得系统记录的图像中不仅包含了位置信息，还包含了方向信息，因而记录的是光场。对此光场图像进行计算，并重建出显微图像，可以得出多维信息。而这一改变却对显微镜景深产生了巨大的影响，表1给出了不同物镜的景深对比，可以发现：光场显微镜的景深相比传统显微镜提高了约2个数量级，即使是光场显微进行了重聚焦后的图像也比传统显微镜景深提高了约1个数量级。当然，实际系统的景深放大需要考虑微透镜阵列的焦距、CCD像元的大小等更多综合因素[43]。但可以发现，光场显微镜在景深上具有极大的优势，图7给出了光场显微大景深的实验效果图。

图6 光场显微原理示意图Fig.6 Schematic diagram of light field microscopy

表1 不同物镜的光场显微景深Table 1 Depths of filed with different objectives inligh field microscopy

图7 光场显微大景深图Fig.7 Depth of field of light field microscopy

光场显微镜可以在一次短曝光时间内即可获得大景深动态现象记录，这是其他显微镜如共聚焦、双光子等无法比拟的，因此光场显微镜适合观察快速变化、大景深的目标。

遗憾的是，光场显微镜的大景深是以牺牲横向分辨率为代价的，而这受制于微透镜阵列密度和成像CCD分辨率。最近提出的波动光学模型[44]可以较大程度地提高光场的横向分辨率，但这依旧是今后的一个努力方向。由于光场显微并没有达到衍射极限，光场显微向纵轴上引入双透镜阵列和双像机[45]、获取光场图像的同时获取常规图像[46]或研究更有效果的重建算法[47]方向努力。

随着高分辨率、低噪声、高速成像器件、高速计算手段与光场显微镜的系统完善，光场显微镜会得到更广泛的发展。

5 结论

显微镜的大景深成像是随着生命医学发展的需要提出的，在当今生命科学迅速发展情况下，高横向分辨率的显微已显得不够，更多地需要进行纵向分辨率的显示，进行三维立体显示。当传统的显微技术遇到此要求时，产生了许多新颖的方法来增大系统的景深，产生了很多具有重大意义的技术。

本文从生物显微镜近年发展的可大幅扩展景深的技术出发，综合论述了其中的一些技术，如光学切片扫描、波前编码、空间光调制及光场技术，对这些技术的主要处理手段、方式及目前能够达到的景深拓展水平进行了阐述，并就其技术的缺陷、研究方向进行了归纳。大景深光学显微系统是显微镜的发展趋势，目前并没有一个完美的答案，需要涌现更多的具有创新意义的技术。随着技术手段的不断提高，在不久的将来，我们会拥有景深更大、分辨率更高的显微镜。

[1] Ortyn W E, Perry D J, Venkatachalam V, et al. Extended depth of field imaging for high speed cell analysis[J]. Cytometry Part A, 2007, 71(4): 215-231.

[2] Nicolas O, Alexandre M B, Craig B A, et al. Two-photon microscopy with simultaneous standard and extended depth of field using a tunable acoustic gradient-index lens [J]. Optics Letters, 2009, 34(11): 1684-1686.

[3] Pantazis M. Depth of field extension with spherical optics [J]. Optics Express, 2008, 16(7): 12995-13004.

[4] Zhao T, Yu F. Point spread function analysis of a cubic phase wavefront coding system with a circular pupil [J]. Optics Express, 2012, 20(3): 2408-2419.

[5] Zhang W, Ye Z, Zhao T, et al. Point spread function characteristics analysis of the wavefront coding system [J]. Optics Express, 2007, 15(4): 1543-1552.

[6] Botcherby E J, Booth M J, Juskaitis R, et al. Real-time extended depth of field microscopy [J]. Optics Express, 2008, 16(26): 21843-21848.

[7] Florian O F, Fabian F V, Benjamin S, et al. Rapid 3D light-sheet microscopy with a tunable lens [J]. Optics Express, 2013, 21(18): 21010-21026.

[8] Pieper R J，Korpel A. Image-processing for extended depth of field [J]. Applied Optics, 1983, 22(10): 1449-1453.

[9] Sugimoto S A, Ichioka Y. Digital composition of images with increased depth of focus considering depth information [J]. Applied Optics, 1985, 24(14): 2076-2080.

[10] Widjanarko T, Hardieb R C. A post-processing technique for extending depth of focus in conventional optical microscopy [J]. Optics and Laser Technology, 2002, 34(4): 299-305.

[11] Meneses J, Suarez M A, Braga J, et al. Extended depth of field using shapelet-based image analysis [J]. Applied Optics, 2008, 47(2): 169-178.

[12] De I, Chanda B. A simple and efficient algorithm for multifocus image fusion using morphological wavelets [J]. Signal Processing, 2006, 86(5): 924-936.

[13] Forster B, Ville D V D, Berent J, et al. Complex wavelets for extended depth-of-field: a new method for the fusion of multichannel microscopy images [J]. Microscopy Research and Technique, 2004, 65(1): 33-42.

[14] Aguet F, De Van V D, Unser M. Model-based2.5-d deconvolution for extended depth of field in brightfield microscopy [J]. IEEE Trans. Image Process., 2008, 17(7): 1144-1153.

[15] Liu S, Hua H. Extended depth-of-field microscopic imaging with a variable focus microscope objective [J]. Optics Express, 2011, 19(1): 353-362.

[16] Giese J D, Ford T N, Mertz J. Fast volumetric phase-gradient imaging in thick samples [J]. Optics Express, 2014, 22(1): 1152-1162.

[17] Dowski E R, Cathey W T. Extended depth of field through wave-front coding [J]. Applied Optics, 1995, 34(11): 1859-1866.

[18] Tucker S C, Cathey W T, Dowski E R. Extended depth of field and aberration control for inexpensive digital microscope systems [J]. Optics Express, 1999, 4(11): 467-474.

[19] Zhao H, Li Y. Optimized logarithmic phase masks used to generate defocus invariant modulation transfer function for wavefront coding system [J]. Optics Letters, 2010, 35(15): 2630-2631.

[21] Carles G, Muyo G, Bosch S, et al. Use of a spatial light modulator as an adaptable phase mask for wavefront coding [J]. Journal of Modern Optics, 2010, 57(10): 893-900.

[22] Yang Q, Liu L, Sun J. Optimized phase pupil masks for extended depth of field [J]. Optics Communications, 2007, 272(1): 56-66.

[23] Zhou F, Ye R, Li G, et al. Optimized circularly symmetric phase mask to extend the depth of focus [J]. J. Opt. Soc. Am. A, 2009, 26(8): 1889-1895.

[24] Zhao H, Li Y. Optimized sinusoidal phase mask to extend the depth of field of an incoherent imaging system [J]. Optics Letters, 2010, 35(2): 267-276.

[25] Zhao T Y, Mauger T, Li G Q. Optimization of wavefront-coded infinitycorrected microscope systems with extended depth of field [J]. Optics Express, 2012, 20(3): 2408-2419.

[26] Mo X. Optimized annular phase masks to extend depth of field [J]. Optics Letters, 2012, 37(11): 1808-1817.

[27] Liu M, Dong L Q, Zhao Y J, et al. Stationary phase analysis of generalized cubic phase mask wavefront coding [J]. Optics Communications, 2013, 298-299: 67-74.

[28] Carles G. Analysis of the cubic-phase wavefront-coding function: physical insight and selection of optimal coding strength [J]. Optics and Lasers in Engineering, 2012, 15(10):1377-1382.

[29] Chen S, Fan Z, Xu Z, et al. Wavefront coding technique for controlling thermal defocus aberration in an infrared imaging system [J]. Optics Letters, 2011, 36(16): 3021-3023.

[30] Pan C, Chen J, Zhang R, et al. Extension ratio of depth of fieldby wavefront coding method [J]. Optics Express, 2008, 16(17): 13364-13371.

[31] Hell S W, Hhninen S W, Kuusisto A. Annular aperture two-photon excitation microscopy [J]. Optics Communications, 1995, 117: 22-24.

[32] Song W,Lee J, Kwon H S. Enhancement of imaging depth of two-photon microscopy using pinholes: analytical simulation and Experiments [J]. Optics Express, 2012, 20(18): 20605-20622.

[33] Dalgarno P A, Dalgarno H I C, Putoud A. Multiplane imaging and three dimensional nanoscale particle tracking in biological microscopy [J]. Optics Express, 2010, 18(2): 877-884.

[34] Iemmi C. Depth of focus increase by multiplexing programmable diffractive lenses [J]. Optics Express, 2006, 14(22): 10207-10219.

[35] Maurer C, Khan S, Fassl S, et al. Depth of field multiplexing in microscopy [J]. Optics Express, 2010, 18( 3): 3023-3034.

[36] Lee M P, Gibson G M, Bowman R, et al. A multi-modal stereo microscope based on a spatial light modulator [J]. Optics Express, 2013, 21(4): 16541-16551.

[37] Mcintyre T J, Maurer C, Bernet S, et al. Differential interference contrast imaging using a spatial light modulator [J]. Optics Letters, 2009, 34(19): 2988-2990.

[38] Maurer C,Jesacher A, Bernet S, et al. Phase contrast microscopy with full numerical aperture illumination [J]. Optics Express, 2008, 16(24): 19821-19829.

[39] Levoy M. Hanrahan P. Light field rendering [C]// Proc. SIGGRAPH. New York: ACM Press, 1996: 31-42.

[40] Levoy M. Light fields and computer imaging [J]. IEEE Computer, 2006, 39(18): 46-55.

[41] Ng R, Levoy M. Bredif M. Light field photography with a hand-held plenoptie camera [R]. Stanford: Stanford Computer Science Tech Report, 2005.

[42] Levoy M, Ng R, Adams A. Light field microscopy [C]// Proc. SIGGRAPH. New York: ACM Press, 2006: 924-934.

[43] Lim Y T, Park J H, Kwon K C,et al. Analysis on enhanced depth of field for integral imaging microscope [J]. Optics Express, 2012, 20(21): 23480-23488.

[44] Broxton M, Grosenick L, Yang S, et al. Wave optics theory and 3-D deconvolution for the light field microscope [J]. Optics Express, 2013, 21(21): 25418-25439.

[45] Favaro P. A split-sensor light field camera for extended depth of and superresolution [J]. SPIE, 2012, 8436(2): 1-9.

[46] Lu C, Muenzel S, Fleischer J W. High-resolution light-field microscopy[J]. Computational Optical Sensing and Imaging, 2013, CTh3B(2): 23-27.

[47] Ortyn W E, Perry D J, Venkatachalam V, et al. Extended depth of field imaging for high speed cell analysis [J]. Cytometry Part A, 2007, 71(4): 215-231.

[48] Levoy M, Zhang Z, Mcdowell I. Recording and controlling the 4D light field in a microscope using microlens arrays [J]. Journal of Microscopy, 2009, 235(2): 144-162.