二维高通量光学显微成像技术研究进展

高宇婷，潘 安，姚保利，马彩文*

（1.中国科学院 西安光学精密机械研究所，陕西 西安 710119；2.中国科学院大学，北京 100049；3.中国科学院 空间精密测量技术重点实验室，陕西 西安 710119）

1 引 言

17 世纪时，荷兰科学家列文虎克首次使用自制透镜组合，实现了270 倍放大率，可以观测到细菌和微观生物，成为显微镜发明第一人，正式开启了显微时代。19 世纪至20 世纪，光学理论蓬勃发展，工业革命带来了机械制造业飞速进步，此外，数学、材料、物理等领域技术也突飞猛进，这一切都促使显微技术焕发出全新的生机。而各式各样的显微镜又使得光学显微镜从更清晰、分辨率更高转向多元化、多用途，开启了全新的发展之路。得益于高性能计算机、高精度探测器以及高效照明器件的发明，荷兰物理学家泽尼克于1935 年提出了泽尼克相衬显微术［1］。随之陆续诞生的各种计算成像方法将光学显微镜引入了由硬件组合到软硬件结合的新纪元。

进入现代以来，显微镜整体结构并没有太大变化，虽然机械部分也在不断优化，但是主体仍旧使用笨重且昂贵的光学器件。尽管经历了几个世纪的发展，可现代光学显微镜仍然存在一些难以突破的物理限制，如光学衍射极限、视场与分辨率之间的矛盾关系、景深狭小、像差等。本质则是由于衍射效应与像差的影响，导致点物不能成理想的点像，光学系统设计上必须做出相应取舍。同时，病理学、生物学研究等领域对于细胞集群的亚结构研究也为现代显微学科提出高分辨率与大视场结合的现实需求。然而传统显微镜的视场与分辨率之间存在权衡关系，使用相同探测器下，通常低倍率的物镜能够将更多景物装入视野内，从而视场大但分辨率不高；高倍率的物镜只关注较小的视野，从而视场小但分辨率高。如何突破视场与分辨率的限制实现高通量成像成为显微成像领域的一大难点。根据实现高通量成像方法的不同，显微成像技术大致可以分为4 类。第一类技术代表是大孔径物镜制造与曲面探测技术［2-6］：基于纯光学设计的思想，直接制造更大孔径的物镜，从而同时获得大视场与高分辨率。但所引入的几何像差需要更多片的透镜进行优化补偿，导致整个系统体积极其庞大，超过了传统物镜齐焦距离的限制，同时视场的增大也会带来严重的畸变。为简化光学系统设计复杂度，需引入曲面探测。通俗理解这一类方法可以为“大力出奇迹”，这类方法成本极高，需要足够空间，适合仪器固定样本更替的场景。第二类是以扫描拼接技术［7-12］为代表：先获取高分辨率再获取大视场，“分而治之”的思想，诸如在传统光学显微镜的基础上，通过添加机械位移平台，实现样本与探测器之间的相对位移，利用高倍率物镜保证成像分辨率，利用视场拼接技术保证大视场，从而得到高通量成像。这也是拍摄全景照片常用的思路，方法简单、成本低，但存在拼接伪影、重影、失败等不确定因素，存在景深狭小、效率低等限制。第三类是以数字合成孔径概念为基础，先获取大视场再获取高分辨率。相比于扫描拼接的空域重构，这类方法则是频域重构，以傅里叶叠层显微成像技术［13-59］、宽场结构光照明技术［60-63］等为代表，有效解决了上述扫描拼接方案的内生问题，但依然存在诸多挑战，如对高性能探测器、算力、算法的依赖。第四类则是以无透镜成像技术为代表［64-72］，彻底放弃了物镜，从本质上绕过或者突破了像差带来的各种系统限制，通俗理解这一类方法可以为“逆向思维”，但随之而来的则是探测器方面的限制。

本文系统介绍了5 种具有代表性的高通量显微成像技术原理及特点，包括物理定义与数学描述、大孔径物镜制造与曲面探测技术、扫描拼接技术、傅里叶叠层显微成像技术、宽场结构光照明技术和无透镜片上显微成像技术。展示了相关实验结果并进行了比较。对5 种高通量成像技术而言，并不存在谁绝对优于谁，而是都有最适合或者专属的应用场景。甚至对于复杂场景，同时使用多种技术是一重要趋势。最后针对现存的问题、挑战及未来趋势进行了详细讨论。

2 高通量显微成像技术介绍与比较

2.1 物理定义与数学描述

阿贝根据光栅原理推导出阿贝衍射极限为［73］：

其中：λ为入射光波长，NA为物镜的数值孔径（Numberical aperture，NA）。早期的提升分辨率的方式聚焦于降低入射光波长，使用光源为10-3nm 的电子束构成的电子显微镜，实现了0.1 nm 甚至更高的成像分辨率［74］。但是短波长射线照射生物细胞时会对其结构造成损伤，且观测时所使用的样本必须在高真空的条件下制备，使得观测难度提升。故一味通过缩小波长并不适用于生物医学对细胞微结构的观测与分析。NA 的计算公式为：

其中：θ为物镜最大吸收光束的半角大小，η为物空间折射率。由此不难看出NA衡量的是光学系统对光束的吸收能力。物镜作为一个低通滤波器，NA 则衡量了其截止频率，只有在截止频率范围内的信息才可以通过物镜。通过使用更高倍率的物镜（更大的NA）可以获得更高的成像分辨率，然而这也意味着更狭小的景深以及像差更难校正。显微镜理想视场的计算方法如式（3）所示：

其中：FN 为视场数，Mag 为放大倍率，可看出放大倍率的增大也会使得视场大幅减小。视场与分辨率无法同时兼顾，也导致针对复杂样本的小区域研究成为难题。视场与分辨率之间矛盾的权衡，成为制约显微领域的一个难题，而显微镜的视场与分辨率也决定了其成像的信息量。

光学中通常使用空间带宽积（Space-bandwidth product，SBP）来衡量光学系统的信息量。对显微镜而言，则是视场中可解析的有效像素数量，即成像通量。成像系统的SBP 越大，代表其可分辨的信息就越多。对于非相干成像系统，其SBP计算方法为：

SBP 的计算同时衡量了光学系统中视场与分辨率性能。“空间”指的是显微系统可实现的观测视场大小，而“带宽”则衡量了频域中的截止频率，两者共同描述了成像系统的信息承载能力。其他研究领域对“高通量”拥有不同的定义，如在数字病理学领域，通量指的是病理切片扫描仪单次可自动化实现的连续观测切片的数量，通常将能连续实现20 片以上切片观测的病理切片扫描仪定义为高通量扫描仪。本文中的“高通量”指的是利用SBP 衡量的光学领域的定义。现阶段的光学显微镜由于其光学系统的限制，可以达到的SBP一般为千万像素级，随着显微镜所搭载物镜的放大倍率的提升，SBP 逐渐下降。

2.2 大孔径物镜制造与曲面探测技术

由于显微镜存在视场和分辨率的制约，所以实现集群细胞的亚细胞结构就十分困难。如图1所示，图1（a）为4×显微镜物镜（0.1 NA，Nikon），视场直径为5.5 mm；图1（b）为20×/0.45 NA 物镜（Plan Fluor），视场是1.1 mm 直径，其分辨率较4×/0.1 NA 的Nikon 物镜提升了4.5 倍，FOV却缩小了25 倍。

图1 使用4×与20×物镜的显微系统采集图像比较。（a）使用4×物镜采集到的分辨率板灰度图像，（a1）为（a）中对应位置的放大图；（b）使用20×物镜时采集到的分辨率板灰度图像。Fig.1 Comparison of images acquired by microscope systems using 4× and 20× objectives.（a）Grayscale image of a USAF acquired with a 4× objective，（a1）is an enlarged view of the corresponding position in（a）；（b）Grayscale image of a USAF acquired with a 20× objective.

从硬件层面考虑，在保证高分辨率的前提下，若将物镜的FOV 扩大，则可使SBP 突破视场与分辨率的制约限制，最直接的就是制造更大尺寸的透镜。但是更大尺寸的透镜也会带来更严重的几何像差，此时就需要在系统光路中添加额外透镜对像差进行补偿。此类实现高通量的方案会造成系统庞大、不便携带、光路标校困难，不满足光学系统高性能、轻量化和微型化的要求，故一般使用在拥有足够空间，仪器固定，样本流替的场景，如光刻机［2］上。图2（a）为ASML 的DUV 光刻机系统示意图，可以看到显微物镜占据了近1/2 的体积。此外，仅在高倍物镜前提下，一味扩大视场会产生更大的畸变，所以需要运用更加复杂的光学结构校正，然而傍轴近似已经不适用于更大视场，这会带来更明显的场曲。通过学习“眼睛”结构，构造弯曲的焦平面来补消除因视场过大而造成的场曲畸变。Nikzad S［3-4］等人最先提出曲面探测思想并设计了最初的曲面探测器，设计弧形焦平面阵列的思想主要为两个方面：一方面是减小探测器厚度使其符合曲度要求；另一方面是使用背照式照明和厚探测器平面结合。Heung Cho Ko 设计实现了基于可压缩硅光电子器件的半球形电子眼探测器［5］。利用人眼结构的启发，其对光学系统的畸变矫正结果如图2（b）所示。在此后的实际应用中也验证了曲面检测方法的正确性，例如图2（c）所示的空间监视望远镜（Space Surveillance Telescope，STT）［6］，为3.5 m 的主镜对应设计了曲面交面阵列，为大孔径成像系统提供了无畸变的清晰视野。然而曲面探测方法需要十分精密的制造工艺，与超大的透镜组相结合，使得系统的整体成本上升。此外，庞大的同轴系统调整困难且系统复杂度的提升会导致其稳定性不足。

图2 曲面检测技术实例。（a）高分辨大视场的光刻物镜［2］；（b）半电子眼探测器的设计流程与实验结果［5］；（c）SST 搭载的曲面探测器设计与实物［6］。Fig.2 Example of two types of freeform designs.（a）High-resolution wide-FOV photolithographic objective lens［2］；（b）Design solutions and experiment result of hemispherical electronic eye camera［5］；（c）SST array and it’s process［6］.

2.3 扫描拼接技术

传统的显微观测需要进行手动调焦，并通过目镜进行肉眼观测，对于大视场观测还需要手动移动切片，不仅耗时、耗力，还容易出现误判和漏判，无法直观地实现全切片区域亚细胞结构的观察，不利于病理学的相关研究以及医学领域的会诊、诊断等。1986年Weinsten R S首次提出了“自动化显微镜”的概念［75］，开启了数字病理学时代。数字病理切片扫描仪集光学、信息处理、计算机科学、自动控制学科为一体，通过自动聚焦技术［76-78］、扫描拼接技术等，利用集成化自动化设备代替了人的手眼操作，全自动大批量生产出高分辨率、全视场的数字化病理学切片［7-9］。此项技术现在被广泛应用在生物医学中，为病理学分析、远程会诊等提供了很大帮助。数字病理学中最为常见的实现高通量的方法是利用数字病理切片扫描仪承载高倍率物镜，对生物样本进行扫描拼接，也就是先实现高分辨率，再获得大视场。值得注意的是数字病理学中的高通量指的是单次自动实现更多的生物切片成像，本文提到的高通量是实现SBP 的提升。数字病理切片扫描仪主要包括显微镜、可移动载物台和装卸机构。数字病理切片扫描技术（Whole side imaging，WSI）利用数字扫描仪对传统的病理切片进行扫描，采集具有高分辨率的数字图像，再通过计算机将得到的碎片化图像进行无缝拼接整合。目前比较主流的扫描方式主要有“块扫描”和“线扫描”方式［10］，其扫描图示及成像结果如图3（e）所示。

图3 扫描拼接技术的扫描方式［10］与固有缺陷［80］Fig.3 Scanning method［10］ and intrinsic drawbacks［80］ of conventional digital pathologic scanners

WSI是病理学研究由人眼小视场读片到数字化全视场读片，由生物切片保存到数字化保存的里程碑。在医院、生物研究实验室等场景下的切片制备及保存实现了整片采集、高分辨率、数字化，有助于科研成果的分析与交流。通过在医学领域为常规以及疑难病例的病理资料可视化，实现远程会诊、协同治疗以及病理资料的数字化保存。此外，扫描拼接技术的应用实现了全自动高速、多切片的病理学切片成像。数字病理切片扫描技术通过在图像采集端以及图像合成端的系统优化实现高通量显微成像。3DHISTECH 公司研发的Pannoramic1000 数字病理切片分析仪可以搭载20×和40×物镜，实现单次1 000 片的生物切片信息采集，是可以代表先进水平的WSI系统。

数字病理切片扫描技术虽然结合视场拼接与机械扫描技术实现了SBP 的飞跃，但是WSI 系统存在一些固有缺陷，如图3（a～d）所示。视场拼接与机械扫描技术处理需要时间较长，使得成像的时空带宽积（Space Time-Bandwidth Product，STBP，即单位时间内的SBP）下降，可以理解为牺牲成像时间来换取成像SBP，这也使得这类技术无法实现快速成像，不利于活体生物细胞的定量观测。系统搭载高倍率物镜使得系统NA 受限，物镜的工作距离过短，生物切片的厚度受限，仅适用于薄切片的观测，如组织病理学和血液学成像等领域。由于机械移动部件不可避免地存在漂移问题，会导致成像重影、成像成功率和准确率下降等问题。由于机械扫描和重聚焦［11-12］耗时严重，使系统中的成像器件大部分时间都处于空转状态，时间效率低。目前市场上的数字病理切片扫描设备售价在100 万元以上，十分昂贵，且由于系统构造复杂，后续的维护难度较大且对实验室环境要求较高。

2.4 傅里叶叠层显微成像技术

仅依靠硬件手段来提升系统SBP 势必会造成成像效率的损失。在传统几何光学的基础上，引入物理光学来拓展光场信息，结合数学与信号处理实现高维光场信息的解算，计算光学成像应运而生。采用计算成像方法可以简化成像流程，并去除成像系统中的扫描和拼接部分，同时还可实现高分辨率和大视场，能有效突破传统显微成像的瓶颈。利用信息处理技术，还可以深度挖掘光场信息，实现SBP 的提升。合成孔径的思想最先被用在雷达上，可以被看做最早的计算成像技术之一，其工作原理与拍摄实例如图4 所示。20 世纪50 年代，为了改变雷达体积较大的弊端，Wiley C 提出了合成孔径雷达（Synthetic Aperture Radar，SAR）的概念。1957 年美国伊利诺伊大学及密歇根大学的研究人员首次公开了合成孔径图像［80-81］。合成孔径雷达的主要思想是利用天线与目标的相对运动，构建一个等效虚拟的大孔径天线，利用“多普勒频移”记录平台不同位置处的回波信号，实现多个点扩散函数在频域内的合成，获得方位向的高分辨率图像。此外，通过对目标回波进行脉冲压缩，可获得距离向的高精度信息。微波的特性可以穿云破雾，能在能见度极低的气象条件下得到类似光学照相的高分辨率雷达图像。

图4 合成孔径技术与傅里叶叠层显微成像术。（a）SAR 的工作原理与拍摄图像；（b）FPM 扩展时空带宽积；（c）FPM 系统构造与成像实验；（d）FPM 图像重构流程图［13］。Fig.4 SAR and FPM.（a）Working principle and real image of SAR；（b）Space-time bandwidth product extended by FPM；（c）System construction and imaging experiment of FPM；（d）Flow chart of FPM reconstruction［13］.

SAR 工作时，全复数域包括振幅和相位均可用能将时间分辨率精确到皮秒量级的天线直接测量，所以多个雷达回波信号具备直接相干融合的条件，其所对应的合成孔径的大小将比天线物理口径大出许多个数量级，由此实现重建图像等效分辨率的提升。在微波波段下，天线能够以皮秒分辨率直接获取复振幅信息实现高分辨率成像。但是由于光学波段具有非侵入式、无损伤的优点，非常适合进行生物体、组织或细胞的动态成像，目前用于生物医学的显微镜多为可见光波段。然而对于光学波段而言，其频率高出微波多个量级，要想捕获其相位信息，必须使用超过1 fs的探测器进行信号采集，现有的商业探测器，如以滨松公司2022 年推出的C15550-20UP［82］为例，其可以达到的读出速度为120 帧/s，远未达到捕获相位的要求。2013 年，美国加州理工学院Yang 教授课题组提出将合成孔径技术与相位恢复算法相结合的傅里叶叠层显微成像术（Fourier ptychographic microscopy，FPM）［13-34］，使用2×/0.8 NA物镜，实现最大合成NA 为0.5，可获得分辨率为0.78 μm、视场大小为120 mm2的成像，同时实现无像差、无标记、长景深、长工作距离、高通量、定量相位全彩色的成像，图4（c）展示的是FPM 的系统构成与成像结果，图4（d）为FPM 的重建流程及频谱的拓展。

与WSI 系统相比，FPM 将传统显微镜中的聚光镜用价格更加低廉的发光二极管阵列（LED）代替，LED 单元依次点亮实现合成孔径，提高分辨率。由于光对生物样本的散射特性，使得在高照明角度的光通过散射进入探测器，将高频信息调制到物镜的通频带内，通过低频信息的形式表现，提升分辨率。此外，与WSI 的机械扫描方式实现大视场相比，FPM 利用低倍物镜在傅里叶域内进行频谱的搬移与拼接，同时实现高分辨率与大视场，从根本上解决了WSI系统存在的拼接伪影、重影等问题，保证了成像的正确率，同时在保证成像成功率的基础上，大幅降低了系统的成本。

假设LED 的出射波为平面波，将薄生物样本简化为二维目标，物函数为o(x，y)。其中，（x，y）代表二维平面的笛卡尔坐标。点亮第m行、第n列的LEDm，n，其照明波矢为(kx，m，n，ky，m，n)。经过物函数后，其透射光波场为随后透射光波场进入相干光学成像系统，经傅里叶变换后被系统CTF 低通，表达为{o(x，y)·P(kx，ky)，其中P(kx，ky)是系统的光瞳函数，可以看作是一个低通滤波器。经低通滤波后的光波场又经一次傅里叶逆变换到达成像平面，探测器采集到的低分辨率强度图像表达式为：

其中：F 为傅里叶变换，F-1为逆傅里叶变换，O为物函数的傅里叶频谱。FPM 的主要原理是解决一个非凸优化问题，通过迭代缩小所猜测物函数对应的低分辨率振幅与实际采集的低分辨率振幅的差异：

FPM 借助了相位恢复算法，在频域中来回迭代时恢复相位信息，并使用合成孔径中的傅里叶平移定理，将原先错位的频域信息移回正确的位置。LED 的高角度照明使得物函数中原本超过截止频率的信息平移到通频带内，通过低频信息的形式表达，将这种错误表达的高频信息移动到正确的位置，使得原本的通频带得到拓展。对于m×n的LED 阵列，相邻LED 单元距离为d，则其照明NA 为：

其中：η为介质中的折射率，θmax为LED 的最大入射角度，h为LED 与样本之间的距离。系统的合成NA 为：

其中NAobj为物镜NA。综上，可以计算得到FPM可实现的理论分辨率为：

FPM 系统通常使用低倍率物镜，也就是低NA物镜，照明NA 通常会大于物镜NA，从而分辨率可以远超过两倍的相干截止频率。这一修改也被写入Goodman 的《傅里叶光学导论》第四版［35］中。

FPM 是一种相干成像技术，无需引入参考光即可完成相位恢复，其原因与核心所在就是冗余的数据提供了“相对的参考光”。FPM 中的冗余数据主要来自于相邻子频谱的交叠，即交叠率。频谱面的交叠率定义为相邻两CTF 的重叠面积与单孔径面积之比，其计算方法为：

其中，St为照明NA 的增加步长。在FPM 中，合理的交叠率也是影响成像质量的一个重要因素。在不存在欠采样的条件下，FPM 的交叠率至少在30%以上时才能保证成像质量［36］。在欠采样情况下，则要相应提高交叠率才能确保成像，如采样率下降1/2，交叠率则要提升一倍。

通常一个技术可以分为3个发展阶段，即“0-1”、“1-10”和“10-100”，如图5所示，具体可见文献［79］。技术的探索与产业化可以具象化为携手并行的螺旋上升态势，并不是技术发展到一定阶段就止步不前，而是当新的应用需求产生时，随之会带来技术需求，刺激技术的不断发展与优化。

图5 FPM 的发展历程Fig.5 Roadmap on FPM

“0-1”指的是FPM 的诞生阶段，突破了传统显微成像的通量极限，利用低倍物镜与多角度照明实现大视场前提下频域内频谱的拓展，得到高分辨率的大视场成像。

“1-10”为FPM 的探索阶段，此阶段可以细分为3 个方向：方向1：实现高精度、高稳定性成像。影响成像精度的误差来源主要有杂散光［37］、系统像差［38-40］、成像探测器动态范围［13，41］、周期排列LED 引入的栅格噪声［21-42］、LED 强度不均［15，44］、LED 位置未校准［45-46］、相机噪声［46-53］、渐晕效应［54］、部分相干性［54-55］、多种混合误差［56］、样品运动误差［57］等，它们会影响成像结果，带来伪影。文献［79］详细介绍了各类误差以及对应的解决方案。方向2：探索与突破通量极限。由于传统FPM 利用LED 阵列代替了聚光镜，故在高角度照明时能量损失严重。Sun 等人提出了基于油浸物镜和紧密LED 平板阵列的FPM 平台（Resolution-enhanced Fourier ptychographic microscopy，REFPM）［58］，实现了基于10×/0.4 NA 物镜，合成NA 为1.6，使用波长为435 nm 光源，FOV 为2.34 mm2，可以实现9 800 万像素的SBP。在使用相同物镜的条件下，REFPM 的SBP 较传统非相干物镜提升10 倍有余。然而，为了满足采样率要求，REFPM 系统只能使用最低为10 倍放大倍率的物镜，这使得视场大小受限。Pan A［44］等人提出一种使用数字聚光镜实现亚波长分辨率的FPM 平台（Subwavelength resolution Fourier ptychography，SRFP），使用4×/0.1 NA 物镜，实现合成NA 为1.05，使用波长为465 nm 的入射光束，视场为14.6 cm2，得到24 500 万像素的SBP 值。该方法相比于传统的平行平板LED，SBP 提升了两倍以上。此外，FPM还可以应用于X 光波段的纳米尺度的显微成像，以及基于相机扫描的远距离遥感高分辨率成像。方向3：实现高效成像。实现高效成像的两种思想包括减少图像和单次曝光成像，以这两种思想为基础，涌现出大量算法实现了高效高分辨大视场显微成像。Sun J 等人提出了一种基于可编程环形照明的高速FPM 技术（High-speed FPM technique based on programmable annular illuminations，AIFPM）［83］，单次重建仅使用4 个环形光照明，实现了4.11 亿的STBP，在亚细胞水平和整个细胞群中观察到快速的细胞动态。揭示了FPM 在体外活细胞的高速高通量成像方面的重要能力。

“10-100”指的是关注用户体验与FPM 的产业化推进阶段。此阶段的研究重点在于如何让FPM 更加满足市场需求，从而实现全彩色、批量化、自动化、智能化。实现并行化FPM 有助于提升细胞培养与分析的效率。Chan A 等人研发了基于并行FPM 的96 通道生物细胞培养成像筛选系统［33］，能够在单次LED 阵列扫描时实现光源复用，实现90 s 内96 通道并行的明场、无像差定量相位成像和30 s 内双色荧光成像的数据采集。深度学习与FPM 技术的有机结合可以突破FPM技术的瓶颈。Zhang J 等人提出了一个基于深度学习方法的FPM 重建框架［84］，并设计了一个用于FPM 重建的多尺度深度残差神经网络（Fourier ptychographic neural network，FPNN），实现了高精度、高稳定性、强鲁棒性的FPM 重建。实现彩色化成像可以为术中病理学等领域带来极大的方便。本课题组基于FPM 成像技术，将光学自动聚焦技术、快速全彩色重构技术、压缩感知技术结合，并辅以机械臂自动移片和高效率照明，来提高传统数字病理学的成像通量，同时利用深度学习实现病理图像的自动分类及识别。目前本课题组已经提出了成熟的快速全彩色重构技术。Gao Y 等人受彩色匹配的启发，提出基于彩色传递的FPM 彩色化（Color-transfer FPM，CFPM）［34］，将低分辨率全视场彩色图像与高分辨率的FPM重构图像进行亮度直方图匹配，将低分辨率全彩色图像的颜色传递给高分辨率的FPM 重构图像，使染色后的高分辨率彩色FPM 图像最大程度地接近低分辨率全彩色图像，实现了较传统FPM 彩色化方案两倍的效率提升，并且消除了灰尘导致的相干伪影。在此基础上，Chen J 等人利用局部二值模式和双边滤波组成代表空间相似度。灰度相似度和特征相似度的三边滤波函数取代CFPM 中的亮度直方图匹配方案，提出彩色传递滤波FPM（color-transfer filtering FPM，CFFPM）［59］，其原理与实验结果如图6 所示，突破了CFPM 不适用于多染色剂染色样本的局限，进一步提升了彩色传递的效率与精确度。多模态信号的获取有利于更深入地探究细胞的内在结构。Song S 等人将FPM 与偏振成像系统相结合，实现了对透明物体的双折射信息的成像（Polarization-sensitive Fourier ptychographic microscopy，PS-FPM）［85］。PS-FPM 无需引入系统的机械旋转和位移，可以实现约1 250 万像素的SBP。Zhang P 等人对传统的FPM 系统进行优化，利用卤素灯作为光源，与滤波器相结合，捕获不同波长的低分辨率图像。此外，文章还提出了基于插值补偿的高光谱分辨率成像与相位恢复算法相结合的高分辨率大视场图像恢复算法，实现了5 nm 的光谱分辨率［86］。

图6 CFFPM 的原理与实验结果。（a）颜色匹配与彩色传递［34］；（b）FPM 与CFFPM 的成像系统［34］；（c）FPM 与CFFPM的颜色空间［34］；（d）CFFPM 的流程图与成像实验［59］。Fig.6 Principle and experimental results of CFFPM.（a）Match color and color transfer［34］；（b）Imaging system of CFPM and FPM［34］；（c）Color space of CFPM and CFFPM［34］；（d）Schematic diagram of CFFPM method and it’s imaging results［59］.

2.5 宽场结构光照明技术

阿贝衍射极限限制了系统的极限分辨率，导致物函数中超过光学系统截止频率的信息会被去除，这其中就包含高分辨率的高频信号，致使传统光学显微镜分辨率受限。通过解算图像的高频信息可以实现图像细节信息的恢复，从而在固定的物镜NA 下实现更高的分辨率。Gustafsson［60］于2000 年提出了结构光照明技术（Structured Illumination Microscopy，SIM），如图7（a1～a4）所示，实现了较普通宽场显微镜两倍的横向分辨率提升。SIM 的主要思想是通过结构化照明，将待测物体的高频信号以混频形式进入到显微系统的通频带内，突破阿贝衍射极限。SIM 主要利用莫尔效应，在光路中添加结构光发生装置（如空间光调制器（Spatial Light Modulator，SLM）、光栅等）对入射光波进行移项调制，产生调制光，经物镜投影在被测物体上，由探测器接收荧光信号，该信号包含了结构光信号与样本的荧光信号的卷积，形成莫尔条纹，最后通过解算可以得到高分辨率的样本信息，其图解见图7（b1～b3）。SIM 中可以使用点阵、条纹甚至是完全随机图案的照明光场。SIM 具有时间优越性，可以实现高速成像，适用于活细胞探测。

图7 SIM 与SSIM。（a1～a4）SIM 的频谱重构过程［60］；（b1～b3）利用莫尔效应实现分辨率提升［61］；（c1～c5）非线性结构光照明提高分辨率的原理［61］；（d）生物体细胞的SIM 成像［63］；（e）生物体细胞的SSIM 成像［63］。Fig.7 SIM and SSIM.（a1～a4）Concept of resolution enhancement by SIM［60］；（b1～b3）Resolution extension through the Moir effect［61］；（c1～c5）Resolution extension by nonlinear structured illumination［61］；（d）SIM imaging of organism cells［63］；（e）SSIM imaging of organism cells［63］.

与相干成像系统不同，非相干系统的截止频率f0由系统的光学传递函数（Optical transfer function，OTF）决定，指的是能够传递的强度呈余弦变化的最高频率f0=2 NA/λ。当系统的光瞳函数为圆时，OTF 是以原点为圆心，f0为半径的圆。假设结构光频率为f1，对于样本的每个频率f，在频率f-f1处产生莫尔条纹。当|f-f1|＜f0时，探测器可以观测到莫尔条纹，也可以理解为此时的OTF 以f1为圆心，f0为半径，通过相移可以反解出此部分的信息，此时系统的截止频率为f1+f0。所以要想更大限度地提升系统的截止频率就要增大f1，但是由于结构照明光与探测荧光都会受系统衍射极限的影响，f1最大不超过f0，也就是说，线性SIM 的分辨率较传统宽场显微镜的最高可提升2 倍。要想在线性结构光照明条件下进一步提升系统分辨率，一方面可以更换大NA 物镜，但是这会导致视场减小，综合SBP 并不会有较大提升；另一方面可以使用两个相同的高NA 物镜，SBP 会提升4 倍。在激发光微弱的情况下，荧光强度和激发光强度为线性关系，此时为线性SIM，如果可以改变这种线性关系，即可获得更高的频域信息。基于此，Gustafsson 等人提出基于非线性结构照明的饱和结构照明显微镜（Saturated structured-illumination microscopy，SSIM）［61］，其原理见图7（c1～c5），实现了低于50 nm 的横向分辨率。当激发光的强度不断增强时，荧光强度和激发光的强度原本的线性关系被破坏。当激发光强度达到一定程度时，荧光强度达到饱和状态，此时其频域内的强度分布函数可以展开为一系列的非线性项，可以突破线性SIM 的分辨率瓶颈。理论上这种方法只要不断提升激发光强度，就可以实现无限分辨率的提升。但是由此而产生的光漂白和光损伤会对细胞产生不可逆伤害，这与SIM 成像速度快、适用于活细胞成像的优势相悖。且此时高频信息易受噪声影响，从而会使得伪影严重。Hirvoven 等人提出了基于光开关荧光蛋白实现非线性结构光的理论［62］。Rego 等人验证了该理论［63］，他们在激发光强降低6 个数量级的情况下实现了荧光激发并获得了50 nm 的横向分辨率。

2.6 无透镜片上显微成像技术

传统光学显微镜系统的组成大体相同，都是由光源、物镜、筒镜、探测器构成（根据应用场景的不同，会增加其他光学元件，如偏振片、滤光片、光栅、高精密机械扫描设备等），这使得显微镜的构造十分笨重，与易便携、轻量化、低成本的应用需求相悖。为了解决传统显微镜的应用弊端，无透镜片上显微成像技术应运而生。无透镜系统摒弃了传统显微镜的透镜，利用探测器直接采集紧贴其放置的物体的衍射图像。将无透镜片上显微技术、最先进的光电传感器芯片和像素超分辨率技术相结合，可以实现在单位放大倍率下，大于10 亿像素的SBP 输出。根据成像原理，可以简单地将无透镜技术分为3 大类：无需图像重构算法的投影式成像［87-88］、基于数字重聚焦的无透镜成像以及基于解析延拓的无透镜成像。

2.6.1 投影式无透镜成像技术

投影式无透镜成像技术无需任何图像恢复算法，为了尽量消除衍射对成像质量的影响，通常会将传感器的窗口玻璃去除，以尽可能地减小待测物体与探测器之间的距离［87］。为了提升投影式无透镜成像的分辨率，通常使用的方法是在样本与探测器之间放置亚纳米级别的小孔阵列，构成光流体显微镜（Optofluidic microscope，OFM），如图8 所示。两相邻的小孔之间的距离为探测器的一个像元尺寸的大小，当待测样本与小孔阵列发生相对位移时，可以看作是对待测样本进行线扫描。在待观测细胞不会发生形变的基础上，投影式无透镜显微成像一般使用的扫描方式是制造倾斜微流通道使待测样本形成微流［64］，实现小孔阵列与物的相对移动。Ozcan 等人［65-66］利用微流式片上无透镜显微技术成功实现了对生物细胞的检测。

2.6.2 数字重聚焦无透镜成像技术

基于数字全息的无透镜成像技术主要是在相干照明下，利用数字重聚焦，通过对干涉条纹进行分析与计算，获得待测样本的复振幅信息，即使用采集到的强度信息来恢复二维待测物的散射光波场的强度和相位信息。整个成像过程可以简化为：

其中：U(x，y)为重构得到的待测物体的复振幅信息，UI(x，y)为探测器采集到的复振幅信息，H(x，y)为角谱传递函数，(x，y)为二维样本的笛卡尔坐标。基于数字全息的无透镜成像技术主要聚焦于两方面，即实现相位信息的恢复与实现分辨率的进一步提升。本文仅讨论分辨率提升方面。

传统的实现分辨提升的方法与投影的无透镜成像实现高分辨率的思路大致相同，即通过样本与探测器的相对亚像素位移实现超分辨。提升思路一为：横向移动探测器或者是样本。但是现有的成像探测器像元大小一般在微米量级，要想实现探测器或亚像素级的位移，必须搭载高精密的机械移动元件，其实现难度大且设备成本高。思路二为：横向移动光源位置［67］。如图9（a）所示，光源的移动距离与对应到相机与物的相对移动距离之比，可以利用光源与待测物体的距离a1和物体与探测器距离a2之比计算得出。由于物体紧靠探测器表面，所以要实现物与探测器的小范围相对移动，则要使光源进行长距离移动，这对于机械位移平台的精度要求大幅减小。除了横向实现物与探测器的相对位移外，Greenbaum A 等人提出了多高度无透镜成像［68］。该方法结合迭代相位恢复算法和像素超分辨技术，在每一个高度下，按图9（b）所示的扫描方式，生成多幅低分辨率（LR）无透镜全息图像，再利用像素超分辨成像技术生成该高度条件下的超分辨全息图像。M次调整高度就可以得到M张超分辨全息图像，但是这些图像可能会存在空间差异，故增加数字配准步骤，之后采取多高度的迭代相位恢复算法重建高密度样本的复振幅信息。然而，上述方法都需要对系统元件进行机械位移来实现高分辨率。机械移动装置由于其器件参数漂移等原因，会给成像系统带来额外的误差。为了消除这些位移或者旋转带来的误差，就需要在图像恢复前增加校准算法，这也使得整体的计算复杂度增加。Bishara W 等人引入光纤器件代替机械位移平台［69］，如图9（c）所示。利用多个光纤与发光二极管对接耦合，由低成本的微控制器控制，依次照亮样品，再由探测器捕获其全息图，经像素超分辨算法处理，最终获得高分辨率的全息图像。但这种方法会使成像系统的成本提高，且精确的光纤装配也为系统的装调带来压力。与增加系统元件相比，Luo W 等人提出了基于合成孔径的无透镜成像技术（Lensfree imaging using synthetic aperture，LISA）［70］，进一步简化了成像系统。该技术将合成孔径的思想带入到数字全息无透镜显微技术中，使用部分相干光对样本进行多角度的照射，如图9（d）所示。通过扫描穹顶表面的照明角度，将重建无透镜图像的有效NA 提高到1.4，在单位放大倍率下，在700 nm波长下实现250 nm 分辨率。

图9 可实现相位恢复的无透镜超分辨成像。（a）横向移动光源实现高分辨率片上无透镜成像的系统构成与成像实验［67］；（b）多高度像素超分辨率无透镜片上成像装置及巴氏实验的无透镜相位成像［68］；（c）基于光纤阵列的无透镜片上显微镜结构图及感染疟疾寄生虫的红细胞成像［69］；（d）LISA 的系统构成和乳腺癌组织的无透镜彩色成像［70］；（e）基于波长扫描的超分辨成像系统构成及Pap 成像实验结果［71］。Fig.9 Lensless super-resolution imaging with phase recovery.（a）System composition and imaging experiment of highresolution on-chip lensless imaging by laterally moving light source［67］；（b）Schematic diagram of the multi-height pixel super-resolution based lensfree on-chip imaging set-up and phase image of a Pap test［68］；（c）Structure of lensless on-chip microscopy using a fiber-optic array and imaging of red blood cells infected with malaria parasites［69］；（d）Structure of LISA and imaging of breast cancer tissue［70］；（e）Optical setup of wavelength-scanning pixel-super resolution and Lens-free imaging of a Papanicolaou（Pap）smear［71］.

Luo W 等提出基于波长扫描的像素超分辨成像方法［71］，对光源在窄谱带上进行波长调制和无透镜高分辨率图像重建，并与合成孔径成像方法相结合，获得待测物体的高分辨复振幅信息，其系统构成如图9（e）所示。该方法利用中心波长范围为10～30 nm 的可调光源，采集多幅低分辨率图像，利用迭代算法与合成孔径相结合，实现420 mm2视场大小的250 nm 分辨率。但是美中不足的是这种方法需要进行波长标定和色散补偿处理。

2.6.3 解析延拓无透镜成像技术

传统的无透镜叠层成像主要利用物体相对于探针的移动获得远场的衍射数据，在实际空间中进行拼接，实现视场的拓展。而FPM 则是利用频域空间内的扫描来实现频谱的拓展。Song P等人将上述两种方法结合，提出了基于合成孔径叠层成像的片上无透镜成像（Synthetic aperture ptychography，SAP）［72］。如图10 所示，首先使用一扩展的平面波照射样本，再利用放置在样本后的可移动编码传感器采集衍射图像，图像传感器表面的编码掩膜对来自样本的衍射光进行调制，其作用等效于传统叠层成像的探针光束。与传统的叠层成像相比，SAP 无交叠率需求，在衍射屏上同时实现高分辨率和大视场，将叠层成像的“薄样本”限制转而成为“薄编码掩膜”的要求，实现厚物体成像，突破了传统叠层成像的应用局限。编码传感器的移动距离决定了SAP 的分辨率极限。

2.7 五种高通量显微成像技术的比较

本文分别从成像原理、系统构成以及发展概况深入介绍了5 种二维高通量显微成像技术，这些成像方法在不同的应用场景下各有千秋，表1 列举了这些技术的优势与不足以及它们各自的应用场景。从增加FOV 角度出发，制造大孔径物镜与曲面探测技术可以实现单次曝光成像，然而单纯地从机械加工角度拓宽视场会使整体系统体积过大，调轴、调焦困难，且随之而来的离轴像差、色差问题都不可避免，这一切加大了整体系统的制造难度。成本过高也使得此项技术仅适用在光刻机等空间大、设备固定的场景。全划片数字病理分析技术以操作简便且能实现切片的数字采集被广泛应用，然而，这项技术存在耗时、稳定性差等不足。随着光源、高性能探测器、处理系统、系统元件加工等技术的快速发展，以及计算成像技术的出现，都为高通量显微技术注入了新的活力。计算成像技术另辟蹊径，融合了信息光学、信号处理等多学科理论，突破了传统光学成像“所见即所得”的成像模式，是一门正在兴起且有广泛前景的交叉学科。计算光学成像技术在对信息的获取、信息的挖掘、信息量的扩展等方面展现出了强大的优越性，是实现高通量显微成像技术性能飞跃的主要力量。傅里叶叠层显微成像术利用低倍物镜视场大的优势，结合迭代算法实现高分辨率，其系统成本低，利用相位恢复算法可以实现无标记的定量相位成像。但是该技术目前主要采用GPU 进行全视场分块并行恢复后合成大视场图像，成像速度受限，且迭代算法对噪声敏感度高，数据预处理成为必经之路。宽场结构光照明技术的时间分辨率高，适用于活细胞检测场景。该技术不需要使用特殊的荧光探针，降低了拍摄过程中荧光蛋白/分子的漂白，以及光毒性对活细胞的伤害。SIM 在线性结构光照明条件下仅能实现两倍分辨率的提升，然而饱和荧光激发态获得超过两倍的分辨率提升的同时也会使光漂白、光中毒等现象对细胞造成破坏。无透镜片上显微成像技术进一步简化了成像系统，使整体系统体积减小，节约了制造成本，然而与FPM 的分块处理相同，无透镜技术的全视场成像速度同样受限。

表1 5 种技术的比较Tab.1 Comparison of five technologies

3 结 论

本文对5 种具有代表性的拓展SBP 的技术进行了详细介绍与分析，剖析了各类方法的优势与不足。通过对5 类技术的分析与比较不难发现，计算成像技术的出现解决了很多依靠硬件无法解决的问题，为高通量显微成像带来了很多新的思想与独特的方法，2023 年阿里达摩院把它列入十大科技趋势。计算光学成像处于高速发展阶段，已取得许多令人振奋的研究成果，但是计算成像同时也面临着众多挑战：

（1）计算成像技术的底层理论并不十分完善，其计算效率有待进一步提升。

（2）计算成像技术需要使用到样本的暗场信息，这使得信噪比下降，然而暗场的引入对成像信噪比的影响程度并未从理论层面进行解释。

（3）多模态成像深度挖掘光场信息，辅助实现高分辨率成像，如纯相位物体从强度信息上无法对其形态进行获取，而定量相位成像技术则可以从相位角度对样本进行分析。将多模态信息的获取能力作为衡量成像技术性能的指标，将SBP的指标由二维拓展到多维。

（4）计算成像在“所见即所得”的成像模式上加入了复杂的计算流程。在当前发展阶段，“计算”的加入会带来对成像结果的怀疑，这就如同目前医学诊断金标准的计算机扫描断层技术（Computed Tomography，CT）在其诞生时同样背负着质疑与诟病。但是随着技术的进步，计算成像的成像结果也定会成为其应用行业的“金标准”。

（5）计算成像的算力需求大，需要性能更加优越的芯片与不断优化的信息压缩技术才能助力其发展。

（6）计算成像技术与人工智能技术相结合满足不同的智能化需求也是未来的重要发展趋势。就医学诊断来讲，人工智能（Artificial intelligence，AI）辅助诊断可以大幅节约人力资源，实现国民医疗覆盖率的飞跃。计算成像获得的高质量成像结果，可以为AI 提供大量准确率高的样本信息，满足训练集的样本需求，确保诊断的准确率。