基于线阵CCD的多表面焦点偏移测量

简俊明,文 刚,朱 茜,金 鑫,杨 光,杨西斌,李 辉,武晓东

(1.中国科学技术大学精密机械与精密仪器系,安徽 合肥 230026；2.中国科学院苏州生物医学工程技术研究所,江苏省医用光学重点实验室,江苏 苏州 215163)

1 引 言

显微成像是生物学研究的基本工具。随着人类对分子和细胞生物学研究的深入,对于活细胞的长时间观测越来越重要。在长时间的显微成像过程中,显微镜的焦点会发生偏移[1]。焦点偏移会影响显微成像效果,降低图像清晰度[2]。因此,自动对焦技术在活细胞长时间观测实验中尤为重要,也成为全自动显微镜的必要配置。

自动对焦技术主要分为被动式对焦和主动式对焦两类[3]。典型的被动对焦大多基于图像处理技术,如对焦深度法[4-6]和离焦深度法[7-8]。此类方法具有成本低、功耗小、算法灵活多变的优点,但对焦精度不稳定、对焦速度慢、且对于厚样品失效等缺陷,难以满足全自动显微镜的要求。主动式对焦是通过增加辅助设备实现距离的直接或间接探测来实现对焦[9],能够有效避免对焦速度慢和对焦失效等问题,成为当前显微镜自动对焦技术的主流方向,其核心在于焦点偏移量的测量。传统的主动式对焦是通过向被摄物体发射光波或者声波,并接受反射波来测量目标的距离[3],但因受到显微镜工作距离较小的限制,精度较差。目前典型的主动对焦方法主要有傅科刀口法、临界角法、像散法和偏心光束法,其基本原理是将离焦量转换成光电探测器上信号的变化。张景和[10]等于2001年提出基于临界角法的自动对焦技术,获得位移分辨率为10 nm,调焦行程为±5 μm的自动对焦；汪洁[11]等于2006年提出了基于傅科改进法的自动对焦技术,获得测量范围为500 μm,分辨率为0.01μm的自动聚焦；Wei-Yao Hsu[12]等于2009年提出基于像散法的快速对焦技术,该方法利用四象限探测器对激光光斑的形状信息进行探测,建立起数学模型来描述对焦误差信号(FES),获得了20×物镜下工作范围为±50 μm的自动对焦；CHien-Sheng Liu[13]等于2015年人利用偏心光束法,创新性地使用两个CCD实现了大范围、高精度、快速响应的自动对焦,其对焦行程为±1500 μm,对焦精度为1 μm。上述自动对焦方法在针对多表面的焦点偏移测量中存在较大误差。实验室用的显微成像样品通常包含三个部分,即盖玻片、载玻片以及细胞或组织切片本身。盖玻片通常是具有一定厚度的玻璃,辅助的探测光路中不可避免地会出现多反射表面的问题,即光束在抵达盖玻片上下表面后会分别产生一次反射,又因盖玻片厚度较小,故探测的传感器上会形成两个相距很近的光斑,这种现象在对含水的生物样品进行成像时更为显著,因为玻璃与水的折射率差别较小,反射光的信号大大减弱。若自动对焦系统使用的探测器为四象限探测器等非成像器件[10-12,14],系统无法辨别盖玻片的两个表面,因而无法正常工作；若自动对焦系统使用的探测器为普通CCD等成像器件[13,15],则需要进行二维CCD的图像采集和处理,数据处理方式复杂,速度较慢。

针对现存自动对焦系统在多表面焦点偏移测量中存在的问题,本文提出了一种基于线阵CCD的多表面焦点偏移测量方法,并针对性地设计了一种窗口加权质心法。在本实验装置中,光斑是圆对称且单方向移动的,因此线阵CCD在光斑位置探测方面可取得与面阵CCD等同的效果,又因线阵CCD具有分辨力高,成像速度快,数据处理简单,成本低廉等优势,本方法选用线阵CCD作为图像探测传感器,通过窗口加权质心法来进行盖玻片上表面的标定及焦点偏移的测量,建立起了盖玻片上表面反射光斑中心位置与焦点偏移量的线性关系。

2 基本原理

测量原理如图1所示。粗实线代表样品在焦状态下的反射光线,粗虚线代表样品离焦状态下的反射光线。激光器出射的光束经分光镜反射到物镜,经物镜边缘入射后汇聚到盖玻片,后经盖玻片表面反射和分光镜透射,最后通过成像镜汇聚到图像传感器的感光面上。

在图1中,假定f1为物镜的焦距,f2为聚焦透镜的焦距,δ为激光光束偏离光轴的偏心距,Δh为样品的离焦量,Δx为光斑在图像传感器上移动的距离,由图可推导出如下关系：

样品离焦时的反射光线相对于样品在焦时的反射光线的偏移量为：

(1)

经物镜出射的光线与光轴的夹角β可表示为：

(2)

而光斑中心在图像传感器上移动的距离为：

Δx=f2tanβ

(3)

综合式(1)～(3)可得到光斑在图像传感器上的位移Δx与系统离焦量Δh之间的关系可表述为：

(4)

因此,在系统各参数不变的情况下,只要获取光斑在图像传感器上的位移,就可以求得系统的离焦量。

图1 测量原理图Fig.1 Principle diagramof focus drift measurement

基于线阵CCD的多表面焦点偏移测量装置如图2所示。由激光器发射出的光束经过透镜1和针孔进行空间滤波,再经过透镜2进行准直。为了使物镜聚焦后的光斑尽可能小,准直后的激光通过透镜3和透镜4进行缩束,再经过分束镜1的反射从物镜的边缘进入显微镜镜体。激光经物镜汇聚后经过样品多个表面的反射形成反射光,分别依次经过物镜、分束镜1的透射到达分束镜2,再经过分束镜2和聚焦透镜成像在线阵CCD上,用来进行光斑位置的计算。为了进行验证线阵CCD焦点偏移测量结果的准确性,在线阵CCD对等位置放置一个面阵CCD,用来进行实验对照。实验选用的激光器是波长为647 nm的光泵半导体激光器；面阵CCD分辨率为640×480像素；线阵CCD分辨率为12288×1像素,像元大小为3.5 μm×3.5 μm；整个焦点偏移测量装置作为一个模块直接安装在倒置显微镜上。

图2 焦点偏移测量光路图Fig.2 Optical path diagramof focus drift measurement

3 算法设计

为了求得系统离焦量,需要对获取的光斑进行中心位置计算。典型的光斑中心算法有质心法、高斯拟合法、圆拟合法和霍夫变换法等,考虑到本实验中获取的光斑灰度值较大,而背景灰度值较小,选用质心法最为简单高效。

传统质心法可以看做是以灰度值作为权重的加权算法,由于通常的光斑在中心处的亮度较高,体现在图像上则为灰度值较大,因此光斑中心可以通过式(5)给出：

(5)

其中i=1,2,3,…,m；X为光斑质心的坐标值；xi为第i个像素的位置；f(xi)为第i个像素的灰度值大小。

平方加权质心法是传统的质心法的改进算法。从式(5)可以看出,传统质心法是假定一个像素对光点定位的贡献是与该像素的灰度值大小呈正相关关系的,即灰度值越大的像素点,距离实际光斑质心的位置越近。为了增加这种相关性,平方加权质心法将待处理的灰度值用实际灰度值的平方替代,这种可以充分利用图像中心的高信噪比,使这种方法具有较高的抗干扰性[16]。平方加权质心法的公式如下：

(6)

其中i=1,2,3,…,m；X为光斑质心的坐标值；xi为第i个像素的位置；f(xi)为第i个像素的灰度值大小。

上述两种方法在整幅图像仅有一个光斑的典型图像中能够取得较好的效果,但由于本装置中多反射表面的影响,使得上述两种算法取得的效果不甚理想。图3(a)和图3(b)分别显示的是在单反射表面和多反射表面的作用下,焦点偏移探测装置内部的光路走向。图3(c)和图3(d)分别表示对应的面阵CCD获取到的图像。从图3(c)可知,当反射表面仅有一个时,面阵CCD获取到的图像仅有一个光斑,此时使用常用的光斑中心算法,便可取得较好的离焦量偏移探测效果。当反射表面有多个时,如图3(d)所示,面阵CCD获取到的图像存在两个光斑,此时使用常用的光斑中心算法进行光斑位置计算将会产生较大的误差。

图3 不同数量反射表面时的测量示意图及对应CCD图像Fig.3 The schematic diagram and corresponding CCD image when existing different number of reflection surfaces

针对多个反射表面和样品偏移的特性,本文提出了窗口加权质心法,其处理过程具体如下：

(1)针对在焦图像,获取其盖玻片上表面对应光斑中心的大致位置x0；

(2)计算在±10 μm的焦点偏移过程中,上表面光斑中心的移动量Δx；

(3)考虑到光斑并不是一个像素点,而是具有一定大小的圆形斑点,因此根据实际情况确定一个窗口尺寸系数β；

(5)针对窗口内的光斑,使用平方加权质心法计算光斑中心位置,并将该光斑中心位置作为盖玻片上表面对应的光斑中心的实际位置；

窗口质心法的计算公式如下：

(7)

其中,i=a,a+1,a+2,…，b；X为光斑质心的坐标值；xi为第i个像素的位置；f(xi)为第i个像素的灰度值大小。

4 实验结果

为了验证本文设计的焦点偏移测量装置的效果,对系统进行了实验研究,实验选用的偏心距为1.5 mm；物镜放大倍率为20×,焦距为9 mm；成像透镜焦距为125 mm。伺服电机带动样品沿Z轴从-100 μm到40 μm运动,图4是在面阵CCD记录的典型光斑图像。为了更明显地看出光斑变化情况,对原图进行了对数变换。

图4 样品大幅度上下离焦情况下的典型光斑图Fig.4 Typical laser spot when existing large defocus of sample

可以看出随着样品向上移动光斑整体向左平移。当伺服电机位移为-100 μm时,盖玻片下表面距离焦平面更近,因此下表面的反射光斑强度较大,此时上下表面反射光斑强度比为1∶22.1。当伺服电机运动到-60 μm时,盖玻片上表面反射的光斑增强,下表面反射光斑变弱,此时上下表面反射光斑强度比为1∶6.8。随着伺服电机不断运动,下表面反射的光斑继续减弱,而盖玻片上表面逐渐开始与焦平面重合,反射光斑的强度也不断增加。当伺服电机运动到0 μm时,盖玻片上表面完成对焦,此时上表面反射光斑的强度达到最大,上下表面反射光斑强度比为39.3∶1。当伺服电机运动到40 μm时,此时样品处于离焦状态,两个光斑均开始变大,光斑的强度也逐渐降低。

在进行活细胞观测时,细胞浸润在液体中,上反射表面由玻璃-空气分界面变为玻璃-水分界面,反射比降低,上下表面反射光斑的强度比会进一步降低。为了探究焦点偏移测量装置在不同样品下的表现,本文分别对干燥样品和湿润样品进行实验。

图5(a)和图5(b)分别是在样品干燥和湿润的情况下,使用20×物镜观测到的伺服电机从-10 μm开始移动至10 μm时线阵CCD记录的光斑数据。为了更明显看出光斑的变化趋势,光斑亮度都归一化到0～255。可以看出,光斑的亮度中心会随着光斑的位置以及大小的变化而变化。

图5 不同离焦量下的线阵CCD获取到的激光光斑图Fig.5 Laser spotcaptured by linear CCD when existing different defocus

为了与本文提出的窗口加权质心法进行对比,图6(a)和图6(b)分别是在样品干燥和湿润的情况下,使用传统中的灰度质心法和平方加权质心法处理激光光斑图像得到的光斑中心的坐标值与伺服电机位移的模型图。在样品干燥的情况下,线阵CCD上会出现两个光斑,由于样品离焦量较小,盖玻片上表面位于物镜焦面附近,其反射光斑强度显著高于下表面反射光斑,此时可将上表面反射光斑视作所需信号,而将下表面反射光斑视作噪声,在该种情况下,系统信噪比相对于单反射表面的情况有所降低。从图6(a)中可以看出,使用传统质心法得到的光斑中心位置与伺服电机位移不存在显著的线型关系,而平方加权质心法能够有效改善信噪比,因而得到的光斑中心位置与伺服电机位移的线型关系尚可。在样品湿润的情况下,由于盖玻片上表面反射比降低,有效信号大幅度衰减,传统质心法与平方加权质心法因无法分辨有效信号和噪声而完全失效,从图6(b)中可以看出,在样品湿润的情况下,使用传统质心法与平方加权质心法得到的光斑中心位置存在较大的误差。

图6 实验数据拟合得到的光斑中心与 伺服电机位移间的关系模型Fig.6 The relationship between the center of the laser spot and the displacement of the servo motor obtained by fitting the experimental data

同理,在样品湿润的情况下可得窗口区间为[288,358]。

图7(a)和图7(b)分别是在样品干燥和湿润的情况下,使用窗口加权质心法处理激光光斑图像得到的光斑中心的坐标值与伺服电机位移的模型图。

图7 实验数据拟合得到的光斑中心与伺服电机位移间的关系模型Fig.7 The relationship between the center of the laser spot and the displacement of the servo motor obtained by fitting the experimental data

拟合后的光斑中心位置与离焦量的关系模型可用下式描述：

y= -1.4x+ 330.4,-10 μm≤x≤10 μm(样品干燥)

或

y= -1.4x+ 324.2,-10 μm≤x≤10 μm(样品湿润)

其中,y为窗口加权质心法处理得到的激光光斑中心的坐标值,单位为像素；x为伺服电机的位移,单位为微米。

两种情况下得到的最大拟合残差分别为0.149(像素)和0.155(像素),对应的测量精度为106 nm和111 nm。

图8(a)和图8(b)分别是在样品干燥和湿润的情况下,使用三种不同的光斑处理方法的到的数据拟合效果的对比。在样品干燥时,窗口加权质心法能够在平方加权质心法的基础上进一步提高系统的信噪比,提高光斑的定位精度,从图8(a)中可以看出,窗口加权质心法能够使系统在测量精度方面相对于传统的质心法有显著的提升,相对于平方加权质心法也有小幅度的提升；在样品湿润时,本文提出的改进算法能够精确获取所需信号,有效排除噪声干扰,彻底避免了传统质心法和平方加权质心法在此类图像上失效的问题,从图8(b)中可以看出,窗口加权质心法在系统测量精度方面相对于传统质心法和平方加权质心法均有大幅的提升。

图8 对实验数据拟合得到的均方根误差RMSEFig.8 Root mean square error(RMSE) obtained by fitting the experimental data

5 结 论

针对现存的自动对焦技术在对典型的实验室用的显微成像样品进行自动对焦存在较大误差的现象,本文提出一种基于线阵CCD的多表面焦点偏移测量方案,并在此基础上设计了窗口加权质心法。相较于面阵CCD,线阵CCD具有成像速度快、数据处理简单、成本低廉等优势。窗口加权质心法能够有效地捕捉到盖玻片的上表面反射光斑,排除下表面反射光斑的干扰,在光斑定位精度上有极大的提高。实验结果表明,在样品干燥的情况下,该系统使用的改进算法得到的均方根误差(RMSE)为0.09(像素),相比于传统质心法和平方加权质心法分别降低了92.9%和49.2%,对应的测量精度为106nm；在样品湿润的情况下,该系统使用的改进算法得到的均方根误差(RMSE)为0.12(像素),相比于传统的质心法和平方加权质心法分别降低了94.4%和93.7%,对应的测量精度为111 nm。

参考文献：

[1] Kreft M,Stenovec M,Zorec R.Focus-drift correction in time-lapse confocal imaging[J].ANN N Y ACAD SCI,2005,1048(1):321-330.

[2] Silvestri L,Müllenbroich M C,Costantini I,et al.Fast,image-based autofocus system for high-resolution optical microscopy of whole mouse brains[C]//Novel Techniques in Microscopy:Optical Society of America,2017:JTu4A.8.

[3] YOU Yuhu,LIU Tong,LIU Jiawen.Survey of the auto- focus methods based on image processing[J].Laser & Infrared,2013，43(2):132-136.(in Chinese)

尤玉虎,刘通,刘佳文.基于图像处理的自动对焦技术综述[J].激光与红外,2013，43(2)：132-136.

[4] Ehang T,Othman M A,Mahmood N H,et al.Autofocus microscope system using contrast measurement approach[J].JurnalTeknologi,2015,74(6):35-39.

[5] Nishi R,Moriyama Y,Yoshida K,et al.An autofocus method using quasi-Gaussian fitting of image sharpness in ultra-high-voltage electron microscopy[J].Microscopy,2013,62(5):515-519.

[6] Podlech S.Autofocus by bayes spectral entropy applied to optical microscopy[J].Microscopy and Microanalysis,2016,22(1):199-207.

[7] Oku H,Makise S,Ishikawa M.High-Speed autofocusing of cells using radial intensity profiles based on depth from diffraction(dfdi) method[J].Journal of AERO AQUA Bio-mechanisms,2013,3(1):13-21.

[8] HUANG Detian,WU Zhiyong,LIU Xuechao,et al.A depth from defocus fast auto-focusing technology for any target[J].Journal of Optoelectronics·Laser,2013,24(04):799-804.(in Chinese)

黄德天,吴志勇,刘雪超,等.一种适用于任意目标的离焦深度快速自动聚焦技术[J].光电子·激光,2013,24(04)：799-804.

[9] ZHANG Xiaobo,FAN Fuming,CHENG Lianglun.Improvement for fast auto-focus system using laser triangulation[J].Infrared and Laser Engineering,2012,41(7):1784-1791.(in Chinese)

张小波,范富明,程良伦.激光三角法改进的显微镜快速自动对焦方法[J].红外与激光工程,2012,41(7)：1784-1791.

[10] ZHANG Jinghe,LIAO Jianghong,LIU Wei,et al.Manufacture of laser direct lithography equipment of binary optics elements[J].Chinese Journal of Scientific Instrument,2001,22(2):154-157.(in Chinese)

张景和,廖江红,刘伟,等.二元光学元件激光直接写入设备的研制[J].仪器仪表学报,2001,22(2)：154-157.

[11] WANG Jie,XIE Tiebang.Development of optical stylus 3D surface profilometer[J].Tool Engineering,2006,40(11):58-60.(in Chinese)

汪洁,谢铁邦.光针式三维表面形貌测量仪的研制[J].工具技术,2006,40(11)：58-60.

[12] Hsu W Y,Lee C S,Chen P J,et al.Development of the fast astigmatic auto-focus microscope system[J].Measurement Science & Technology,2009,20(4):91-91.

[13] Liu C S,Wang Z Y,Chang Y C.Design and characterization of high-performance autofocusing microscope with zoom in/out functions[J].Applied Physics B,2015,121(1):69-80.

[14] Li Q,Bai L,Xue S,et al.Autofocus system for microscope[J].Optical Engineering,2002,41(6):1289-1294.

[15] Chien-sheng L,Jiang Shenghong.Precise autofocusing microscope with rapid response[J].Optics and Lasers in Engineering,2015，(66):294-300.

[16] WEN Luhong,TONG Weiqi,CHEN Guilin.Way to locate image point on CCD with centroid algorithm[J].Instrument Technique and Sensor,2004，(5):42-43.(in Chinese)

闻路红,童卫旗,陈桂林.重心算法确定CCD像点位置的硬件实现[J].仪表技术与传感器,2004，(5)：42-43.