基于荧光显微镜的显微视觉图像增强处理

常 敏，刘天成

(上海理工大学 光电信息与计算机工程学院，上海 200093)

基于荧光显微镜的显微视觉图像增强处理

常 敏，刘天成

(上海理工大学 光电信息与计算机工程学院，上海 200093)

针对显微视觉景深较小，经常出现图像模糊、不清晰等问题，文中提出采取一种图像增强的处理方法。通过对显微采集原始图像进行灰度变换、直方图均衡化等处理方法从而快速准确地获得目标的图像特征。基于图像增强、目标细胞定位处理对荧光图像中信息进行分析，找寻目标位置，提高细胞定位精确度。根据图像清晰度评价函数显示，经由处理后的图像边界和细节部分清晰，有助于医学应用。

显微视觉；图像增强；细胞定位；图像清晰度评价函数

生物医学显微图像，具有数据量大、目标复杂、干扰多等问题，相应的特征提取[1-5]和目标分割[6-10]较为困难。因此，将宏观领域中图像处理的成果[11-16]引入微观领域的显微视觉图像处理中，提高图像处理与目标识别的实时性和鲁棒性，是未来显微视觉图像处理的重要发展之一。

本文考虑到显微图像的特点，在借鉴宏观图像处理方法的基础上，综合考虑显微视觉环境的不同，提出了一种基于荧光显微镜的图像增强处理方法。

1 显微图像预处理

由于显微视觉采集系统景深很小，造成的图像模糊、图像不清晰现象，就需要相应的灰度变换算法来对采集图像进行图像增强。灰度变换[7]是针对图像的灰度值进行的一类变换，可对图像中的信息进行有选择的加强或抑制，从而突出所需要的图像细节或特征。

直方图均衡化[5,10,14]是一种常用的灰度变换方法，是将每个灰度区域都具有相近的像素点数。该算法共包括两个步骤，分别为归一化均衡和范围变换。直方图均衡化的归一化均衡变换函数fH应满足条件：(1)fH为单调函数；(2)fH≤1。

对于输入显微图像的像素点(x,y)，其灰度值I1(x,y)经过直方图均衡化变换后形成的图像灰度值为I2(x,y)，则I2(x,y)与I1(x,y)两者之间关系可以表示为

I2(x,y)=fH(I1(x,y))(I2max-I2min)+I2min

(1)

式中，fH为归一化均衡变换函数；I2min和I2max分别为变换后期望的最小和最大灰度值。假设输入显微图像的像素点灰度值G∈{0,1,2,…,L-1}，以r表示图像的像素点总数；以nG表示灰度值为G的像素数。于是，归一化均衡变换函数fH可以表示为

(2)

经过仿真可以发现，原始图像的灰度值经过直方图均衡化后，图像的细胞被明显增强，使得在背景中更为突出。

2 图像清晰度评价函数

在显微操作系统中，自动对焦[2,14-15]对于后期的细胞识别以及操作精度，起着重要的作用，而如何选取准确性较好的图像清晰度评价函数是显微视觉图像处理的关键。

目前有一种在图像获取设备中基于数字图像处理技术的自动对焦方法是通过计算机或微型处理器对图像进行分析运算，进而完成对焦过程，这种方法更加智能，被广泛应用于各类视觉系统中。在这些数字图像处理的方法中，主要方法有对焦深度法以及离焦深度法两类。

图1 自动对焦流程图

要完成快速准确的自动对焦，如流程图所示就必须要有清晰度评价函数，对该函数的要求是：(1)评价函数评价特征明显，可以迅速完成对焦，比手工花费时间更少；(2)评价函数应具有性质：在某一点上具有峰值且对应于最佳对焦参数，并当物体离开最佳点时单调递减。(3)当存在噪声的时候，评价函数的适应性要好。图像清晰度是表征图像锐化程度的参量。在空域上，图像清晰度表现为图像的边界和细节部分是否清晰；在频域上，则表现为图像的高频分量是否丰富；在统机特性上，表现为灰度分布是否均匀。因此，判别图像清晰度的评价函数可分为空域方法、频域方法和统计方法。

2.1 空域Brenner函数

Brenner[4]清晰度评价函数对于图像的清晰度具有分辨能力，能够判定是清晰图像还是模糊图像。其具有全局性好、运行效率高等特点，能够对想通内容的图像区分清晰度。但对光照引起的灰度变化较为敏感，容易受到光照影响。评价函数为Jg3,有

(3)

2.2 清晰度评价函数

基于傅里叶变换的清晰度评价函数，根据图像傅里叶变换后高频分量含量的多少作为评价准则[4]。图像越清晰，高频带的能量越大；图像越模糊，高频带的能量幅度越小，衰减越快。常用的频谱分析方法有离散傅里叶变换(DFT)、快速傅里叶变换(FFT)、离散余弦变换(DCT)等。评价函数为Jf1，有

(4)

2.3 基于图像信息熵的清晰度评价函数

图像熵函数反映的是图像的灰度分布离散程度大小[4]。图像越模糊，熵函数越大，图像越清晰，熵函数越小。因此，可以将图像熵函数定义为

(5)

3 荧光图像处理

在完整的荧光生物样品成像过程中，重建出真实荧光图像只是一个步骤，要得到最终荧光图像还要通过必要的图像处理。生物细胞的点样有许多荧光目标点，会与荧光标记的测试样品溶液发生反应，反应结果即为荧光图像中对应位置处的像素灰度值。

系统中荧光图像处理主要分两步骤：(1)图像增强[15]，目的即滤除荧光图像中的环境噪声，消除脉冲噪声以及椒盐噪声；(2)目标细胞定位[9,13]，能够识别定位到要捕获的细胞位置，并将坐标提供到机械执行机构。

3.1 噪声的滤除

由于样品培养皿或载玻片上自带荧光以及载玻片或培养皿正面难免附着未与细胞样品结合的荧光染料，反面有时会附有染料颗粒，不仅如此，培养皿或玻片表面的灰尘粒子、试液烘干时的颗粒状残留物等都会造成荧光图像中的脉冲噪声或其他噪声。因此，得到的荧光图像中包含有一定背景噪声，必须通过图像增强处理滤除所有这些噪声，否则会影响后续的识别准确性。

除了环境噪声外，探测器的荧光成像中，入射到探测器的荧光光子数在统计上为泊松分布，因此散粒噪声是不可避免的。另外灰尘、颗粒残留物引起的脉冲噪声可看作信号无关噪声。综合考虑这些噪声，一个荧光目标点的荧光亮度可以用如下正态分布表示

y～n(μ,σ2+μ2f2)

(6)

式中，y为荧光目标点的像素值；μ为期望值；σ为信号无关噪声引起的测量误差；f为信号相关噪声系数。

如果进行简单的中值滤波，会对一些正确的信号产生误滤除。为减少滤波算法对正确荧光信号的影响，反馈系统选用开关中值滤波算法来滤除图像中存在的椒盐噪声、脉冲噪声等背景噪声，其在传统的中值滤波基础上增加了噪声判断功能，可以在滤除噪声的同时很好地保护荧光目标点边缘的有效信息。

图2 开关中值滤波

如图2所示，开关中值滤波算法中有一个算法叫脉冲噪声监测算法，首先判断一个像素是否为脉冲噪声，若判断结果为真，对该像素采用中值滤波算法再输出；若结果不为真，则直接输出。

在培养皿样品中的荧光图像中，荧光结合点以及背景的亮度分布都可以近似为高斯分布，因此可以根据滤波窗口内像素的灰度统计特征来判断当前所判断的像素是否为脉冲噪声。若滤波窗口为W，它在图像坐标中可以描述为

W={(s,t)|-h≤s≤h,-h≤t≤h}

(7)

式中，h为窗口大小，当前像素Xij通过滤波窗口为W的中值滤波后，输出的信号为

Yij=median({Xi-s,j-t|(s,t)∈W})

(8)

输出和输入的差值为

dij=|Yij-Xij|

(9)

当前像素Xij是否为脉冲噪声是由脉冲监测器来判断，它由一个脉冲阈值Tij，在这个算法中，Tij可以表示为

(10)

对于当前像素Xij，若dij≥Tij，则脉冲监测器即认定其为噪声，要经过中值滤波器进行滤波出来；否则，脉冲检测器则认为其是信号，不经过中值滤波器处理。开关中值滤波的输出如下

(11)

可以看出，滤波窗口的大小 和阈值调节参数 都会影响开关中值滤波器的性能。在本次实验中，分别选取h=1,2,3,对应的滤波窗口大小为3×3，5×5，7×7，并选取k=0.5,1,1.5,2，对比实验结果，发现当h=2，k=1时，噪声的滤除效果最佳，下图是滤波前后对比图。

图3 滤波前荧光图像

图4 开关中值滤波后图像

3.2 荧光目标点定位

目标点寻找即寻找细胞荧光结合点在荧光图像中的位置。可以采用手动或自动的方法，当目标点排列不规则的图像中一般采用手动定位，从而提高可靠性，且方法简单易行。但当荧光图像中荧光目标点数目众多时，此方法就变得速度很慢，大幅增加了处理时间，降低效率。因此自动定位的方法旨在提高效率及精准度，即需要设计一个准确性高、可靠、抗干扰能力强的自动定位算法，这是荧光图像识别中的一个关键问题。

本系统采用基于投影的荧光目标定位算法，由于荧光目标点的大小和位置在观察区域内是随机变化的，所以基于投影的荧光目标点定位算法是比较常用的算法。该算法主要将图像进行投影计算，将计算所得的荧光图像灰度值进行横向和纵向的投影，每个方向都可以得到一维恢复分布函数，函数中的各个极值就对应了荧光目标点沿着该方向的位置坐标。若设荧光图像的行数为M，列数为N，沿着列方向的纵向投影一维灰度分布函数可以表示为

(12)

同理可将荧光图像进行横向投影，可以获得荧光目标点沿横向方向的位置坐标，横向投影的一维灰度分布函数可以表示为

(13)

横向和纵向的投影函数的交叉目标就是探测到的荧光目标点位置坐标，为了提高投影算法的计算速度，同时减少数据量，将16位灰度值转换为8位灰度值，以提高灰度值的权重避免未滤除的灰尘等噪点的影响。基于投影的荧光目标定位算法虽然可以提高准确性，但是缺点在于只能处理背景没有颗粒噪声干扰的荧光图像，无法避免未滤除的灰尘等噪点影响。

4 实验结果与分析

灰度变换能够对图像中的信息进行有选择的加强或抑制，以便突出所需要的图像细节或特征。灰度图像经过二值化处理后就可以只针对取值为1的区域进行处理。

图5 灰度化后图像

图6 二值化后图像

图7 垂直投影直方图

图8 水平投影直方图

由图5可见，灰度化后的图像可以反应出细胞的细节信息。而图6中的二值化图像可只针对高亮细胞区域进行选取及定位，提高后续处理效率。图7及图8的投影直方图可看出曲线波谷波峰变换，此曲线结合行投影和列投影相关经验知识，能够确定目标荧光细胞大致图像区域，可以用于对目标在图像中的定位或者分割。

5 结束语

本文介绍了一种基于荧光显微镜的显微视觉图像处理方法。通过对显微采集系统采集的原始图像进行预处理及清晰度评价函数判定、噪声滤除及荧光细胞定位处理，较好的解决了因荧光显微镜景深小引起的图像清晰度差、干扰多、图像背景复杂等问题。通过实验验证表明，该方法运行效果良好，能很大程度的滤除掉图像噪声、定位出医学需要细胞。在显微医学操作中值得深入研究和普及推广。后续可继续研究分析自动化细胞识别捕获等原理，引出自动化显微操作视觉系统在医学工程中的多种应用。

[1] Firestone L,Cook K,Culp K,et al.Comparison of autofocus methods for automated microscopy[J].Cytometry,1991(12):195-206.

[2] 王义文,刘献礼,谢晖.基于小波变换的显微图像清晰度评价函数及3-D自动对焦技术[J].光学精密工程,2006,14(6):1063-1069.

[3] 王鸿南,钟文,汪静.图像清晰度评价方法研究[J].中国图像图形学报,2004,9(7):828-831.

[4] 张起贵,张雪梅.基于小波提升的自动对焦评价函数[J].太原理工大学学报,2007,27(1):35-39.

[5] Subbarao M,Tyan J K.Selecting the optimal focus measure for autofocusing and depth-from-focus[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(8):864-870.

[6] 崔作龙,徐长松.图像清晰度的量化测量探究[J].实验技术与管理,2012,29(5):49-51.

[7] Chernow N,Lesort C.Least squares fitting of circles[J].Journal of Mathematical Imaging and Vision,2005,2(3):239-252.

[8] 张娟,徐德,张正涛,等.基于多路显微视觉的微零件自动对准策略[J].机器人,2014,36(1):69-75.

[9] 陈国栋,徐德,任艳青,等.基于亚像素的乒乓球机器人本体位姿视觉测量[J].控制与决策,2012,27(10):1571-1574.

[10] 陈建军,于军,廖红华.细胞显微图像处理研究[J].农机化研究,2011(2):170-172,196.

[11] 赵新,孙明竹,卢桂章,等.基于显微图像处理的微操作工具深度信息提取方法[J].自动化学报,2007,33(9):917-923.

[12] Greminger M A,Nelson B J.Vision-based force measurement[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(3):290-298.

[13] 朱猛,汝长海,钱驰.显微注射中细胞自动搜索与定位方法研究[J].苏州大学学报:工科版,2012,32(5):1-6.

[14] Liu S,Xu D,Zhang D,et al.High precision automatic assembly based on microscopic vision and force information[J].IEEE Transactions on Automation Science and Engineering,2016(7):1125-1136.

[15] 孙杰,袁跃辉,王传永.数字图像处理自动聚焦算法的分析和比较[J].光学学报,2007,27(1):35-39.

[16] 郁浩,张荣福,程金光,等.基于图像处理的钢包标牌识别方法[J].电子科技,2016,29(1):94-101.

Microscopic Visual Image Enhancement Processing based on Fluorescence Microscope

CHANG Min，LIU Tiancheng

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology, Shanghai 200093,China)

With a small microscopic visual depth of field, often appear problem such as image fuzzy, not clear, to take a method of image enhancement processing.Through microscopic to original image gray-scale transformation, histogram equalization processing methods so as to rapidly and accurately so as to obtain the image characteristics of the target.By image enhancement, target cells and localization of fluorescence image analysis in the information, to find the target location, improve cell positioning accuracy.According to image clarity evaluation function, the processed image is through the clear boundary and the details and help to medical applications.

micro-vision;image enhancement;cellular localization;evaluation function for image definition

2016- 12- 14

常敏(1978-)，女，博士，副教授。研究方向：精密仪器。刘天成(1991-)，男，硕士研究生。研究方向：精密仪器。

10.16180/j.cnki.issn1007-7820.2017.09.030

TP391.41

A

1007-7820(2017)09-108-05