基于特征匹配的微生物弱小目标分割识别方法

吕侃徽　陈　珂

1(浙江金融职业学院信息技术系　浙江 杭州 310018)2(广东石油化工学院计算机科学与技术系　广东 茂名 525000)



基于特征匹配的微生物弱小目标分割识别方法

吕侃徽1陈珂2

1(浙江金融职业学院信息技术系浙江 杭州 310018)2(广东石油化工学院计算机科学与技术系广东 茂名 525000)

摘要针对微生物杆菌在复杂背景下弱小目标识别困难，检测实时性不高等难题，提出基于OpenCV下的弱小目标分割算子，并引入特征匹配，设计二者相融合的自动图像识别机制。该方案通过H-S分割与图像融合，再结合形态学滤波与特征匹配，解决了微生物弱小目标难识别的问题，计算量小。并基于经过汇编优化的OpenCV实现，解决了实时性要求高等难题。实验结果表明，相对于传统方法，该方案应用在自动微生物图像识别上可以达到较好的效果，在工程上应用是可行的。

关键词弱小目标分割算子特征匹配H-SOpenCV汇编优化快速识别

0引言

随着图像处理理论与技术的进步，对医疗健康重视程度的提高，图像处理技术应用于显微图像识别已成为研究热点[1,2]。显微图像往往数量大，图像背景复杂，目标弱小，不易识别，这对图像排查工作者在难度和工作量上都是极大的考验[3,4]。因此，对于复杂背景下，通过计算机视觉对弱小目标的检测快速性、精确性提出更高的要求。

目前，对杆菌的检测和监察主要以显微镜检查为主。以暗红色杆菌为例，暗红色杆菌是本文的识别目标。暗红色杆菌,宽：0.2～0.6 um，长：1～10 um，直或弯曲[5-8]。泥氏染色，暗红色为杆菌，以蓝色作为背景。一般情况下，病理涂片的数量较多，需要相关的高精度检测设备来替代医生进行诊断，避免了人工检测带来的误差因素，提高检测精度[9,10]。

根据国外专家学者对杆菌的识别的研究进展，大多都是主要依靠图像分割的方法分割出杆菌而识别出目标，取得一定的研究成果。但存在杆菌染色不均，特征微弱和离焦模糊的问题，使得分割结果中伴有杂质，为识别工作带来较大干扰。为此，须解决两个问题：(1) 杆菌识别的精度问题；(2) 杆菌识别的速度问题。然而大多数的研究停留在理论或实验初步验证(基于Matlab实现)阶段，往往不能满足实际工程中实时性高的要求。基于以上情况，本文提出弱小目标分割算子，并通过引入特征匹配，设计了二者相融合的自动图像识别机制。该方案基于H-S分割与图像融合，通过结合形态学滤波与特征匹配，解决弱小目标难识别的问题。同时整个方案计算量小并基于经过汇编优化的OpenCV实现，解决实时性要求高等难题。

1识别算法与原理

图1为待检测的杆菌,其宽：0.2～0.6 um，长：1～10 um，形状表现为直或者弯曲。通过泥氏染色，杆菌保持红色，背景转变为蓝色。

图1　大肠杆菌(40倍镜)

在图1中，很难分辨出杆菌，这是因为其特征表现微弱，带来识别困难的问题。对此，本文提出一种弱小目标分割方法，特点在于加入了特征耦合。通过建立一个弱目标分割算子结构，基于HSV颜色空间的H通道减S通道，即H-S分割，分割出包含杆菌红色区域，通过2V通道减S和H通道，将高亮区域分割出来。为去除染色不均带来的影响，对高亮区域进行取反并融合包含柑橘的红色区域。然后，利用形态学滤波(开运算)和特征匹配进一步去除杂质，从而得到疑似目标。

1.1弱目标分割算子结构

在弱目标分割算子结构方面，设计主要考虑减小图像全局分割后，含有大量杂质带来识别效果困难的问题。首先，从去除染色不均带来的干扰的角度出发，分割出高亮区域和红色区域，并将它们融合，去除干扰；其次，通过对图像的自适应分割，得到基本的疑似目标(包括一些干扰)；然后，利用数学运算方法即开运算，根据杆菌形状(长条状)分离出单细胞，去除杂质；接着根据杆菌存在面积大小的范围，进一步去除杂志干扰；最后进行基于特征匹配的杆菌识别。弱小目标分割算子结构框架如图2所示。

图2　分割算子结构

1.2特征匹配

在特征匹配过程中，为避免神经网络、遗传算法等目标识别过程中前期建库工作量大而复杂，同时实时性不高的缺点，这里根据长条状杆菌的特点，提取色调距离和色调离散度，结合杆菌的形状度和面积来建立特征数据库。

根据2 000幅含有杆菌的样本图像学习，提炼特征经验值，结合医学数据，得到如表1所示的特征匹配标准。根据特征建立数据库相比传统的识别方法，实时性较强。

表1　特征匹配标准

(1) 目标与背景的色调距离

由于一些原因(曝光、染色)，来自不同视野和批次的图像，存在一定的差异。这里定义目标和背景之间的相对颜色距离为：

(1)

式中，juli_h为目标与背景的H通道颜色距离，Omean为目标强度均值，Bmean为背景强度均值。杂质与杆菌颜色距离不同，相比于杂质的黑或灰色，杆菌多趋近于红色，背景呈现于蓝色。颜色距离愈大，目标为杆菌的可能性愈大。

(2) 目标色调离散度

基于目标杆菌的离散度较大，利用真目标与假目标梯度差之间的规律，与目标为杆菌的可能行为正比。即色调梯度愈大，目标为杆菌的可能性愈大，作为一种特征匹配标准。建立目标色调离散度的表达式如下：

(2)

式中，lisandu_h为色调离散度，表示区域内强度值梯度差，Pvalue为目标区域H通道强度值，Mvalue为目标区域H通道强度均值。

2OpenCV平台下关键技术的实现

对于基于仿真软件Matlab的弱目标识别实验验证过程中，由于没有专门的乘法器，而且在判断语句的代码中运行效率比较低，开发出的识别算法往往在实时性方面不能达到高效的要求。本文实现的复杂背景下弱小目标快速识别机制建立在Visual C++平台和OpenCV开源视觉库基础上实现。 通过C函数直接调用和分配内存，提高执行效率和运行速度，对函数进行汇编和优化，代码效率高。有效调用OpenCV函数，并集成到识别系统中，增强识别机制的实时性，处理速度较Matlab仿真环境得到极大提高，其关键步骤实现如下所示：

(1) 载入图像

调用cvLoadImage函数，实现内存对图像的载入，如IplImage* ipl = cvLoadImage( path, 1 )。path变量类型Cstring字符串，存储图像文件路径。将图像载入内存，并显示，如图3所示。

图3　载入待识别的图像

(2) 分配图像

对图像的数据变量存储，使用cvCreateImage函数分配图像数据。使用像素深度为IPL_DEPTH_32F的图像相比于像素深度为IPL_DEPTH_8U的图像，颜色更丰富、更精准，为后面的识别判断的准确性提供保障。

(3) 图像转换

采用cvConvertScale函数进行图像转换，图像能够采用32位float型表示，丰富显示更多图像的信息，增加图像的显示的数值分布，便于图像后期处理。因此在对图像IPL_DEPTH_32F处理，结果更精确；对IPL_DEPTH_8U的图像处理时间缩短。

(4) 图像颜色空间转换

考虑人眼的视觉习惯，使用cvCvtColor函数进行转换，采用cvSplit函数提取HSV颜色空间中单通道图像，如下所示：

cvCvtColor(hsv, hsv, CV_BGR2HSV);

cvSplit(hsv, h, s, v, NULL);

//提取单通道

自此，图像转换至HSV空间效果。

(5) 图像运算

作为弱小目标分割算子三部分：H-S分割、2V-H-S分割以及图像融合。采用cvSub函数对图像相减，图像相加则采用cvAdd函数，图像取反采用cvNot函数，调用cvThreshold函数进行图像自适应阈值分割。图像运算后的二值图，如图4所示。

图4　图像运算后的图像

(6) 形态学滤波

形态学开运算采用先腐蚀后膨胀，从粘连细胞中分离出单细胞，并去除杂质和干扰，进一步筛查可疑视野。形态学开运算采用cvMorphologyEx函数，得到滤波后的二值图。

(7) 面积滤波

对于分割出二值图的白色区域即疑似目标区域，进行逐个扫描，统计面积。设定面积阈值，将阈值下区域填充。首先对二值图白色区域统计个数；逐一扫描二值图白色区域；通过函数tmparea得当前二值图白色区域面积；函数contour1结束扫描；得到图5所示的面积滤波后的二值图。

图5　面积滤波后的图像

(8) 特征提取

特征提取过程是需对色调距离、颜色调散度的均值和均方差求解。目标区域R通道亮度均值和背景区域R通道亮度均值分别用cvAvg(r)和cvAvg(rb)来表示。色调距离是2种R通道亮度均值的函数表达式。

(9) 图像释放

释放图像资源，每处理一幅图像，释放一次，保证循环处理大批文件时，内存不泄露，通过cvReleaseImage函数运行实现。

3实验结果与分析

选取来自北京协和检验洛奇临床检验所的2000幅结核杆菌图像(非训练图像)中的2幅图像做为实验样本，如图6所示，40倍目镜下采集得到杆菌样本。

图6　待识别图像(含有杆菌)

3.1杆菌识别和杂质的排除

基于本文算法，在计算机(1.99 GHz,内存2 GB)上利用Visual C++和OpenCV编程对以上图像样本进行图像检测。图6的样本表现为杆菌和杂质共存的状态。参考本文检测流程，首先对图像6进行基于弱小目标分割算子的二值化处理，处理结果如图7所示。图7中可以明显看到2个白色区域，即为疑似杆菌区域，由此提取疑似区域的坐标，并对疑似目标提取分析，提取的结果如图8所示。(a)、(b)是提取出的疑似杆菌区域，对其进行特征提取，并匹配。计算得(a)、(b)的特征因子分别为{面积=30，伸长度=0.6，色调距离=46，色调离散度=61}、{面积=45，伸长度=0.6，色调距离=51，色调离散度=73}。参照表1所示，易判断(b)为杆菌，而(a)为杂质，由此可见单纯依靠分割得到包含有杂质的杆菌，不足以剔除杂质的干扰。通过对分割后的目标进一步匹配判断，能够比较容易地排除图7显示的杂质，说明采用本文提出的分割与特征匹配相结合的方法能够排除杂质的干扰，得到比较准确的细小杆菌。

图7　弱小目标分割算子处理后的二值图结果

图8　疑似杆菌区域的提取

3.2检测系统运营的实效性

对本文提出的检测快速识别系统的运营时间进行检测，主要比较本文所用的OpenCV平台与常用的Matlab实验平台的运营检测时间。对图6进行分割识别，得到如图9所示的运行时间结果，比较图9中的2个运营环境下的时间，发现Matlab平台下，使用时间为768.441 ms，而OpenCV平台下使用时间仅为80.4 ms。说明本文算法在OpenCV环境下运行表现出较高的实时性。

图9　在Matlab、OpenCV环境运行结果

为进一步观察和验证本算法在OpenCV平台下运营的实时性和高效性，对2000帧测试图像，用本文的快速识别算法分别基于Matlab和Opencv 2个平台实现，统计运行时间。由表2可知，在Matlab、OpenCV环境运行相同算法，预处理和特征提取判断时间都相差很大，Matlab平均时间使用748 ms，而OpenCV仅使用85 ms，OpenCV明显在速度上优于Matlab。

表2　弱小目标识别算法在Matlab、OpenCV下运行时间对比

3.3弱小目标检测的稳定性和准确性

对本文提出的快速识别方法进行大量的测试验证其稳定性和准确率，对北京协和检验洛奇临床检验所的2000幅结核杆菌图像进行检测，检测结果如表3所示。本文的快速识别算法的漏检率和误检率分别为4.5%和9.6%，明显低于仅弱目标图像分割的方案的漏检率12.5%和误减率34%。可得本文将弱目标图像分割与特征匹配相结合的方案在精度上远优于单纯依靠弱目标图像分割的方案，同时经过2000张图片的处理，表现出较好的检测稳定性。

表3　弱小目标识别算法的漏检率与误检率

4结语

本文针对复杂背景下弱小目标难以识别，实时性要求高的问题，提出了一种基于弱小目标分割耦合特征匹配的自动图像识别方案。该方案基于H-S分割与图像融合，再结合形态学滤波与特征匹配，解决弱小目标难识别的问题。该方案计算量小并基于经过汇编优化的OpenCV实现，解决实时性要求高等难题，相较于Matlab环境，具有更高的速度。该方案将目标分割与特征匹配相结合，相比于单纯依靠图像分割，具有更高的精度。实验结果表明，该方案解决了复杂背景下弱小目标难以识别，实时性要求高的问题，可以应用于复杂背景下弱小目标快速识别的工程领域，提高工作效率。

参考文献

[1] 翟永平.基于颜色及梯度统计特征的结核杆菌目标识别[J].国防科技大学学报,2012,18(4):530-533.

[2] Plissiti M E,Nikou C,Charchanti A.Automated detection of cell nuclei in pap smear images using morphological reconstruction and clustering[J].IEEE Trans Inf Technol Biomed,2011,3(2):213-216.

[3] 孙涵漩.基于BP神经网络的结核杆菌目标识别[J].中国体视学与图像分析,2010,15(1):13-17.

[4] 钟建军.增权结核菌动态显微图像智能识别关键技术研究[D].上海:东华大学,2009.

[5] Xu X Y,Xu S Z,Jin L H,et al.Characteristic Analysis of Otsu Threshold and Its Applications[J].Pattern Recognition Letters,2011,7(32):956-961.

[6] MatIsa N A,Mashor M Y,Othman N H.An automated cervical precancerous diagnostic system[J].Artificial Intelligence in Medicine,2008,42(1):315-319.

[7] 谷成凤.液基细胞学检测和TBS分类在宫颈病变筛查中的应用[J].成都医学院学报,2011,5(4):24-26.

[8] Plissiti M E,Nidou C,Charchanti A.Watershed-based segmentation of cell nuclei boundaries on Pap smear images[C]//2010 10th IEEE International Conference on Information Technology and Applications in Biomedicine(ITAB),2010:1-4.

[9] 张庆红.TCT检测在宫颈癌筛查中的应用价值[J].中国社区医师,2011,21(2):78-79.

[10] Mao S,Chan Y,Chu Y.Edge enhancement nucleus and cytoplast contour detector of cervical smear images[J].IEEE Transactions on Systems Man and Cybernetics,2012,3(2):235-239.

SEGMENTATION AND RECOGNITION METHOD FOR SMALL MICROORGANISM OBJECT BASED ON FEATURE MATCHING

Lü Kanhui1Chen Ke2

1(DepartmentofInformationTechnology,ZhejiangFinancialCollege,Hangzhou310018,Zhejiang,China)2(DepartmentofComputerScienceandTechnology,GuangdongUniversityofPetrochemicalTechnology,Maoming525000,Guangdong,China)

AbstractAiming at the problems of microorganism bacilli that their small objects is hard to be recognised in complex background and that low real-time property in detection, we presented the OpenCV-based small object segmentation operator, introduced feature matching, and designed an automatic image recognition mechanism integrating the above two. The solution, using H-S segmentation and image fusion, and combining morphology filtering and feature matching, solves the problem of difficulty recognition of small microorganism objects. The solution has small computation load and is implemented based on OpenCV with assembly optimisation. Experimental results showed that compared with traditional method, the solution achieved good effect in automatic microorganism image recognition, and was feasible in engineering application.

KeywordsSmall object segmentation operatorFeature matchingH-SOpenCVAssembly optimisationRapid recognition

收稿日期：2014-10-27。吕侃徽，讲师，主研领域：计算机软件技术，嵌入式系统，计算机网络和计算机视觉。陈珂，副教授。

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.05.081