基于Unet++分割模型的全自动高通量菌落计数仪

申 鹰 谢 锋 王玉琳 谭 波 范金旭

(1. 贵州省分析测试研究院, 贵州 贵阳 550014; 2. 贵州省检测技术研究应用中心, 贵州 贵阳 550014)

在食品、化妆品、环境监测、医疗卫生检验等行业的质量检测过程中,菌落计数是一项基础又重要的日常工作,是判断被检产品卫生质量的依据,但菌落计数的平板数量往往较多,计数工作较繁重[1]。随着计算机与图像分析技术的发展,借助人工智能及图像处理工具等降低工作强度,提高工作效率[2],实现自动计数已成为一种趋势,菌落计数工作也不再是单纯依靠人眼识别和计数[3-4],而是利用基于图像识别和处理的自动菌落计数方法[5-6],不仅大大提高了菌落计数的准确度和工作效率,同时也相对减轻了检测人员的工作量[7]。

目前,用于菌落计数的仪器在计数软件方面大多采用传统的语义分割模型,通常采用浅层次的特征图进行分割,分割精度不佳、分割结果的边界不够清晰、难以处理遮挡问题、分割结果出现错误,且只能用于特定领域的数据集,具有较大的参数量,需要耗费大量的计算资源[8-9];在硬件方面存在所采集图像易受平板背景阴影干扰、需要检测人员将待测平板样本逐一放到全自动菌落计数器内进行拍摄和计数,从某种程度上说,检测人员需要做的重复性工作较多,因此常见的菌落计数仪在基层检验实验室中至今未得到很好的应用。另外,目前计数系统大多数局限于菌落的计数结果,无法实现检测过程和信息可追溯。因此在检测工作数量大和效率高的双重要求下,研究拟针对现存问题研发一种基于流水线操作的全自动高通量菌落计数仪,在硬件设计方面,以实现批量连续自动采集平板菌落图像方式,试验人员只需要进行平板装载,系统会将平板自动输送至指定拍照位置,自动对焦后进行拍摄,拍照完成后系统自动进行下一个平板的运送和拍摄[10];在计数软件方面,采用一种深度学习的语义分割模型Unet++模型进行计数软件开发[11-12],使其能够更好地提取特征信息,分割边界方面表现更好,在较短时间内完成训练和推理,更好地解决遮挡问题;同时将该设备与实验室LIMS系统进行连接以实现一键生成原始记录[13],旨在为菌落计数的自动化和高通量技术提供依据。

1 菌落计数仪机械结构设计

1.1 菌落计数仪机械结构组成

菌落计数仪主要由箱体、上料框、平板输送系统、拍照系统、物料回收系统组成,其中拍照系统由GigE工业相机、可变镜头和照明系统组成。

1.2 平板输送系统设计

平板输送系统主要由箱体、平板装载载具、平板输送模块、平板回收载具、机械夹具等组成,平板输送模块通过气缸和机械抓手将平板输送至不同阶段需要到达的预定位置。

试验人员将通过菌落总数检测试验所形成的菌落平板装载于平板装载载具中,由顶升装置将平板装载载具移动至指定位置;机械夹具将平板自动输送并投放至指定拍摄点,仪器自动进行载具挡停定位;待拍照完成,平板输送模块将平板输送至回收工位及平板回收载具中。平板输送系统工作流程如图1所示。

图1 平板输送系统工作流程图

1.3 图像采集系统设计

图像采集系统由视觉工控机(XEP-2100)、GigE工业相机和镜头(彩色10.7MP像素相机,10MP像素8MM CCD)、定制光源组(KM-R1D 110V-W,多光源组合定制)组成,采用多光源组合配合背光照明,通过调节环境亮度、色温、减少反光等方式改善拍照环境,选用1 600万像素GigE工业相机、可变镜头和照明系统组合进行拍摄,以保证照片的清晰度[14]。

当平板输送系统将平板输送至指定拍照位置后,图像采集器系统会自动运行,光源和摄像头自动下移至预设高度,自动对焦后进行拍照,拍照完成后,光源和摄像头自动归位。当第一个平板拍照工序全部完成后,机械夹具、光源和摄像头自动归位并进入下一个平板的拍照工序,如此循环完成该批次所有平板的拍照。

2 菌落计数软件设计

菌落计数包括图像预处理、语义分割、菌落计数(包括结果输出及人工校正)三部分。

2.1 图像预处理

2.1.1 改变图片像素 图像采集器使用高清摄像头,所采集到的图片分辨率大小为4 068×3 456,将该尺寸的图片直接输入模型进行识别将会极大地增加运算的复杂程度,且分辨率过高的数据并不会明显提高识别的准确程度。因此,将图片大小变换到912×688,才能在保证较高准确度的同时最大限度地减少运算复杂度,提升软件的运行效率[15]。

2.1.2 去除边界 针对菌落图片较为规则的特点,选择dcircle的方法,首先对菌落图片中平板的圆形边界进行学习,避免去除边界时造成菌落未被计数而形成计数误差,然后在进行菌落识别前先将图片的平板边界去除,以减少边界对最终识别结果的影响[16]。

2.1.3 顶帽变换 为了增加输入图像的对比度,提升分割效果,需要在识别之前对图像进行增强处理,主要目的是根据实际需要有选择地突出图像的重要信息的过程。图像增强处理是图像分割之前的重要部分,对于提高图片质量,进而提高分割精度有着非常重要的作用。针对图片采集过程中存在的平板照片亮度不均匀的问题,同时菌落相对于背景而言是在暗背景上亮物体,系统设计中选择通过形态学顶帽变换的方法增强图片对比度,提升计数精度[17-18]。

2.2 语义分割

选择Unet、Unet++、Resnet50、Resnet101等8类软件识别模型[19-20],在相同的数据集上进行对比,训练集为有标注的224张平板菌落照片,使用mini batch的方法训练20个epoch,在20张图片构成的验证集上进行验证得到各项指标见表1,通过对各项指标进行对比分析,选择最好的识别模型作为图像识别系统的语义分割模型。

表1 8类模型性能验证结果

由表1可知,Unet++模型在进行菌落分割自动计数时具有明显的优越性,Unet++模型在训练集与验证集上的F1得分、平均交并比以及误差率均优于其他语义分割模型。因此,在进行平板菌落自动计数软件开发过程中,选择使用Unet++模型作为语义分割的主要模型。

2.3 菌落计数

2.3.1 菌落识别系统运行流程 基于python语言进行图像识别系统开发,首先在拥有4块3080Ti的服务器上进行语义分割模型训练,保存训练完成的模型参数,利用该模型参数进行菌落识别系统开发。菌落识别系统的运行主要包括平板图像的采集、数据的预处理以及菌落计数3个部分,整个运行流程如图2所示。

图2 软件运行流程图

2.3.2 菌落识别系统界面及使用 菌落识别系统界面主要包括对图片的旋转、平板边缘的去除、在形态学上对图片进行增强、对菌落的分割、人工校正功能以及最终计数的结果等。

如图3所示,首先选择需要计数的菌落图片进行上传,上传完成后即可在软件界面左侧显示所选菌落图片及该菌落图片的基本信息,例如采样时间、样品编号、样品检测时间等;然后点击菌落识别按钮,菌落识别系统自动进行菌落识别和计数,系统识别到的菌落会在菌落图片上进行颜色标注,并将菌落数量显示在软件界面右侧的计数结果栏内;若检测人员发现在菌落识别过程中产生了结果偏差,可以直接在显示标记状态处增加或者减少标注,计数结果将根据菌落识别的标注变化情况而自动进行计数结果的修改;最后点击确认即可通过统一格式的命名方式将图片以及自动计数的结果进行保存;同时,实验室 LIMS系统预先绑定有包含计算公式的菌落总数项目原始记录模板,LIMS系统通过样品编号信息及数据接口将计数结果输入原始记录模板中对应空格处,完成原始记录表格的填写。

图3 软件功能界面显示

3 试验验证

3.1 菌落图像采集效果验证

由图4可知,其他图像采集器拍摄的图片存在不同程度的反光点、背景干扰或者边缘效应等情况,而采用试验所述的菌落计数仪图像采集系统采集的菌落图片不存在这些问题,边缘和各种形态的菌落均能被清晰地呈现出来,且不受培养基颜色和菌落形态的影响,采集一个平板图像需要的时间仅为38 s,能很好地克服其他采集方式的缺点,为菌落的准确识别和计数提供保障。

a～c为通过试验所述的菌落计数仪图像采集系统采集的菌落图片;d～f为其他图像采集器拍摄的图片

3.2 菌落图片预处理效果验证

通过像素变换、边缘检测、顶帽变换等预处理[21],得到的菌落图片预处理前后的对比图。

由图5可知,通过形态学顶帽变换的方法增强图片的对比度,可提升计数精度,图像经像素变换、边缘检测、顶帽变换等图像预处理后,将边缘淡化、菌落突出显示。经图像预处理后的菌落相对于背景而言是在暗背景上的亮物体,能很明显地显示出系统对菌落的识别。

图5 菌落图片预处理前后对比

3.3 菌落分割计数及校正

通过Unet++模型对平板图片进行分割,然后计算分割之后的图片的连通域个数,最终实现菌落图片的自动计数[22]。模型分割的结果将在原图中以深色标注出来,即深色覆盖的部分为模型自动识别到的菌落,而未覆盖的部分或者错误覆盖的部分即为识别错误,语义分割模型进行处理后可以将不同的菌落进行分割,无论是较为规则的偏向圆形的菌落还是不规则形状菌落都可以实现识别,且图像传输和菌落识别计数整个过程所需时间仅为3～5 s。为了使菌落计数结果更加准确,在菌落计数识别软件中增加人工校正功能,研究人员可以通过对识别结果的观察,并与原图和实物进行对比后根据需要进行人工校正,在模型辅助的情况下通过对识别后的图像进行连通域计算,系统自动计算出平板的菌落个数并显示在软件界面中对应的位置。

3.4 菌落图片采集效率、传输速度、计数结果准确性和重复性

利用试验设备对包含不同形态菌落的500张菌落图像进行菌落总数识别,并将识别结果与现行菌落总数计数标准计数所得结果进行比较和误差分析,结果见表2。

表2 菌落总数自动计数结果及误差分析†

由表2可知,试验设备对包含不同形态菌落的500张菌落图像进行菌落总数的识别平均误差<8%,且计数的重复性非常好,大部分计数结果无差别,仅个别菌落计数时两次结果出现微小差别。这可能是因为菌落之间粘连成片或者成串比较严重的平板,人眼识别时也无法准确进行分割,因此降低了识别的准确率。

4 结论

研究了菌落图像算法、菌落计数系统与LIMS系统的融合,通过采用GigE工业相机、可变镜头和多光源组合照明系统进行菌落图像的连续采集,并采用Unet++分割模型开发了一种全自动高通量菌落计数仪。结果表明,该设备与LIMS系统进行无缝链接,实现了菌落图像的批处理采集和菌落自动计数,且菌落计数结果可以一键上传至LIMS系统并生成原始记录,实现了实验室设备的自动化、智能化,克服了以往很多菌落计数软件中的模型部署效率低和特征融合匹配度低的缺点,且该仪器的菌落识别软件设计了学习功能,软件会对检验检测人员在校正过程中进行的菌落形态等形成记忆,并应用于后续的菌落识别中,使菌落计数准确率不断提高,在提高菌落计数工作效率和结果准确性的同时,实现了检验检测过程的可追溯。采用Unet++分割模型的全自动高通量菌落计数仪对蔓延菌落、粘连成片或者成串比较严重的菌落计数还存在误差,后期可利用软件学习功能加大模型训练,逐渐提升这类菌落计数准确率。