密集场景下的离心管定位倾斜校正方法研究

黄文轩， 罗 恒， 倪启东

（苏州科技大学电子与信息工程学院，江苏 苏州 215009）

随着社会的发展和科技的进步，推动战略前沿领域创新、鼓励跨领域跨行业的协同创新是自“十三五”规划以来我国经济发展的持久动力。 加强前沿技术多路径的探索，不同领域之间的交叉融合更是国家未来产业的发展趋势。 “十四五”规划中将务实推进疫情防控和公共卫生等领域的科技合作，推动生物技术和信息技术融合创新作为构筑产业体系的新支柱。 人工智能作为信息科学的分支，在近几年获得了长足的发展，其应用场景也覆盖智能交通、智慧物流、智慧医疗等领域，加快了数字产业化，促进了共享经济、平台经济健康发展。 由于受到疫情冲击，世界经济陷入低迷期，我国投入大量人力物力进行防控取得了重大战略成果，在这个特殊的时期也体现出了社会基础设施的重要性。 医疗器械设备作为卫生领域服务型基础设施，应向高端化智能化方向优化，目前我国医疗器械设备更新换代比较慢且智能化水平不高，将人工智能与医疗行业融合对提升医疗服务水平有着重大作用。

EP 管作为生化实验室的必需品，广泛应用于实验室的离心、聚合酶链式反应（Polymerase Chain Reaction，PCR）实验以及样本存储和样本回收操作。 由于每个试管中存放的液体不同，需要使用标签对每个试管进行区分。 在进行标签信息收集时，需要人工干预保证信息输入的准确性，实验人员作为信息输入端没有得到输入的反馈，很有可能会造成交叉感染等重大医疗事故。 当前对于试管标签信息的读入方法有射频识别（Radio Frequency Identification，RFID[1]）以及利用不同颜色反射可见光波长不同的条形码识别技术。 其中RFID 射频技术由天线发出特定射频信号获得电子标签的编码信息， 该方法可对标签任意角度进行读取，读取精确度高，但成本非常高昂。 条形码识别技术应用范围十分广泛，检测时多采用手持式读码器，可对条码角度进行人工调整，虽然识别精确率高但不适用于多个目标的密集放置情况。 在疫情防控当前，现有的医护人员更是无法满足大量的检测需求，迫切需要高效、低成本可靠的智能化医疗设施。 将计算机视觉技术应用于该领域成本较低并且可以保证较高的正确率。 使用计算机视觉识别标签主要分为目标定位、目标倾斜校正以及内容识别。 在内容识别方面，光学字符识别（Optical Character Recognition，OCR）技术已经十分成熟，文中主要讨论对密集小目标的定位倾斜校正。

1 国内外研究现状

近些年来深度学习的发展推动了计算机视觉在目标检测领域的进步，目前该领域算法主要分为两种方式：第一种为单阶段模型检测如YOLO[2-4]、SSD[5]等，该方式实现端到端的目标检测，运算参数少，检测速度快；另一种方式为两阶段模型检测如RCNN[6]、SPPNET[7]等，该方法先输出图像中可能存在目标的候选框，之后再对每一个候选框进行逐一目标甄别，在准确性上具有优势但计算成本以及内存要求较大。 在密集场景中，由于两阶段的目标检测算法通常在神经网络的末端对结果进行预测[8]，过深的神经网络层会导致空间和细节特征信息的丢失，对密集小目标的检测十分不利。 单阶段的目标检测模型如YOLOv3，在网络的设计中既使用了残差块[9]保证深层网络不会因为太深而退化，同时YOLOv3 特征金字塔思想[10]的网络结构很好地避免了密集目标下采样时特征同化[11]导致漏检的状况，能够很好地完成对密集试管的定位。

倾斜校正作为标签识别的关键步骤，通常解决方法主要有基于Radon 变换的方法，如郭文诚团队提出了一种改进Radon 变换法的倾斜图像校正方法[12]，该方法引入模板匹配法对复杂环境中的图像进行校正，经过实验其具有很强的自适应性。 基于线性回归的方法，曾凡锋等人提出了一种在复杂背景下文字图像校正方法[13]，该方法使用最小二乘法自适应的提取出文本特征子区，再拟合文字行直线获得倾角，但对于垂直线的拟合结果误差较大。 基于Hough 变换的方法，相较于Radon 方法，该方法应用于二值图中，仅处理前景像素和背景像素，能保证较快的处理速度，适用于前后景颜色差异较大的情况，冯雷等人基于Hough 变换思想提出一种基于梯度方向的文档图像矫正方法[14]，该方法利用图像的梯度方向分段累积直方图获得倾斜角度，对图像噪声也有很强的抗干扰能力；王蕾团队将Hough 变换应用在织物纹理方向角度检测中[15]，对织物图像进行傅里叶变换后的功率图谱进行Hough 变换确定织物纹理方向，显示出高精度、高自动化的优点。 此外，倾斜校正的应用场景十分广泛。王越等人提出了基于区域划分和霍夫变换的车牌倾斜校正方法[16]，先将定位到的车牌根据阈值划分为等分域，再对图像进行Hough 变换，最后对水平倾斜进行双线性插值校正，该方法减少了Hough 变换的区域，提升了矫正的速度。 关博熠团队提出了针对畸变Data Matrix 码图像的倾斜校正算法[17]，针对Data Matrix 的特性使用LoG 算子对畸变Data Matrix 进行特征提取，再使用向量叉乘的方法计算Data Matrix 倾斜角度，达到经过一次旋转实现校正，节省了图像恢复过程中的时间和工作量。 邓翔宇团队提出了针对纸质简谱图像的倾斜校正方法[18]，该方法提出了PCNN（脉冲耦合神经网络）和深度神经网络结合的自动分割算法，选取最优区域提取基线进行倾斜校正，在复杂光照条件下体现出很好的鲁棒性和高效率。

目前大多数倾斜校正方法应用于单个目标或一张图像中具有相同倾斜角的情况，而在密集多目标场景中，多目标多倾斜角度的倾斜校正面临着目标物体所占像素少、定位和标签特征提取困难等问题。 文中提出一种密集试管场景下的标签定位倾斜校正方法，先使用填充算法对试管架进行粗定位，并在定位出的试管架图像中使用YOLOv3 对试管小目标进行逐个定位，最后对单个目标采用滤波[19-21]去噪、动态腐蚀[22]提取标签中的基线特征，并基于概率霍夫变换（Progressive Probabilistic Hough Transform，PPHT）[23]结合数字形态学腐蚀获取基线端点，达到经过一次旋转还原的效果。

2 试管架粗定位

由于试管架中的试管经常处于密集放置的情况，因此在得到所有检测目标的视野下，单独的目标试管会发生检测特征不明显和特征上下文混淆的情况，文中针对这种问题首先对试管架进行粗定位，排除采集图像中除目标试管架之外的大部分混淆环境因素更有利于准确的识别试管。 文中首先针对原图像进行一系列预处理得到将试管架与环境分离的二值图，再通过对试管架最小外接矩形的定位分离出试管架。 该过程中由于光照和摄像机拍摄或试管架放置倾斜等因素的影响，需要先对试管架的位置亮度和对比度进行调整，定义αb作为亮度的缩放因子。 亮度变换后的图像dst（x，y）b由下式计算

定义αc和γc作为对比度缩放因子，使用下式得出处理后的图像buf（x，y）

根据生物安全实验室建筑技术规范2020 年版，标准实验室具有无强烈反光的密闭洁净灯，在该环境下并通过大量实验（αb=0.94，αc=87，γb=-11 008）可得到理想的便于处理的图像。 对该图像进行灰度和阈值二值化得到binary（x，y）。并使用5×5 大小的结构元素进行数字形态学腐蚀，最后分别设置种子点（0，0），（0，h-1），（w-1，0），（w-1，h-1），依次对图像进行满水填充。 过程图如图1 所示。

图1 试管架粗定位过程图

在得出的填充图中将轮廓面积最大的点集合的最大外接矩形视为试管架所处位置，截取原图像对应区域最终定位试管架。

3 试管编号校正和识别算法

由于试管架中的试管经常处于密集放置的情况，直接对试管架中的所有试管校正十分困难，故文中采取针对每一个定位出的试管单独进行校正的方法。 首先对试管架图像进行目标检测定位试管，对每一个定位出的试管进行充分预处理包括灰度化、去噪、动态腐蚀以及边缘检测操作，使用改进的Hough 变换算法对单个试管图像的圆和基线进行检测，通过基线特征获取倾斜校正所要旋转的角度，最后根据向量叉乘公式计算出倾斜角度并进行校正，总流程图如图2 所示。

图2 算法总流程图

3.1 试管定位

图3 为YOLOv3 对密集小目标的特征提取效果图，图3（a）为仅通过神经网络层的特征图，图3（b）为将图3（a）融合浅层网络特征信息后提取的特征图。

图3 YOLOv3 融合深层网络与浅层网络的特征

从图3 可以看出具有特征金字塔模块的YOLOv3 能够在网络层数较深的情况下依旧可以保持精确的识别率。

3.2 图像预处理

3.2.1 灰度化

对试管图片进行图像预处理，使用加权平均值法对图片进行灰度化处理。 灰度化去除多余信息，在之后进行Hough 变换等操作时可以大大减少计算量。 若处理后图像为f（x，y），其计算公式如下

3.2.2 滤波去噪

在获取试管的标签信息时，噪声会降低图像的质量，对图像检测造成困难，中值滤波器作为一种非线性的信号处理手段，可以消除孤立的噪声点，减少随机噪声并保留图像边缘信息。 若取中值滤波滑动窗口大小为m（奇数），计算公式如下

在实际环境中，试管帽外的任何信息都视为妨碍识别编号的信息，故应将试管帽所在区域圆进行定位。 文中使用Hough 梯度法定位区域圆。

3.2.3 图像腐蚀去除毛刺

腐蚀操作是图像形态学中的概念，对减少图像中的毛刺有着很大作用。 针对灰度图的腐蚀运算的函数表达为

该式表示将使用结构元素G对图像f进行腐蚀运算的结果作为图像位置x 的函数，x 是图像中的坐标向量，s 是平面结构元素G中的坐标向量。从式中可以看出，在图像与结构元素的相交区域，将灰度最小值作为中心元素的值，对图像明亮的区域腐蚀可以有效去除白噪声。

3.2.4 边缘检测

对去噪后的图像进行边缘检测，由于边缘点是图中灰度值变化最剧烈的点，映射到三维坐标轴中即求梯度最大的点，所以可以使用一阶微分算子进行边缘检测。 文中使用sobel 算子对每一个像素点进行卷积获得横向梯度和纵向梯度

式（6）中设sobel 算子横向提取梯度为Gx，纵向提取梯度为Gy；式（7）使用反正切函数计算出梯度的方向。 对图像进行非极大值抑制后，可采用双阈值抑制进行边缘点的连接，最终获得边缘图像。

3.3 基于Hough 变换的基线提取算法

基于累计概率的Hough 变换（PPHT）可以准确地提取出图像中的直线，相较于经典的Hough 变换不需要对每一个点进行计算。 其基本步骤为：

Step1随机抽取图像中一特征点，若该点确定为边缘点则保存该点继续抽取下一个边缘点，直至所有边缘点都抽取完毕。

Step2对之前保存的边缘点进行Hough 变换，使用二维数组累加器进行累加并计算。

Step3在满足最小投票数的线段中找出属于规定线段长度的线段，并将属于该线段的所有点删除。 重复以上三步为PPHT 的基本思路。 最终可得到线段的端点坐标。

文中基于PPHT 的基础设计直线提取算法，具体算法流程如下：

设对灰度图边缘检测的阈值为（25n，150），PPHT 中最大线段间隔gap且初始值为3，设数组sizes 为[（0，0），（2，1），（2，2），（3，1），（3，2）]，下标为i，数字形态学腐蚀结构元素大小为size[i][0]，迭代次数为I初始值为size[i][1]。 算法具体流程如图4 所示。

图4 基线提取算法流程图

文中在标签上添加的基线有助于一次性获取倾斜角，可通过检测基线经过一次旋转获得标签信息。 首先，通过Hough 变换获取基线的线性方程，直线在笛卡尔坐标系和极坐标系中的表示为

式（8）中k为直线的斜率，b为直线的截距；式（9）中r为该直线到原点的距离，θ 代表原点向直线的垂线与x轴的夹角。

最后通过向量的叉乘公式判断基线相对于中心点的位置。 如图5 所示，当基线向量处于中心点的上方时，旋转角度需要增加180°，文中将中心点与交点构成的向量与基线向量叉乘

图5 直线在中心点位置图

由公式（11）可知，在两个向量的叉乘结果中t为负时说明中心点在基线的上方，反之中心点在基线的下方。

3.4 清除基线

设置基线有助于准确找到标签倾斜角度，但在之后进一步识别时会起到一定的干扰作用，故在得出倾角后要对基线进行清除。 为避免识别出基线不完整的情况将基线在图中的延长线全部涂白。 由已识别出的基线端点可以得出基线延长线与试管图像的两个交点坐标， 即dx和dy已知， 故使用以下式（12）和式（13）对基线延长线与图像交点进行计算

假设与图像两交点坐标为C（Xedge1，Yedge1），D（Xedge2，Yedge2），先通过dx和dy的大小确定延长线L为水平线或垂直线，判断流程图如图6 所示。

图6 判断L 是否为特殊线段流程图

图6 中当延长线L垂直于X轴时，即Xedge1=X1，Yedge1=0；Xedge2=X2，Yedge2=h-1；当延长线L垂直于Y轴时，即Xedge1=0，Yedge1=Y1；Xedge2=w-1，Yedge2=Y2。 若延长线L不属于特殊直线，令

由式（14）可推出

由式（16）可进行分段函数计算D点坐标如下

同理可由式（15）进行分段函数计算C点坐标。

4 实验结果与分析

4.1 实验准备

文中使用1080P 广角变焦摄像头对试管架进行样本采集， 在室内光线明亮的环境中拍摄80 张装有不同数量试管的试管架照片作为样本，使用labelimg 工具进行人工标注。 对于所有试管信息分为三个类，分别为close（试管盖闭合）、open（试管盖开启）、cover（试管盖遮盖），最终得到6 350 条试管信息作为训练集和测试集。

4.2 实验结果

图7 为在正常视野和进行粗定位之后的密集试管检测对比图，由图7（a）可见在不进行粗定位的情况下，尤其在试管架边缘部分试管检测很容易出现漏检、误检等现象，而在图7（b）中试管域粗定位之后该现象有了明显改善。

图7 粗定位方法定位密集试管图

图8 为经过传统ACE 对比度增强算法和文中动态腐蚀算法对比图。图8（a）为原图，图8（b）为不经腐蚀图，图8（c）为ACE 算法图，图8（d）为动态腐蚀图。从图8 中可以看出，ACE 算法因为需要手动设置半径可能会出现反效果。

图8 不同对比度增强算法对比图

文将使用传统的图像处理方法对定位出的试管倾斜校正与文中提出的倾斜校正方法做对比，由图9 可以看出，文中的方法在保证标签信息清晰的情况下更能捕捉到真正基线的位置从而精确的得出旋转角度。

图9 传统方法与文中方法对比

将该方法应用在密集试管放置的试管架中，并进行最终的试管标签验证如图10 所示。 试管上方为试管所在矩阵的坐标，下方为经过倾斜校正后识别出的标签信息。

图10 通过文中方法经定位倾斜校正后结果图

4.3 评估标准

其中，TP为真正例即深度网络预测出的目标为真目标的个数，FP为假正例即预测出的目标不是真目标的个数。TP和FP都为试管帽属于闭合状态时的个数。 经过测试，该方法在试管数据集中的准确率为98.8%，见表1。

表1 试管定位倾斜校正准确率

5 结语

针对EP 试管在试管架中的密集放置，人工提取标签易造成失误的情况，基于计算机视觉提出了一种在密集目标情境下的试管定位倾斜校正方法，该方法主要用于识别标签前的倾斜校正步骤。 文中在该步骤上使用Hough 变换结合动态腐蚀的方法有效提取图形基线并同时增强图像中的有效信息，使得标签信息能够精确校正并有利于之后的识别过程。 实验结果表明，该算法对闭盖试管倾斜校正准确率达到98.8%，可以用在真实试管识别的环境中。