基于交叉分割识别法的小颗粒对象的半语义分割方法

蒋文骏，殷军普

上海威士顿信息技术股份有限公司，上海，200052

0 引言

本文提出了一种针对小颗粒对象的对象检测问题的方法，该方法是基于图片区域的交叉分割以及半语义分割的方法进行大尺寸图像中较小对象的检测。在工业领域中存在从高帧率拍摄的大尺寸图像中寻找一些细微特征的情况，比如杂质、瑕疵、异物或原料特征等一些特征的总像素面积相对于检测图像的总像素面积过于小的情况。这种场景下使用传统的对象检测、语义分割或实例分割等方法时会遇到以下问题：

（1）模型尺寸巨大。

（2）硬件资源不足。

（3）检测速度慢。

（4）查全率低。

（5）狭长对象定位不准确。

（6）算法难以通过并行化加速。

（7）同一张图中有大量需要检测的小对象时标记所需人工时间过长。

这些问题影响了这些场景下的人工智能的应用范围。为了解决该类问题，本文创新性地提出了通过以下方法解决这些问题：

（1）通过固定长宽的方式将大尺寸图像分割成多块小尺寸图像。

（2）在小尺寸图像交界处交叉分割出新的小尺寸图像。

（3）并行推理各个小尺寸图像。

（4）依照各个小尺寸识别框之间的IoU（交并比）的关系将有关联的小尺寸识别框合并成分割对象的识别区域。

1 算法流程

本方法的处理流程如下图1所示主要分为五个步骤，具体如下：

Step1：图像采集模块采集流水线上的原料图像。

Step2：图像切分模块将原始图像交叠切分成多个小尺寸图像。

Step3：图像识别模块识别所有切分后的小尺寸图像，找出有小颗粒杂物的图片位置。

Step4：结果聚合模块聚合包含小颗粒杂物的多个图片位置生成杂物位置。

Step5：计算小颗粒杂物的分割边缘的多边形。

2 交叉分割

原始图像的交叉分割算法是本方法中重要的步骤，该方法可以缩小模型尺寸、降低训练和推理阶段的硬件依赖，并且提高检测速度[1-2]。图像交叉分割算法对采集到的图像进行小尺寸的交叠切分，其中小尺寸图片的尺寸需要大于杂物可识别的最小尺寸，但小于杂物出现在原始图像最大尺寸之间，一般杂物可识别的最小尺寸与杂物出现在原始图像最大尺寸的算术平均[3]。图像交叉分割算法对采集到的图像进行小尺寸的交叉切分，如下图2所示，其中先切分出无交叉的小尺寸图片，然后依次切分出宽度方向跨两张无交叉图片的小尺寸图片、切分出高度方向跨两张无交叉图片的小尺寸图片和切分出高度方向跨四张无交叉图片的小尺寸图片，生成对应该张原始图片的小尺寸图片集[4]。

3 小颗粒对象识别模型

本文在解决小颗粒识别问题时使用了一种特殊的卷积神经网络作为杂物识别模型[5]。该模型主要包含一个骨干网络和一个子网络，如下图3所示。由于小颗粒对象的特征比较复杂，无法用色差检测、灰度化、边缘检测、二值化、线圆椭圆检测以及霍夫变换等传统形态学方法进行良好的识别，所以本文的方法用骨干网络提取杂物的形态学的特征矩阵，然后用一个ANN作为回归子模型计算杂物的位置，用另一个ANN作为分类子模型进行杂物的分类，最终获得杂物的边界矩形框和杂物种类，由此获得杂物的在相机坐标系中的中心点坐标、尺寸和种类[6]。该模型需要通过学习大量有标注的照片样本进行参数训练，最终将小颗粒对象的识别准确率提升到可用水平。

4 识别框合并

识别框合并算法将有直接重叠区域或间接重叠区域的小尺寸图片的坐标合并为同一个坐标输出给后道工序的接收模块，如果小尺寸图片没有直接重叠区域或间接重叠区域则不进行坐标合并，见图4所示。

5 验证方法

为了验证本方法的效果，本文设计一个实验分别验证该方法的识别散落在地面上叶灰区域的准确率，实验方法如下：

准备了叶灰原料1公斤，投洒在厂房的环氧地面上，计算本算法的查准率和查全率，对比方法选用YOLO V5。实验结果如表1所示。

表1 小颗粒对象识别的查准率和查全率

图5为本方法对叶灰散落在地面区域识别结果，可见地面上叶灰散落区域基本都被准确识别。图6 为YOLO V5的叶灰散落在地面区域识别结果，该方法对大片叶灰区域识别较好，但对零散叶灰未能全部识别，并且存在少量的误识别的情况。因此判断在识别类似地面上小颗粒叶灰的场景中，本方法的查准率和查全率优于YOLO V5。

6 结语

本文提出了一种基于交叉分割的小颗粒对象的半语义分割方法。该方法是一种介于传统的对象检测算法和语义分割算法之间的半语义分割的算法，既拥有对象检测的快速的处理速度，又具有对非矩形对象的合理划分边缘的特点，同时还具有模型尺寸小、易于并行化、查全率查准率高和数据标记工作量小等特点。通过实验发现在识别散落在地面上小颗粒叶灰区域的场景中，本方法的查准率和查全率优于YOLO V5，可见本方法在小颗粒物体识别和语义分割场景中具有一定的优越性。