鞋印花纹裂缝特征自动描绘方法
2022-05-20黄日辉陈伟卿
黄日辉 陈伟卿 于 跃
花纹裂缝特征是较细花纹的鞋在穿用过程中由于受到外力的影响,导致花纹局部材料脱落而致该花纹中断所形成的细节特征,在鞋印上呈现为距离较近、方向具有连续性的两个花纹段之间的缺失。引起花纹材料缺失的原因和物质特性不同,花纹裂缝特征的形状和位置也因此具有较高的随机性,特征特定性好[1],在直线型、波折型、网格型等鞋印的鉴定中,这类特征的识别及相符程度比较均起到非常关键的作用。
当前实际鞋印鉴定工作中,细节特征主要由具备鉴定资质的专家手工圈选,必要时对特征边界进行具体人工描绘,以描绘其形状和大小,但人工描绘结果不可避免地受到人为因素影响,不利于对特征的量化描述和客观特征比对。国内外学者对随机特征的检测和描绘进行了一系列尝试。Yoram Yekutieli等人[2]对鞋印图像反映出的随机特征(即细节特征)进行研究,考察其稀有性,以评估其在鞋印检验中的价值。该研究中,他们开发了专门的交互式特征绘制工具,首先围绕随机特征使用多边形标画出特征,对多边形内图像使用交互的二值化操作,得到初始边界,以此为基础,对边界进行人工的增、删、改操作,得到特征的最终边界,用于特征数据的准备。该方法较为繁琐和耗时。美国西弗吉尼亚大学Jacqueline A.Speir的团队[3]做了大量的工作,对1300只鞋进行了随机特征检验,用于对不同鞋在相同位置上出现相似形状的随机特征的可能性分析。实验数据准备中,使用Photoshop软件中的铅笔工具,纯手工对鞋印图像中反映出来的随机特征进行描绘,工作量巨大,且受人工影响。国内相关研究较少,Wang等[4]将随机特征分为角型和斑点型两类,分别使用Harris角点检测器和Hessian检测器实现特征位置的检测,但未能进一步标识出特征范围和特征边界。
可见目前研究中通常仅进行随机特征的位置检测,或基于人工描绘或交互式方法提取特征边界,不能够满足自动、快速、准确地特征描绘的要求。因此本文提出一种花纹裂缝特征的自动描绘算法,针对用户指定的鞋印图像区域,利用图像处理技术,基于花纹的宽度、连续性等信息,填补裂缝特征对应的花纹缺失部分,并自动描绘出花纹裂缝特征的轮廓。该方法可为鞋印鉴定中特征的量化描述和客观比较奠定基础。
一、裂缝特征自动描绘算法
外力作用常导致较细的鞋底花纹局部发生材料缺失,使一条完整花纹产生中断,从而分为两段不连续的花纹,中断部分即为裂缝特征。裂缝特征的描绘即使用闭合曲线将这两个花纹段之间的缺失部分标画出来,如图1所示。
图1 花纹裂缝特征及边界描绘示例
本文提出的裂缝特征自动描绘算法流程如图2所示。算法包括预处理、骨架连接、初步填充、精确填充、边界提取几个主要步骤。其中预处理是指对图像进行二值化,提取出花纹,并对复杂花纹进行分解,根据一定规则筛选出符合走势、宽度、空间关系的花纹两两组合,形成包含裂缝特征的配对花纹段。该部分不在本文中讨论。对于配对花纹段,首先进行基于骨架的花纹连接,然后进行裂缝的初步填充和精确填充,最后对填充部分进行边界提取,完成裂缝特征的边界描绘。下面将以具体的实例说明裂缝特征描绘算法中的关键技术。
图2 算法流程图
(一)花纹骨架连接
组成裂缝特征的两段花纹的连接是裂缝特征描绘的基础。本文提出了基于自适应阶数多项式曲线拟合花纹骨架的方法,将两花纹段连接起来,即通过对两花纹段的骨架进行曲线拟合,得到一条光滑曲线,该曲线即为花纹未产生裂缝前的中轴线。
1.骨架连接方法
首先,对于组成裂缝特征的两个花纹段,分别提取骨架,并去掉毛刺。两骨架分别记为有序点集C1和C2;
其次,计算C1两端点与C2两端点之间的距离,找到其中距离最近的两个端点P和Q,将两条骨架的点首尾相连,组成新点集C;
最后,对点集C,使用多项式曲线进行拟合,得到连接两花纹段的一条光滑骨架线S。
图3 基于曲线拟合的骨架连接
上述花纹段的连接过程如图3所示,其中图(a)为鞋印某局部的花纹图像,经预处理后确定了一组配对花纹,如图(b)所示,花纹段上的红色曲线为提取到的骨架C1和C2,P为Q分别为两骨架上距离最近的两个端点,使用本文方法最终得到的拟合骨架线S如图(c)红色线条所示。
2.自适应阶数的多项式曲线拟合
为了适应不同花纹类型,本文提出了自适应阶数多项式曲线拟合方法。
点集的曲线拟合是指通过选择适当的曲线类型,将已知的离散点集拟合成平滑曲线的过程。多项式曲线是常用的曲线拟合模型之一,其定义为
多项式曲线拟合中,阶数的选择至为重要。本文提出的阶数自适应确定方法如下:对于待拟合的骨架曲线C,使用下式分别计算阶数M=1,2,...10下拟合的均方根误差(Root Mean Square Error,RMSE)
图4 多项式曲线拟合中多项式阶数自适应确定
(二)裂缝区域的初步填充
基于连接好的骨架,使用图像形态学操作,生成裂缝区域的初步填补结果。后续精确填充将在该基础上进行。初步填充方法如下:确定填充区域,计算花纹宽度,对填充区域进行基于花纹宽度的形态学操作,将组成裂缝特征的两花纹段对接,实现对裂缝区域的初步填充。
1.填充区域
鞋底花纹在发生材料损失造成裂缝之后,随着鞋子继续穿用,裂缝两侧材料仍会继续发生磨损,因此对裂缝部分的填充,将以拟合曲线S新补充的部分曲线段为基础进行,如图5(a)中蓝色曲线所示。这段曲线为骨架C1的端点P和骨架C2的端点Q在拟合曲线S上的对应点和之间的部分。
2.初步填充
对裂缝特征的填充是指,对于组成裂缝特征的两花纹段,以前景色填充裂缝特征所在区域,本文采用图像形态学膨胀算法进行初步填充,结构元素为圆形,其半径基于花纹宽度设置。初步填充的具体步骤为:
(1)分别计算组成裂缝特征的两花纹段的宽度w1和w2;
(2)取两宽度平均值的1/2为半径,构建膨胀操作所需圆形结构元素;
(3)对配对花纹段形成的二值图BW1(如图5(a)所示),对裂缝部分骨架进行膨胀操作,得到一条完整的花纹,即为初步填充结果。记初步填充结果图为BW2,如图5(b)所示(填充前花纹为紫色,填充部分为绿色)。
图5 裂缝区域的初步填充
3.花纹宽度计算
在使用膨胀操作对裂缝区域进行初步填充时,需首先确定结构元素的大小,为了使填充后花纹更为平滑,结构元素尺寸基于组成裂缝特征的两花纹的宽度确定。本文采用基于笔画宽度变换算法(Stroke Width Transform,SWT)计算花纹宽度。SWT算法是一种局部图像算子,用以计算该像素所在笔画在该像素处的宽度,结果为一幅与原图像等大的SWT映射图,每个像素点的值表示该点的笔画宽度。使用SWT计算花纹宽度的原理如下:
(1)对花纹图像进行边缘检测;
(2)对于边缘上的像素点p,其梯度方向的射线为r=p+n·dp,找到该射线与对侧边缘上的交点q,记点q的梯度方向为dp,若dp=-dp±π/6,则认为点p和q的梯度方向一致,此时,SWT映射图上,点p和q连线上所有点的像素值记为两点之间的距离;
(3)根据上述步骤,得到SWT映射图像;
(4)原始花纹图像上每个花纹段,对应于SWT图像的一个连通域,取该连通域像素值的中值,作为该花纹段的宽度。
(三)裂缝区域的精确填充与边界描绘
经过上述初步填充操作,发生断裂的花纹得以恢复到完整状态,但由于仅基于断裂局部进行了裂缝的填补,花纹连续性欠佳。因此在初步填充的基础上,进行精确填充操作,以得到连续性更好的、符合原花纹设计的断裂前样貌,从而得到最佳的裂缝特征描绘。精确填充步骤如下:
图6 裂缝区域的精确填充及特征描绘
(1)首先,对初步填充后的花纹,提取边界,以骨架为界,分为上下两条,如图6(a)所示;
(2)对两条边界进行多项式曲线拟合,如图6(b)所示;
(3)将拟合曲线与组成裂缝特征的两个花纹段进行叠加,然后使用图像形态学方法填充中间的孔洞;
(4)保留填充的内容中与原始填充区域重叠部分最多的连通域,该连通域即为最终检测得到的裂缝特征。该特征与原始待填充花纹一起,组成精确填充花纹,即裂缝复原后花纹,如图6(c)所示(紫色为原花纹,绿色为精确填充部分);
(5)提取上述裂缝特征的边界,绘制在原始花纹图像上,即完成裂缝特征的描绘,如图6(d)所示。
将精确填充结果(图6(c))与初步填充结果(图5(b))进行对比可见,后者所得完整花纹比前者更为光滑,更符合花纹设计的理念。
二、实验
(一)实验数据
使用大连恒锐科技股份有限公司研制的嫌疑人足迹采集系统进行鞋印数据的采集,图像分辨率为300DPI。选择直线型、网格型、波折型等较细花纹、有个别特征反映的鞋印,作为备选鞋印。对备选鞋印数据进行人工检验,截取裂缝特征所在的局部图像,形成实验数据。在对这些实验数据进行自动地花纹段配对基础上,本文算法将完成裂缝特征的填补和边界描绘。
图7 不同类型花纹的裂缝特征自动描绘
(二)实验结果与分析
使用直线型、网格型、波折型等4种花纹类型对算法进行测试,部分结果如图7所示。其中图(a)、(b)为网格型花纹及其裂缝特征的自动描绘结果;图(c)、(d)为直线型花纹及其裂缝特征的自动描绘结果,该例中存在多个裂缝特征;图(f)、(g)为波折型花纹及其裂缝特征的自动描绘结果;图(h)、(i)为弧线型花纹及其裂缝特征的自动描绘结果。
从图中的实验结果可见,本文算法能够准确描绘花纹中裂缝特征的边界,经此边界将裂缝两端花纹连接之后,所形成的完整花纹具有较好连续性,与周围尚未断裂的其他相同模式的花纹一致,表明了特征边界描绘的正确性。此外,对于含有多个裂缝特征的图像,算法也能正确进行描绘。
三、结论
通过对鞋印中裂缝特征的表现进行研究,本文提出了一种鞋印花纹裂缝特征自动描绘方法。实验结果表明,算法能够实现常见的直线型、波折型、网格型等类型花纹上的裂缝特征的精确描绘。该方法可应用于鞋印检验鉴定中,以减少鞋印检验过程中人为因素的影响,为后续特征的量化、客观地比较等奠定基础,提高鞋印的证据力。