应用机器视觉的鞋面数量统计与尺寸测量

景军锋， 谢 佳， 李鹏飞， 张 蕾， 张宏伟

(西安工程大学 电子信息学院， 陕西 西安 710048)

应用机器视觉的鞋面数量统计与尺寸测量

景军锋， 谢 佳， 李鹏飞， 张 蕾， 张宏伟

(西安工程大学 电子信息学院， 陕西 西安 710048)

针对鞋面数量统计和尺寸测量过程中人工检测方法效率低、成本高的问题，提出利用机器视觉的鞋面数量统计与尺寸测量方法。采用基于边缘方向的模板匹配算法对鞋面进行数量统计。运用最小外接矩形(MER)算法对鞋面进行尺寸测量。为验证方法的可靠性，对3种鞋面分别在光照变化、混乱和遮挡条件下进行了检测实验，并与绝对误差和算法、归一化相关系数法和Hausdorff距离匹配算法的检测结果进行对比。将MER测量结果和人工测量结果进行对比，结果表明：基于边缘方向的模板匹配算法在复杂环境下的鲁棒性更高，可完成鞋面数量统计；MER方法和人工测量的相对误差在0.67%以内，满足工业生产中的实际需求。

鞋面数量； 鞋面尺寸； 边缘方向； 最小外接矩形算法

目前，国内制鞋企业的生产效率明显落后于发达国家[1]，一些手工操作的生产程序直接影响生产效率，其中在鞋面检测环节，需要人工来完成鞋面的数量统计和尺寸测量，存在劳动强度大、速度慢、人力成本高等问题，降低了企业的市场竞争力。为此，提出运用机器视觉的方法完成鞋面数量统计和尺寸测量。

在传统鞋面计数方法中，鞋面数量为生产的面料长度与每只鞋高度的比值，本文研究采用模版匹配算法进行鞋面定位，完成数量统计，不仅可适应鞋面复杂的生产环境，如光照变化、混乱和遮挡情况，进行同步计数，还可根据匹配分值大小统计鞋面合格品与次品个数。常用的绝对误差和(SAD)算法[2]、误差平方和(SSD)算法[3]以模版图像和待搜索图像的灰度值之差作为相似度量，在光照稳定的情况下匹配效果良好，一旦光照发生变化，其返回值很大。归一化相关系数(NCC)法[4]是对以上2种算法的改进，适应了线性变化的光照，但对噪声十分敏感[5]。文献[6]提出基于2个点集之间的Hausdorff距离匹配算法，该算法主要是计算模板边缘点与待搜索图像边缘点二者之间的最大距离，如果图像中存在遮挡和混乱情况则会影响匹配结果[7]。Steger[8]提出的基于边缘方向的模板匹配算法可解决光照变化、混乱和遮挡这些问题带来的影响。采用基于机器视觉的非接触式测量方法完成鞋面尺寸测量。苑玮琦等[9]利用矩实现植物叶片长宽的测量，但是计算量过大。李洋等[10]提出一种快速提取植物叶片最小外接矩形(MER)算法，可快速精确地提取出目标最小外接矩形完成尺寸测量。本文采用基于边缘方向的模板匹配算法进行匹配，完成鞋面数量统计，并且与SAD、NCC、Hausdorff距离算法进行了对比；采用最小外接矩形算法测量鞋面尺寸，与人工测量结果进行了验证。结果表明，采用机器视觉的方法可代替人工完成鞋面的数量统计和尺寸测量。

1 鞋面检测系统

鞋面检测系统主要由检测台、光源、CCD相机、计算机组成。鞋面检测系统如图1所示。将待测鞋面平铺于检测台上，检测台上方安装光源，通过CCD相机采集鞋面图像，传入计算机中进行算法处理获得鞋面数量和鞋面尺寸。

图1 鞋面检测系统图Fig.1 Detection system map

2 鞋面数量统计

2.1基于边缘方向的模板匹配算法

基于边缘方向的模板匹配算法分为创建模版阶段和图像匹配阶段，采用索贝尔(Sobel)算子获得图像的方向梯度，然后利用模板图像与待搜索图像对应边缘点的梯度方向向量点积之和作为相似度量函数进行匹配定位。算法流程图如图2所示。

图2 基于边缘方向的模板匹配算法流程图Fig.2 Flow chart of template matching algorithm based on edge direction

2.1.1模板创建

将模板对象定义为由点集构成的图像，采用Sobel算子求取点集对应的方向梯度，其中点集为pi(xi,yi)T(i=1,2,…,n)，方向梯度为di=(ti,ui)T(i=1,2,…,n)，本文的模板图像为标准的鞋面图像。图3示出模版图像通过Sobel算子获得的梯度图像。

图3 Sobel算子获取模版图像梯度Fig.3 Template image gradient obtained using Sobel operator. (a) Template image；(b) Gradient map of template image

2.1.2图像匹配

同样，采用Sobel算子获得待搜索图像中每个点(x,y)对应的方向梯度ex,y=(vx,y,wx,y)T。图4示出Sobel算子获取待搜索图像梯度。

图4 Sobel算子获取待搜索图像梯度Fig.4 Searched image gradient obtained using Sobel operator. (a) Searched image；(b) Gradient map of searched image

以模版图像上边缘点与待搜索图像上相对应边缘点方向向量点积之和的平均值作为相似度量函数。在待搜索图像中某点q(x,y)T处，其相似度量为

2.2结果与分析

为实际评估算法在鞋面检测中的表现情况，采用分辨率为2 592像素×1 944像素的acA2500-14gm型BASLER面阵相机作为图像采集设备，分别在光照变化、混乱及遮挡条件下对3种鞋面各采集100张图像，分组进行鞋面数量统计实验，鞋面图像大小为1 024像素×1 024像素。3种鞋面样本如图5所示。

图5 3种鞋面样本Fig.5 Three vamps samples. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

2.2.1光照变化

采用照度为100 Lux的条形光源，3种鞋面各采集100张图像进行匹配。图6示出运用本文算法对3种鞋面匹配的部分结果。

注：图中从左至右依次为相机曝光时间3 000、6 000、9 000 μs，以及使用条形LED光源作为外界光源，模拟不均匀光照条 件下采集的图像，矩形框即为匹配到的鞋面目标。图6 3种鞋面在光照变化下的部分匹配结果Fig.6 Some matching results of three vamps under change of illumination.(a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表1示出在光照变化条件下采用SAD、NCC、Hausdorff距离以及本文算法的匹配结果。

表1 光照变换下4种算法的匹配结果Tab. 1 Matching results of four algorithms under change of illumination

SAD算法计算模版图像与待搜索图像之间的灰度差，当光照发生变化时会引起灰度值的变化，使得返回值较大，影响匹配结果，且SAD算法不适应非线性的光照变化，故而识别率低；当最小分值Smin为0.3时，采用NCC算法的识别率为85%，光照的变化使得灰度值会相应地变大或变小，不管所有的灰度值变大或变小与它们的均值作差后，差值会比较小，再除以单位方差，这样就对图像的亮度等级变化很不敏感，所以NCC算法的识别率高于SAD算法；Hausdorff距离匹配算法的识别率为94%，匹配效果良好。本文算法可准确匹配300张图像，识别率为100%，由于基于边缘方向的模版匹配算法进行了归一化处理，故不受光照变化的影响。

2.2.2混乱情况处理

鞋面生产环境中难免会出现噪声和其他方式的干扰，这些通常称为混乱。噪声的产生可能是由于图像采集设备、传输过程等原因导致的，噪声的产生是随机的；干扰则是因为外界工作环境产生的，比如振动，算法的鲁棒性在一定程度上体现在抗噪声和抗干扰能力上[12]。设置曝光时间为6 000 μs，图7示出在混乱情况下，采用本文算法匹配3种鞋面的部分结果图。

注：图中从左到右依次为采用本文算法对相机视场范围内 模拟操作工可能进行的人为手动干扰的匹配结果。图7 3种鞋面在混乱情况下的部分匹配结果Fig.7 Some matching results of three vamps in clutter. (a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表2示出在混乱情况下采用4种算法对鞋面识别定位的结果。由表可知：采用SAD算法的识别率最低为39%；当最小分值Smin为0.3时，NCC算法的识别率为72%。原因是噪声会掩盖相关峰值，导致识别率下降；Hausdorff距离算法的识别率为88%，混乱会使得点与点之间的距离产生偏差；本文算法可很好地匹配到鞋面目标，识别率为100%，这是因为如果待搜索图像中某个特征消失，噪声会产生随机的方向向量，这些方向向量平均起来并不会对相似度量函数产生影响，所以具有很好的抗干扰性。

表2 混乱情况下4种算法的匹配结果Tab.2 Matching of four algorithms under clutter

2.2.3遮挡情况处理

在工业生产环境中会出现鞋面被部分遮挡的情况，此时也要求能定位到目标。设置曝光时间为6 000 μs，对3种鞋面进行遮挡处理，遮挡面积不超过鞋面面积的30%，各采集100张图像进行匹配测试。图8示出3种鞋面样本在遮挡情况下的部分匹配结果。

注：图中从左到右依次为采用本文算法对100 mm×80 mm的 白色纸片遍历鞋面轮廓1周的匹配结果。图8 3种鞋面样本在遮挡情况下的部分匹配结果Fig.8 Some matching results of three vamps in occlusion. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

表3示出在遮挡情况下4种算法对鞋面识别定位的结果。在30%以内遮挡情况下，SAD算法的识别率为34%；最小分值Smin为0.3时，NCC算法的识别率为76%；Hausdorff距离算法识别率为93%，Hausdorff距离由2个距离最大值决定，为得到低的总距离，必须保证模板边缘点与图像边缘点二者之间的距离非常接近，因此图像中的遮挡会影响匹配结果；采用本文算法可有效地定位鞋面，识别率为100%，遮挡会导致待搜索图像某些特征值消失，但是并不会对总和产生贡献值，所以匹配效果良好。

表3 遮挡情况下4种算法的匹配结果Tab. 3 Matching results of four algorithms under occlusion

采用4种算法分别匹配不同环境下的鞋面，实验结果表明，不论是在光照变化、混乱，还是遮挡的情况下，采用基于边缘方向的模板匹配算法均可有效地定位到目标鞋面，从而完成鞋面的数量统计。

3 鞋面尺寸测量

3.1用MER算法测量鞋面尺寸

定位到鞋面后，采用Canny算子获取鞋面轮廓，用基于平面扫描法的Graham算法构造鞋面凸包[13]。一个凸多边形的最小外接矩形必定经过这个凸多边形的一条边，遍历鞋面轮廓凸包上的每条边，以该边构造矩形，计算该矩形的面积，比较得出的所有矩形面积，面积最小时确定其为该鞋面的MER，此时MER的长和宽即为鞋面的长和宽。图9示出鞋面进行MER提取的各阶段检测结果。

图9 提取鞋面最小外接矩形Fig.9 Extraction of vamp minimum enclosing rectangle. (a) Vamp; (b) Results of edge detection; (c) Convex hull of vamp; (d) Result of minimum enclosing rectangle

3.2实验结果及数据分析

采用静态测量，相机与检测台的距离为2 m，视场范围为400 mm×300 mm，确保可采集到一个完整的鞋面图像，将鞋面平铺于检测台上，鞋面的长边对应于视场长边，通过2.1小节方法进行鞋面的尺寸测量。为得到鞋面的真实尺寸，将以像素为单位的尺寸转换为空间中的物理尺寸[14]，计算公式如下。

l=n×d

(3)

式中：d为单位像素所代表的实际距离大小，可由物理空间的实际距离与图像像素距离对应比例关系得到，即d=400 mm/2 592像素=0.154 mm/像素；n为总的像素个数；l为鞋面物理尺寸。

在相同环境条件下，对10个鞋面样本分别采用手工方法和MER方法进行测量，求出测量结果的相对误差，更能反映测量的可信程度。采用的相对误差公式为

表4示出采用2种方法对鞋面长和宽的测量结果。从表可看出，MER和手工方法测量鞋面的长和宽的平均测量误差为0.37%和0.47%，最大相对误差为0.67%，出现在鞋面样本6的宽度测量时，其误差为280 mm-278.18 mm=1.88 mm，小于实际误差范围2 mm。由表4中结果还可知，MER测量值与手工测量值很接近，充分说明该计算方法是可行的，有较高的准确率，可代替人工完成鞋面尺寸的测量，解决人力成本高、测量误差大的问题。

表4 鞋面长和宽测量结果Tab.4 Measure results of length and width of vamps

4 结 语

本文提出将机器视觉运用到鞋面检测中，代替人工完成鞋面数量统计和尺寸测量。通过对比不同环境下4种算法测试的结果表明，采用基于边缘方向的模板匹配方法可有效地适应鞋面生产环境中光照变化、混乱和遮挡的影响，准确定位，完成鞋面数量统计；采用最小外接矩形算法测量鞋面的尺寸，和手工测量方法进行了验证，最大相对误差为0.67%，满足实际生产中鞋面尺寸的测量要求。在鞋面实际生产中需要实时采集与处理，所以算法的实时性将是下一步的研究方向。

FZXB

[1] 郝根旺. 基于机器人的制鞋成型过程智能控制策略设计[D]. 大连：大连理工大学，2014:1-2.

HAO Genwang. The design of intelligent control strategy for shoemaking assembly process based on robot[D]. Dalian：Dalian University of Technology, 2014：1-2.

[2] NGUYEN V A, TAN Y P. Efficient block-matching motion estimation based on integral frame attributes[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(3)：375-385.

[3] NICKELS K, HUTCHINSON S. Estimating uncertainty in SSD based feature tracking[J]. Image & Vision Computing, 2002, 20(1)：47-58.

[4] HANEDECK U D. Template matching using fast normalized cross correlation[J]. Aerospace/defense Sensing, Simulation & Controls, 2001, 4387：95-102.

[5] ZHANG B, YANG H, YIN Z. A region-based normalized cross correlation algorithm for the vision-based positioning of elongated IC chips[J]. IEEE Transactions on Semiconductor Manufacturing, 2015, 28(3)：345-352.

[6] RYCKLIDGE W J. Efficiently locating objects using the Hausdorff distance[J]. International Journal of Computer Vision, 1997, 24(3)：457-464.

[7] STEGER C, ULRICH M, WIEDEMANN C. Machine Vision Algorithms and Applications[M]. Weinheim：Wiley-VCH, 2008：321-343.

[8] STEGER C. Similarity measures for occlusion, clutter, and illumination invariant object recognition[J]. Lecture Notes in Computer Science, 2001, 2191：148-154.

[9] 苑玮琦，胡迪. 利用矩实现植物叶片长宽的测量[J]. 计算机工程与应用，2013，49(16)：188-191.

YUAN Weiqi，HU Di. Measurement of leaf blade length and width based on moment[J]. Computer Engineering and Applications，2013，49(16)：188-191.

[10] 李洋，李岳阳. 一种快速提取植物叶片最小外接矩形的算法[J].江南大学学报(自然科学版)，2015，14(3)：273-277.

LI Yang, LI Yueyang. Fast algorithm for extracting minimum enclosing rectangle of plant leaves[J]. Journal of Jiangnan University(Natural Science Edition), 2015, 14(3)：273-277.

[11] 赵振民，彭国华，符立梅. 基于形状模板的快速高精度可靠图像匹配[J]. 计算机应用，2010，30(2)：441-444.

ZHAO Zhenmin, PENG Guohua, FU Limei. Fast high-precision reliable image matching algorithm based on shape[J]. Journal of Computer Applications, 2010, 30(2)：441-444.

[12] 吴晓军，邹光华. 基于边缘几何特征的高性能模板匹配算法[J]. 仪器仪表学报，2013，34(7)：1462-1469.

WU Xiaojun, ZOU Guanghua. High performance template matching algorithm based on edge geometric features[J]. Chinese Journal of Scientific Instrument, 2013, 34(7)：1462-1469.

[13] 刘宏兵，邬长安，周文勇. 基于二维凸包的TSP算法[J].计算机工程与设计，2009，30(8)：1954-1956.

LIU Hongbing, WU Changan, ZHOU Wenyong. TSP algorithm based on two dimensional convex hull[J]. Computer Engineering and Design, 2009, 30(8)： 1954-1956.

[14] PATIL S B, BODHE S K. Betel leaf area measurement using image processing[J]. International Journal on Computer Science and Engineering, 2011, 3(7)：2656-2660.

Quantitystatisticsandsizemeasurementofvampsbasedonmachinevision

JING Junfeng， XIE Jia， LI Pengfei， ZHANG Lei， ZHANG Hongwei

(SchoolofElectronicandInformation，Xi′anPolytechnicUniversity，Xi′an，Shaanxi710048，China)

Focusing on the problems of low efficiency and high cost of artificial detection in vamps statistics and size measurement, a machine vision method of counting and measuring vamps was presented. The template matching algorithm based on the edge direction to complete quantity statistics of vamps was used. The minimum enclosing rectangle algorithm measured the size of vamps was employed. To verify the reliability of the proposed method, three kinds of vamps were detected in illumination changes, clutter and occlusion, and the results were compared with sum of absolute differences, normalized cross correlation and Hausdorff distance matching algorithm. The measurement results of minimum enclosing rectangle algorithm were compared with the manual test. The experimental results demonstrate that template matching algorithm based on the edge direction is more robust in complex environment, and it can finish the quantity statistics of vamps. The relative error between the minimum enclosing rectangle method and the artificial measurement is smaller than 0.67%, which meets the actual needs of industrial production.

vamp quantity; vamp size; edge direction; minimum enclosing rectangle algorithm

10.13475/j.fzxb.20161203906

TS 101.9

A

2016-12-23

2017-08-10

国家自然科学基金项目(61301276)；陕西省重点研发计划项目(2017GY-003)；陕西省工业科技攻关项目(2015GY034)；西安工程大学研究生创新基金项目(CX201730)

景军锋(1978—)，男，副教授，博士。主要研究方向为机器视觉与图像处理。E-mail:413066458@qq.com。