基于模糊梯度卷积核的在线棒材断面中心识别

方红萍，方康玲，刘新海

（武汉科技大学 信息科学与工程学院，湖北 武汉430081）

0 引 言

理论上，同一规格的所有棒材断面是半径为r 的标准圆形目标Οr。然而，一方面受剪切工艺影响，工业现场获得的棒材断面形状只是近似于圆形的类圆形对象；另一方面冷床上的棒材排列并不整齐，棒材之间存在堆叠和相互遮挡的现象 （特别是小规格的棒材），各个棒材的尺寸大小也不规则。因此如何实时、准确的识别出堆叠的、形状尺寸不规则的类圆形棒材对象是实现在线棒材自动计数打捆系统首先需要解决的一个关键问题。目前很多学者都对该问题进行了研究。研究思路主要分为以下几种：①将相互堆叠的棒材分割成相互分离的单个连通区域，每个连通区域即代表一根棒材。比如，文献 ［1］采用极限腐蚀等数学形态学方法将多堆叠棒材分割；文献 ［2］基于类圆形对象两两相互堆叠时会在接触边缘形成凹点的假设前提，采用凹点搜素和凹点匹配方法确定棒材之间的分割线，实现堆叠棒材的分割。这一类方法中，极限腐蚀方法对于小规格堆叠严重的棒材分割难度较大；另外由于棒材形状不规则，也增加了选择合适凹点问题的难度。②不分割，直接利用棒材的形状、尺寸等先验信息定位棒材中心以实现棒材的识别。该类方法能有效降低识别难度、提高识别精度：比如，文献 ［3，4］分别定义合适尺寸的圆形或八边形模板，对实时棒材图像进行模板匹配以实现棒材中心增强。文献［5］等采用距离变换方法实现中心增强；文献 ［6］等首先在求取实时棒材断面图像八方向边缘及其梯度信息的基础上，采用cheers方法将各个边缘点分别沿其梯度方向向中心聚集实现对棒材中心的增强。但是，这些方法总体来说采用的仍然是特定尺寸理想圆形目标的识别思路，对于某些生产工艺较好的棒材厂而言，其流水线上的棒材断面形状和尺寸能较好的拟合标准圆，棒材堆叠情况也不严重，采用上述方法可保证高的识别精度。然而国内大部分棒材厂的生产工艺达不到这种水平，很多棒材断面的形状和尺寸都可能偏离先验标准圆形信息的预设，并且偏离程度也不确定，因此漏识别或误识别情况较多。虽然文献 ［4］中考虑到棒材对象的类圆特性，定义了正八边形模板，但是这个模板的形状和尺寸也依旧是固定的。

模糊集理论能有效描述目标的不确定性特性。本文将模糊理论引入到标准霍夫圆变换 （circle Hough transform，CHT）方法中，以半径为r的标准圆边缘点为中心环，定义了一个隶属函数宽度为2＊Δr的模糊梯度卷积核οOFSC，有效描述了棒材这一形状、尺寸不规则的类圆形目标先验信息。基于该模糊梯度卷积核对棒材断面梯度图像进行卷积操作，能使类圆形对象各边缘点都直接沿其梯度方向，根据模糊梯度卷积核系数对棒材中心进行相应增强。该方法克服了采用标准圆形对象识别方法进行类圆形目标中心增强时容易引起的峰值扩散问题，有效实现了对严重堆叠的、形状大小不规则棒材断面中心的准确识别。

1 模糊梯度卷积核的定义

标准霍夫圆变换 （circle Hough transform，CHT）是检测标准圆形对象的经典方法［7，8］。设X 是图像空间I 中的边缘点集，x，y 是每个边缘点的坐标。图像空间的标准圆形可用式描述

式中：a，b——圆心x 轴、y 轴坐标，r——半径；鉴于此，CHT 可实现图像空间I 到三维参量累积空间A（a，b，r）的映射

式中：Θk＝（ak，bk，rk）是A 的第k 个量化分量，m——量化分量总个数，｜Sk｜——集合Sk的模

定位A 的峰值，该峰值点对应的各个参量值可有效描述图像空间I中圆形目标。检测I中特定半径Radius 的圆形目标时，A 从三维降为两维。I中的每个边缘点p（x，y）将映射成A 中以点p（x，y）为圆心，半径为Radius 的圆形曲线；则I中圆形目标上的所有边缘点映射成一组有公共交点的圆形曲线，这个公共交点也即A 中的峰值点。文献［7］定义卷积核οSc并以卷积方式有效实现了特定半径的圆形目标检测。卷积核οSc以核中心为圆心，半径为Radius的圆周上对应的卷积核系数为1，其余为0。基于卷积核οSc在图像上进行卷积操作时，图像中圆形目标边界上的点会在其圆心聚集从而产生峰值。定位峰值点即可确定圆形目标的圆心。

同一规格的棒材半径r信息已知，理想情况下可以用数学上半径r的标准圆参量形式加以描述。然而，由于受剪切工艺、堆叠遮挡、棒材表面氧化、噪声、数字化等因素的影响，在现场获得的棒材断面这一类圆形对象的边缘像素点不规则的分布在一个宽度为2Δr 的圆环形区域内，半径为r的理想圆形边缘是此圆环形区域的中心环。针对这样的类圆形对象，采用传统的卷积核οSc方法进行检测时，一个类圆形对象通过投票累积会在参量空间中形成多个局部峰值，即目标形状边缘点在参量空间投票累积时易于发生峰值扩散现象。

根据类圆形对象边缘像素点的分布情况，本文引入模糊集理论，以标准圆Οr边缘为中心环，定义了模糊梯度卷积核οOFSC［7－9］。οOFSC中心点C（x0，y0）的坐标为 （0，0），模板尺寸是（2（r＋Δr）＋1）＊（2（r＋Δr）＋1）。本文实验中选取Δr＝r。在οOFSC中，设和点C 相距r 的点集是S ＝｛xi，i＝1，2，…n｝，现将S中每个点xi用一组点集Xi＝｛xij｜xi－xij｜＝j，j＝－Δr…Δr｝代替，Xi中的点xij位于通过点C 与xi的射线上，且xi与点xij距离为j。在οOFSC中为每个点xij分配值μij ，μij 是距离j 的函数，表示点xij隶属于类圆形对象的程度。结合棒材断面边缘点的分布情况，隶属函数可以选择常用的两边型隶属函数。本文选用如下二维πfunction

另外，由于边缘点的梯度｜ΔI｜（x，y）在其邻域内最大，而圆形目标边缘上像素点的梯度方向和法线方向一致，两者的单位向量的点乘积值最大。为了能更好的利用边缘方向信息，本文将οOFSC定义为向量场OOFSC（OOFSC＿x，OOFSC＿y）T

2 棒材中心定位

2.1 粒度测量

2.2 基于OOFSC 卷积核的在线棒材中心增强

采用粒度测量方法离线获取各种规格棒材的标准半径r，并按照式 （5），式 （6）定义各种规格棒材对应的卷积核οOFSC，将它们分别离线保存。12mm 规格棒材的标准半径r＝5，其对应的OOFSC＿x，OOFSC＿y分别如图1、图2所示。

图1 OOFSC＿x卷积核图像

图2 OOFSC＿y 卷积核图像

对采集的实时棒材断面原始图像首先进行ROI区域选择、中值滤波、腐蚀、二值化、高斯模糊等一系列预处理操作。图3 （a）为一帧在线实时棒材预处理图像。

图3 棒材中心增强各步骤结果

其次，获取预处理图像的边缘梯度图像E ＝（Ex，Ey）T。图3 （b）、（c）中即为采用Sobel边缘检测算子获取的预处理图3 （a）的水平方向、垂直方向边缘梯度图。

然后按照式 （7）所示，首先将OOFSC＿xOOFSC＿y卷积核在Ex，Ey边缘梯度图像中进行卷积操作，然后将各自得到的卷积结果图像求和，最后进行归一化处理，得到如图3 （d）所示的棒材中心增强图像QOFSC（代表卷积操作）

2.3 棒材中心定位

在增强图像QOFSC的基础上，本文依次采用如下3个步骤进行处理，实现棒材中心的准确定位。

（1）候选点选取。根据模糊梯度卷积核οOFSC的设计原理易于分析得知，增强图像QOFSC的每个峰值点即为可能的类圆形棒材中心点。从上至下，从左到右依次扫描增强图像QOFSC的每个像素点pi（x，y），若点pi（x，y）的像素值大于等于其8邻域内所有像素的像素值，则点pi（x，y）属于候选点集CP 。

（2）局部峰值抑制。首先设置阈值参数Qthres，并依次扫描候选点集。若某候选点CPi在增强图像QOFSC中值小于Qthres，则删除该候选点CPi。该步骤主要用来删除因为噪声或者多类圆形对象堆积时在堆叠区域产生的小峰值点。考虑到棒材这种类圆形对象的大小和形状的不规则性，在每个类圆形对象中可能产生多个峰值点，这些峰值点中除了最大峰值点外，其他可视为该目标内的局部峰值点。这些局部峰值点采用如下非最大抑制方法进行删除：

步骤1 搜索现有候选点集CP 中像素值最大的点CPi；

步骤2 定位以点CPi为中心，半径为rthres的圆形区域，并将处于这一区域的其它候选点删除；

步骤3 返回步骤2，直到所有的候选点均处理完毕。

（3）距离检测。结合棒材尺寸的先验信息，采用距离检测方法删除多棒材堆叠时可能产生的棒材中心位置误检。依次取候选点集中的任意2个候选点CPi，CPj，其各自在增强图像QOFSC中对应像素值记为Q（xi，yi），Q（xj，yj）。R为候选点CPi，CPj之间的欧式距离。定义阈值参数rcmb表明2个棒材堆叠在一起的最小合并半径。距离检查的检测原则如下：

依次经过上述3个步骤的处理，保留下来的候选点即为最终定位的棒材中心点。

3 实验结果及分析

将圆形模板匹配方法、正八变形模板匹配方法、距离变换方法和本文方法比较 （注：为简化说明，依次将上述方法简称为CircleTM、OctangelTM、DT 和OFSC），重点针对棒材中心增强效果、棒材中心识别结果以及运行实时性3个问题进行了仿真实验研究。实验的硬件平台中CPU：Intel Core i7－2600，内存4 G，软件平台操作系统为Windows XP。12mm 的棒材规格最小，在冷床上更容易多层堆叠，其识别难度最大，所以仿真实验就专门针对12 mm在线棒材断面图像进行棒材中心识别。所有在线棒材断面图像均从某钢铁厂棒材生产工业现场实时采集得到。经粒度测量，12mm 棒材的标准半径r＝5；circleTM 方法中定义的圆形模板尺寸（2（r＋1）＊（2（r＋1）），其中圆半径为r；octangelTM 方法中定义的正八边形模板尺寸（2（r＋1）＊（2（r＋1）），正八边形外接圆的半径为r。本文OFSC方法的模糊梯度卷积核如第1节所述。

（1）中心增强效果对比与分析

该仿真实验的程序采用matlab7.0编写，图4给出了4种方法分别对图4 （a）中的原始图像进行中心增强后的归一化增强图像二维等高轮廓线。（注：图4 （a）中人工标定了棒材编号，另外为图片显示效果明显，图4中显示的等高轮廓线中等高线填充颜色从白到黑渐变表示归一化增强值从0到1变化。）

从图中可知，DT 方法相较于其它几种方法，中心增强图中各峰峰值差异较大，第①根和第⑦根棒材形成的峰值明显低于其它棒材。这是因为这2 根棒材由于剪切或者部分氧化的原因，使摄像头采集到的棒材图像呈现为尺寸偏小的不规则扁平形状，DT 方法是通过计算目标点到背景点的最短距离来实现增强，因此DT 方法就会针对这类形状的棒材产生小的峰值。DT 方法带来的峰值差异大的问题，会给后期中心定位选择合适的阈值参数Qthres带来困难。若阈值参数Qthres设置偏高，这些低峰值目标即为漏识别；而阈值参数Qthres设置偏低，其它高峰值目标区域会产生多个候选中心点，增加了误识别的概率。另外有效识别多层堆叠棒材对象是提高识别率的关键。第②根和第③根棒材以及第④和第⑤根棒材相互堆叠比较严重，CircleTM 方法、OctangleTM 方法还有DT 方法在增强图像中产生的两峰之间都明显形成了较高的马鞍形状连接区域，而OFSC 算法对于堆叠严重的2根棒材，却能生成独立的双峰形状。最后由于Cir－cleTM 方法、OctangleTM 方法还有DT 方法在增强图像中易于出现峰值的扩散，中心增强图像中形成的峰值区域都较大偏离棒材实际的质心。

图4 中心增强图二维等高轮廓线对比

（2）棒材中心识别效果对比与分析

该仿真实验的程序采用matlab7.0编写。采用4种算法分别进行中心增强后，均采用2.3 节步骤进行中心识别，其中涉及参数设置如下：r＝5；Qthres＝0.6；rthres＝0.6＊r；rcmb＝1.8＊r。部分识别结果如下：

从图5、图6 中的识别结果来看，CircleTM、OctangleTM 方法在多棒材堆叠时易造成误识别的情况，并且也能明显看到，识别出的棒材中心位置易于偏离棒材断面质心。DT 算法对于扁平形状的棒材很容易造成漏识别情况，而本文提出的OFSC 方法对于各种形状的棒材均能较为有效的识别，且识别出的棒材中心位置也和棒材断面质心位置接近。

（3）识别算法实时性验证

在线棒材计数系统对算法的实时性要求较高。本系统摄像头的实时采集帧率为25f／s。由于采用场采集方式，则要求算法对采集到的每幅图片处理时间为20ms。考虑到模板大小远低于图像大小，本实验中将卷积操作转换为图像和卷积核的傅里叶变换的乘积操作，这样处理不仅降低了算法复杂度，同时算法的运算时间和卷积模板大小关联也大大降低。考虑实际现场12mm 的棒材堆叠层数最多为5－6层，故本系统选取的图像ROI大小为300＊70。系统使用计算机视觉库opencv2.1，采用VC2010开发。连续处理5段连续50 帧的现场实时棒材断面图像，算法平均时间8.3ms，这为后面的实时计数算法预留了充足的时间，能保证系统实时要求。

图5 各算法棒材中心识别结果一

图6 各算法棒材中心识别结果二

4 结束语

棒材中心准确识别是实现在线棒材计数系统需要解决的关键问题之一。本文引入模糊集理论，定义了一个模糊梯度卷积核οOFSC，有效描述了棒材断面这一形状、大小不规则，且易于堆叠类圆形对象的先验信息。采用卷积核οOFSC对棒材断面梯度图像进行卷积操作，一方面能使各边缘点直接沿其梯度方向增强中心，减少计算工作量；同时也使各个边缘点均能根据对应卷积核系数对中心点进行累积增强。实验结果表明，针对各种形状大小偏离标准圆，且相互之间堆叠严重的类圆形对象，该方法均能生成形状呈现单峰、且峰值差异较小的棒材中心增强效果图。在此基础上采用候选点选取、局部峰值抑制、距离检测3个步骤识别棒材中心位置，有效减少误识别和漏识别情况。最后该方法的平均执行时间为8.3ms，能满足系统实时性要求。

本文提出的模糊梯度卷积核方法同样能适用于其它各种类圆形对象的识别领域。如何根据类圆形对象的变形程度选择合适的Δr以及模糊隶属函数，将是下一步的重点研究工作。

［1］ZHANG Yancheng，MAO Hanping，HU Bo，et al.Separate algorithm for overlapping spots in crop disease image ［J］.Transactions of the Chinese Society for Agricultural Machinery，2008，39 （2）：112－115 （in Chinese）. ［张艳诚，毛罕平，胡波，等.作物病害图像中重叠病斑分离算法 ［J］.农业机械学报，2008，39 （2）：112－115.］

［2］XIE Zhonghong，JI Changying，GUO Xiaoqing，et al.Detection and location algorithm for overlapped fruits based on concave spots searching［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42 （12）：191－196 （in Chinese）. ［谢忠红，姬长英，郭小清，等.基于凹点搜索的重叠果实定位检测算法研究［J］.农业机械学报，2011，42 （12）：191－196.］

［3］ZHANG Da，XIE Zhi，AI Jiangshan.Research on rebar section positioning method in online rebar counting system ［J］.Chinese Jourual of Scientific Instrument，2010，31 （5）：1174－1178 （in Chinese）. ［张达，谢植，艾江山.棒材在线计数中断面定位方法研究 ［J］.仪器仪表学报，2010，31 （5）：1174－1178.］

［4］HOU Weiyan，DUAN Zhenwei，ZHAO Hui.Measurement method for binding bar based on muitiple tempiates matching ［J］.Process Automation Instrumentation，2013，34 （4）：7－13 （in Chinese）.［候维岩，段政伟，赵慧.基于多模板匹配的捆扎棒材计量方法［J］.自动化仪表，2013，34 （4）：7－13.］

［5］Pinaki Pratim Acharjya，Dibyendu Ghoshal.Watershed segmentation based on distance transform and edge detection techniques ［J］.International Journal of Computer Applications，2012，52 （13）：6－10.

［6］XU Longfei.Simulation study on the system for steel bar dynamic splitting based on visual feedback control［D］.Changsha：Central South University，2012 （in Chinese）.［徐龙飞.基于视觉反馈的动态分钢系统仿真研究［D］.长沙：中南大学，2012.］

［7］Hollitt，Christopher.A convolution approach to the circle Hough transform for arbitrary radius［J］.Machine Vision and Applications，2013，24 （4）：683－694.

［8］Shih－Hsuan Chiu，Che－Yen Wen，Jun－Huei Lee，et al.A fast randomized generalized Hough transform ［J］.International Journal of Innovative Computing，Information and Control，2012，8 （2）：1103－1116.

［9］Izadinia H，Sadeghi F，Ebadzadeh MM.Fuzzy generalized Hough transform invariant to rotation and scale in noisy environment［C］／／IEEE International Conference on Fuzzy Systems，2009：153－158.

［10］NI Chao，LI Qi，XIA Liangzheng.Automatic segmentation and counting of touching bar images［J］.Journal of Data Acquisition ＆ Processing，2007，22 （1）：72－75 （in Chinese）［倪超，李奇，夏良正.粘连棒材图像自动分割计数技术［J］.数据采集与处理，2007，22 （1）：72－75.］