基于双目视觉的输送带表面损伤定量分析方法

摘" " 要： 为了对输送带表面损伤进行定量分析以有效判断其损伤程度，并根据损伤程度选择检修方法和时间，为工作人员检修提供依据，提出了一种基于双目立体视觉的输送带表面损伤定量分析方法。该方法首先对双目相机进行相机标定，对输送带表面损伤图像进行图像处理校正、立体匹配，基于视差原理根据三角测量原理获取目标点的三维空间信息，通过数学计算模型对损伤程度进行定量分析，提出了改进的Census变换和SGM（semi-global matching）算法相结合的立体匹配算法。结果表明：提出的改进算法匹配效果有所提升，和Census变换算法及梯度算法进行对比，误匹配率分别降低了5.26百分点和3.92百分点，得出的视差图精度最高；通过提出的方法对输送带表面损伤进行定量分析，在输送带损伤长度、宽度、深度三者误差中，损伤深度误差最大为8.5%，仍在可接受范围。

关键词： 输送带表面损伤；定量分析；双目立体视觉；Census变换；SGM算法；立体匹配；三角测量原理

中图分类号： TD528" " " " " " 文献标志码： A" " " " " " " " 文章编号：" １６７１－０２４Ｘ（２０24）０4－００60－07

Quantitative analysis method of conveyor belt surface

damage based on binocular vision

LI Jie， WANG Weihong

（School of Electronics and Information Engineering， Tiangong University， Tianjin 300387， China）

Abstract： In order to quantitatively analyze the surface damage of conveyor belt and effectively judge its damage degree， maintenance methods and time are selected according to the damage degree to provide basis for staff maintenance . A quantitative analysis method of conveyor belt surface damage based on binocular stereo vision was proposed. In this method， the binocular camera was calibrated first， the conveyor belt surface damage image was processed and corrected， and the three-dimensional matching was carried out. The three-dimensional spatial information of the target point was obtained based on the parallax principle and the triangulation principle， and the damage degree was quantitatively analyzed through the mathematical calculation model. A stereo matching algorithm based on improved Census transform and SGM （semi-global matching） is proposed. The results show that the matching effect of the proposed algorithm is improved. Compared with Census transform algorithm and gradient algorithm， the mismatching rate is reduced by 5.26 percentage points and 3.92 percentage points， respectively， and the parallax map accuracy is the highest. The proposed method is used to quantitatively analyze the surface damage of the conveyor belt. Among the errors of the length， width and depth of the conveyor belt damage， the maximum error of the damage depth is 8.5%， which is still within the acceptable range.

Key words： conveyor belt surface damage； quantitative analysis； binocular stereo vision； Census transformation； SGM algorithms； stereo matching； principle of triangulation

输送带作为带式输送机的重要零部件，工作中容易被利器拉扯使输送带表面产生损伤，为防止损伤愈加严重造成的危害，应对输送带表面损伤进行定量分析研究，判断其损伤的程度，并根据损伤程度灵活地采取处理方法进行修补。视觉检测作为无损检测技术，广泛应用于各领域，Jiang等[1]利用双目视觉系统从复杂环境中准确提取手势信息；He等[2]提出一种基于双目视觉的河道地形测量技术；张建东[3]应用双目视觉研究了危化品库内堆垛火灾检测算法。对于输送带检测研究也不例外，但现阶段，采用视觉技术的多数研究只涉及输送带表面是否发生损伤这一定性问题[4-9]，鲜少研究对损伤的定量分析进行关注。文献[10]通过采用图像处理技术中数学形态学方法求得输送带表面损伤的长度，该方法基于单目图像进行测量，无法定量损伤的深度。文献[11-14]通过采用不同的方法主要对输送带表面损伤图像分割进行研究。文献[15]将线性激光照射在输送带上，通过检测激光线条骨架、断点位置以及激光线条的波动位置来确定输送带纵向撕裂的区域；文献[16]仍然采用投射激光线条的方法，检测激光线条轮廓线的断裂特征来判断是否发生纵向撕裂。以上方法仅检测输送带表面是否发生或存在损伤，只进行了定性问题的研究，没有对输送带表面损伤的长度、宽度、深度等特征信息的计算，即未涉及表面损伤定量问题的分析，无法实现对损伤的定位和趋势跟踪，以及无法根据损伤程度来调整其修补方法和修补时间。

本文采用双目立体视觉技术，提出了一种改进的Census变换[17-18]和SGM（semi-global matching）算法[19]相结合的立体匹配算法（CG-SGM算法），结合相机标定技术[20]、三角测量原理对输送带表面损伤进行定量分析研究。该研究方法是非接触式的，方便工人随时查看和实时关注损伤程度，可降低工人工作的危险系数。

1 双目立体视觉原理及模型

人的双眼具有感知场景深度的特征，双目立体视觉的发展正是模拟了这一特征。双目相机拍摄被测物体，将左右图像进行极线校正使其满足共面行对准，为立体匹配提供条件；根据立体匹配算法求得视差，基于双目测距原理实现对被测物体的测量。双目立体视觉模型如图1所示。

由图1可以看出，它们的成像平面已共面，两相机的X轴重合，点P在左相机成像平面上的投影为PL、在右相机成像平面上的投影为PR，双目相机的两个光心用OL和OR表示。

2 立体匹配算法

本文提出的CG-SGM算法使用改进的Census变换作为匹配代价函数，采用SGM算法的动态规划方法进行代价聚合。

2.1 匹配代价计算

Census变换的代价计算主要依靠窗口中心点的像素灰度值，通过比较窗口中心点和窗口领域内各点像素值的大小得出中心点的二进制编码，取左右图对应点的编码汉明距离作为匹配代价，计算方式如图2所示，公式为：

式中：ad是a在右图中视差为d的对应点；N（a）为a的Census编码；CC（a，d）为a和ad对应点间的匹配代价。

Census变换存在稳定性差、容易被噪声影响的缺点，究其原因，是它太依赖局部窗口的中心像素点。因此，在原有Census变换的基础上进行改进，引入图像梯度信息，改进的Census变换由像素灰度值和图像梯度信息决定，可以增强稳定性。图像梯度信息展示了相邻像素点间灰度值的变换情况，是一种图像的固有属性。梯度计算表达式为：

改进的Census变换代价方法的编码方式由两部分组成：一部分按照传统的Census变换编码方式，窗口内中心点的像素值作为参考值；另一部分用像素的梯度幅度值代替像素值。最后两部分相结合得出编码信息，用于汉明距离的计算。以3×3窗口为例，说明改进的Census变换的编码方式，如图3所示。

从图3中可以看出：像素值没有被干扰时，Census编码为10011011，假设中心像素点被干扰，像素值由45突变为70，则Census编码变为00000000，有5/8的码值发生了变化；用本文改进算法进行编码，编码结果为0000000011011010，发生突变的码值占3/8，数据可见误差低于传统Census编码的结果。因此本文改进的Census变换不但能够合理地使用图像局部信息，体现了图像像素梯度幅度的变化，还能降低中心点值被干扰时造成的误差。

2.2 代价聚合

CG-SGM算法中代价聚合使用SGM算法的动态规划方法，构建一个能量函数，将代价聚合问题转换为求解能量函数最小值问题。能量函数表达式为：

式中：d为视差；Edata为数据项，是视差d对应的每个像素的代价之和；Esmooth为平滑项，如果相邻像素间的视差变动大于一定像素，平滑项进行惩罚使结果更优。

代价聚合的目的是求解能量函数最小化对应的所有像素代价值，对式（4）的求解很是困难。因此，SGM算法采用基于扫描线的方法，使用一维路径聚合的方式来近似二维最优，相比其他解决方法效率更高，视差图效果相当。该方法采用多条路径代价累加，在某一路径s上，像素p的路径代价计算公式为：

式中：第1项是数据项；第2项是平滑项；第3项是控制项，防止路径代价值越界；P1、P2为对相邻像素的视差差异的惩罚力度。总路径代价值计算公式为：

2.3 视差计算及优化

视差计算采用WTA算法和子像素拟合的方法得到视差值。采用左右一致性方法进行像素视差值的唯一性检测，剔除图像中匹配错误的点，提高匹配精度。左右一致性方法是将左右图像互换位置再进行立体匹配，若像素的这两次视差值间的差值小于一定阈值（一般为1个像素），即|Dlp - Drp|≤1，则被保留，反之被剔除。Dlp为初始视差值，Drp为左右图像互换位置进行匹配得到的视差值。之后通过对视差图中连通的极小区域加以去除，再通过中值滤波器对视差图像进行平滑处理，消除视差图中可能出现的噪声以及非连续的错误匹配点，最终得到高精度的视差值图像。

2.4 算法验证

为了能够客观地评价CG-SGM算法性能，算法的匹配精度采用误匹配率来定量。误匹配率可表示为：

式中：dc（x，y）为CG-SGM算法中点（x，y）的视差值；dr（x，y）为在标准视差图中点（x，y）的视差值；M代表有效像素点的总数；？啄为误匹配评判阈值，即改进算法所得视差图与标准视差图相比较差？啄以上时，认为该点是误匹配点。

为了验证CG-SGM算法的有效性，分别将CG-SGM算法的代价函数和传统Census代价、梯度代价进行对比实验，代价聚合、视差计算及优化采用相同的方法，选择middlebury数据集中cone、reindeer、cloth3、wood2这4幅图像对作为实验数据，获得的视差图如图4所示，3种方法的误匹配率结果如表1所示。

通过测试的4组图像，CG-SGM算法中的代价函数均优于Census代价和梯度代价，平均误匹配率较Census代价降低了5.26%，较梯度代价降低了3.92%。从图4和表1中看出，本文算法视差图效果较好的是wood2图，表现较差的是cone图，由此发现本文算法更适合对大块重复、颜色未有大幅度变化且纹理特征不明显的区域进行立体匹配，且边缘保持效果较优，适合于输送带研究的应用场景中；对纹理丰富的区域会发生较多的误匹配，这可能由于代价聚合对颜色差异大的区域设置了较高的惩罚系数。

采用3种算法对以上4幅图像对进行匹配，运行时间如图5所示。由图5可见，本文算法的运行时间分别为15.8 s、49.5 s、31.9 s、41.3 s。与其他2种算法相比，本文算法能够有效减少匹配率，但还不能实现实时处理，后续将在使用图形处理器（GPU）并行运算这方面进行深入研究，以实现实时处理。

3 输送带表面损伤定量分析

首先对双目相机进行相机标定，得出相机各参数。拍摄并检测出输送带表面损伤图像对，并进行一系列预处理操作来消除图像噪声干扰，采用极线校正技术使左右图像满足共面行对准；其次使用本文CG-SGM立体匹配算法得到视差结果，由三角测量原理和相机内外参数进行目标点的三维坐标求解。三角测量原理图如图6所示。

由图6可见，两相机光轴平行，成像平面重合，则两相机镜头焦距f相等，光轴之间长度为基线B，目标点P在左、右相机成像平面的映射分别为PL和PR，对应的横坐标为xl和xr，在y方向的坐标是相同的，即yl = yr。则通过相似三角形即可求出深度Z：

（2） 计算表面损伤的宽度信息时，首先标定表面损伤左侧一个固定点，然后采用距离公式计算左侧固定点与其某一邻域内所有右侧边界点间的距离，得出最大的数值作为损伤的宽度值。

（3） 损伤深度h的大小等于输送带表面损伤最深处目标点的Z轴坐标Zmax减去该表面损伤边缘无损伤处目标点的Z轴坐标。

采用本文定量分析方法对输送带表面损伤进行定量，得出表面损伤外接矩形的长度、宽度和损伤深度数据，对损伤进行分类，判断表面损伤程度。表面损伤轻微的，在输送带定时检修时，合理分配其修补时间；损伤严重的应停机对其进行修补，并利用停机时机对其他表面损伤进行修补，避免提早淘汰、更换输送带。通过定量分析获得的数据还可以作为工作人员维护修补输送带的依据。

4 仿真实验

4.1 实验平台搭建

本研究处于实验室阶段，组成的定量分析系统成本低，操作容易，便于使用；系统平台由双目相机、计算机、光源、支架、输送带组成，将双目相机和计算机贯穿起来的是一条USB数据线，双目相机固定在带式输送机上，实验平台展示如图7所示。

本实验是在基于Win10桌面操作系统下进行的，相机标定的工作是在Matlab软件的工具箱中进行的，标定结果稳定精确；在Visual Studio 2022软件平台上配置Opencv开源库进行图像处理、立体匹配和三维测量操作，整个系统的具体运作流程如图8所示。

4.2 实验结果

实验室环境下，搭建好实验平台，模拟输送带工作现场的实验环境，图9所示为双目相机检测输送带损伤的图像示例与视差图。图9（a）、（b）为双目相机采集并检测出的2组表面损伤样例左右图像，通过使用本文提出的方法对图像上的4处完整损伤（标号①、②、③、④）进行定量分析，图9（c）为2组样例图像使用本文方法得到的视差图，由图9（c）可以清晰地看到其损伤轮廓。

通过本文算法测得的损伤外围矩形的长度、宽度、深度，与实际标尺测量结果相对比，测量单位为mm，①、②、③、④的损伤长度、损伤宽度、损伤深度定量分析结果分别如表2—表4所示。由表2—表4数据可以看出：①的损伤最严重，应重点关注它的发展情况，若损伤深度继续增大时，可以采取停带对其进行修补；损伤②、③、④相比于①的损伤较轻，在输送带停带检修时为其分配合理的检修时间进行修补。

表2—表4显示，损伤长度的平均误差为5.1%，损伤宽度的平均误差为7.1%，损伤深度的平均误差为8.5%，误差均在可接受范围内。由于输送带工作环境光线暗，且存在相机角度问题，损伤撕裂两侧会遮挡损伤深度的光线，可能导致检测深度误差增大，后续工作对此问题将会继续改进。

5 结 论

（1） 提出了一种基于双目立体视觉技术的输送带表面损伤定量分析方法，能够有效判断其损伤程度，为下一步的维修提供便利。

（2） 提出了改进的Census变换和SGM（semi-global matching）算法相结合的立体匹配算法（CG-SGM匹配算法）。和Census变换算法及梯度算法进行对比，误匹配率分别降低了5.26百分点和3.92百分点，得出的视差图精度最高。

（3） 通过提出的双目立体视觉方法对输送带表面损伤进行定量分析，在输送带损伤长度、宽度、深度三者平均误差中，损伤深度平均误差最大，其值为8.5%，仍在可接受范围内。

参考文献：

[1]" " JIANG D， ZHENG Z J， LI G F， et al. Gesture recognition based on binocular vision[J]. Cluster Computing， 2019， 22（S6）： 13261-13271.

[2]" " HE P L， LIU W L. Research on river channel terrain measurement method based on binocular vision[J]. Applied Mechanics and Materials， 2012， 239/240： 717-720.

[3]" " 张建东. 基于双目视觉的危化品库内堆垛火灾检测算法研究[D]. 北京： 北京石油化工学院， 2021.

ZHANG J D. The study of algorithm for fire detection in dangerous chemicals warehouse based on binocular vision technology[D].Beijing： Beijing Institute of Petrochemical Technology， 2021 （in Chinese）.

[4]" " 王志星， 乔铁柱. 带式输送机胶带纵向撕裂双目视觉在线检测系统研究与设计[J]. 中国煤炭， 2018， 44（4）： 87-90， 105.

WANG Z X， QIAO T Z. Study and design on binocular vision online monitoring system of conveyor belt longitudinal tearing[J]. China Coal， 2018， 44（4）： 87-90， 105 （in Chinese）.

[5]" " ZHANG M C， ZHANG Y， ZHOU M S， et al. Application of lightweight convolutional neural network for damage detection of conveyor belt[J]. Applied Sciences， 2021， 11（16）： 7282.

[6]" " 刘伟力. 输送带纵向撕裂机器视觉在线监控系统研究[D]. 太原： 太原理工大学， 2017.

LIU W L. Research on machine vision online monitoring system of conveyor belt longitudinal tear[D].Taiyuan： Taiyuan University of Technology， 2017 （in Chinese）.

[7]" " 李泽潭， 苗长云， 李现国， 等. 基于机器视觉的输送带破损检测算法[J]. 天津工业大学学报， 2014， 33（3）： 66-68， 79.

LI Z T， MIAO C Y， LI X G， et al. Conveyor belt breakage detection algorithm based on machine vision[J]. Journal of Tianjin Polytechnic University， 2014， 33（3）： 66-68， 79 （in Chinese）.

[8]" " 闫来清. 基于机器视觉的输送带纵向撕裂在线检测系统研究与实现[D]. 太原： 太原理工大学， 2012.

YAN L Q. A study and implementation of on-line detection system for longitudinal rip of conveyor belt based on machine vision[D].Taiyuan： Taiyuan University of Technology， 2012 （in Chinese）.

[9]" " YANG Y L， MIAO C Y， LI X G， et al. On-line conveyor belts inspection based on machine vision[J]. Optik-International Jour-nalfor Light and Electron Optics，2014，125（19）：5803-5807.

[10]" 魏涛， 王召巴， 金永. 煤炭输送带表面裂纹自动检测技术研究[J]. 煤矿机械， 2010， 31（2）： 211-213.

WEI T， WANG Z B， JIN Y. Research on automatic detection technology for coal conveyor belt surface crack[J]. Coal Mine Ma-chinery， 2010， 31（2）： 211-213 （in Chinese）.

[11]" 彭晨，谢斌，张帅帅，等." 一种基于动态图像的大型运载皮带撕裂故障智能检测方法：CN201910268327.X[P]. 2019-08-09.

PENG C， XIE B， ZHANG S S， et al. An intelligent detection method for tear fault of large carrying beltbased on dynamic image： CN201910268327.X[P]. 2019-08-09（in Chinese）.

[12]" 杨毅，侯成成，乔铁柱，等. 一种基于红外图像的实时矿用胶带预警撕裂检测方法：CN201811338007.9[P]. 2022-01-28.

YANG Y， HOU C C， QIAO T Z， et al. A real-time mine tape early warning tear detection method basedon infrared image： CN201811338007.9[P]. 2022-01-28（in Chinese）.

[13]" 甘福宝， 黄友锐， 韩涛， 等. 基于狮群优化二维Otsu算法的输送带撕裂检测方法[J]. 工矿自动化， 2019， 45（10）： 55-60， 79.

GAN F B， HUANG Y R， HAN T， et al. Conveyor belt tear detection method based on lion group optimization two-dimensional Otsu algorithm[J]. Industry and Mine Automation， 2019， 45（10）： 55-60， 79 （in Chinese）.

[14]" 耿杰龙. 基于机器视觉技术的输送带撕裂检测应用研究[J]. 煤矿现代化， 2018（4）： 59-61.

GENG J L. Research on the application of conveyer belt tearing detection based on machine vision technology[J]. Coal Mine Modernization， 2018（4）： 59-61 （in Chinese）.

[15]" 李现国，苗长云，杨彦利，等. 一种基于线激光图像的输送带纵向撕裂在线检测方法：CN201610619487.0[P]. 2017-01-04.

LI X G， MIAO C Y， YANG Y L， et al. An online detection method for longitudinal tearing of conveyor belt based on line laser image：CN201610619487.0[P]. 2017-01-04（in Chinese）.

[16]" 韩雷. 基于线激光视觉检测的矿用输送机纵向撕裂保护系统研究[J]. 神华科技， 2018， 16（9）： 29-31， 49.

HAN L. Study about mine conveyor longitudinal tear protection system by using line laser visual detection[J]. Shenhua Science and Technology， 2018， 16（9）： 29-31， 49 （in Chinese）.

[17]" ZABIH R， WOODFILL J. Non-parametric local transforms for computing visual correspondence[C]//Computer Vision — ECCV′94. Berlin， Heidelberg： Springer Berlin Heidelberg， 1994： 151-158.

[18]" 毛先胤， 邢懿， 罗国强， 等. 基于改进SGBM算法的输电线路覆冰厚度测量[J]. 自动化与仪器仪表， 2021（11）： 23-26， 31.

MAO X Y， XING Y， LUO G Q， et al. Measurement of ice thickness of transmission line based on improved SGBM algorithm[J]. Automation amp; Instrumentation， 2021（11）： 23-26， 31 （in Chinese）.

[19]" HIRSCHMULLER H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（2）： 328-341.

[20]" ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334.

本文引文格式：

李杰，王卫红. 基于双目视觉的输送带表面损伤定量分析方法[J]. 天津工业大学学报，2024， 43（4）： 60-66.

LI J， WANG W H. Quantitative analysis method of conveyor belt surface damage based on binocular vision[J]. Journal of Tiangong University， 2024， 43（4）： 60-66（in Chinese）.

收稿日期： 2022-11-27

基金项目： 天津市科技计划成果转化接力项目（18YFJLCG00060）

通信作者： 李" " 杰（1979—），女，博士，副教授，主要研究方向为3D检测和无线自组网络。E-mail：lijie@tiangong.edu.cn