基于机械臂的食物储藏室热缺陷检测系统

马志艳 李翱翔 段宇飞 李江华

(1. 湖北工业大学，湖北 武汉 430068；2. 湖北省农业机械工程研究设计院，湖北 武汉 430068)

目前中国的储藏室大多是由老旧仓库或民房改建而成， 一旦食物储藏室保温围护出现结构缺陷，室内能耗升高引起储藏的物品变质，就会造成不同程度的经济损失[1-2]。

食物储藏室围护结构中出现因保温材料分布不均、受潮、材料缺失等使空气易于渗透，这种缺陷称为围护结构的热工缺陷[3]。中国在20世纪90年代开始了在储藏室建筑热工缺陷方面的红外检测研究，相比于传统的热工缺陷检测方法(热箱法、热流计法)，红外热成像技术在检测过程中不会损坏被检测的墙面且具有高精度和测温范围广的优点[4]。刘长利[5]研究了红外热成像技术在建筑物围护结构热工缺陷中的应用，分析了建筑围护结构热工缺陷的主要类型，更全面地推进红外技术在建筑围护结构的检测工作。王杨洋等[6]采用红外辐射成像仪对目标墙面实行检测，通过发现建筑物外墙热工缺陷所在处，以确定热工损耗部位，对墙体的质量进行评价，但红外检测每次仅能扫描被测墙面的小部分区域，而且需要人工推动成像仪来完成整个室内的扫描，人的频繁活动不仅会干扰储藏室的制冷环境，还会降低检测的准确程度。在红外检测探析中，中国已经存在诸多的研究成果，但其主要集中于热工缺陷的定性分析方面[7-9]，对保温墙体的热工缺陷检测目前尚未存在整体的检测系统，且人工红外检测效率较低，存在一定的局限性[10]，有待通过机械装置提升其检测效率。研究拟采用机械臂搭载热红外相机和履带式行走机构为一体的检测机构，对食物储藏室的围护机构进行热工缺陷检测，结合改进的红外图像处理判别方法，以实现对墙体“缺陷”的高效、智能检测。

1 检测装置结构设计与选用

1.1 总体结构设计

检测装置包括智能行走平台和检测系统两个部分。履带式机构优势在于其支撑面积大，适合在冷库的地面上行驶，而且履带支撑面上有履齿，不易打滑造成小车轨迹偏移，具有较强的地形适应能力。小车行走机构由一台步进电机驱动底盘的两条履带同时移动，小车前端配置了两部由电缸组成的刹车装置，当小车需要进行转弯动作时即可通过上位机发送指令使控制小车刹车的电缸运动，进而使其中一条履带刹车抱死达到让装置转弯的目的，冷库围护结构检测小车的结构如图1所示。

1. 热红外相机 2. 6轴机械臂 3. 机械臂固定平台 4. 激光测距仪 5. 行走小车 6. 电源 7. 电控柜

1.2 机械臂最大工作空间距离指标

在考虑机械臂的各个杆长时，延长不同部位的杆长会影响机械臂的工作空间，而缩短机械臂的杆长又会很大程度缩小工作空间。根据GB/T 12642—2013《工业机械人性能规范及其试验方法》对机械臂工作空间的设定，假设机械臂手腕中心到基本坐标系原点的距离为X，定义P=(px,py,pz)T表示机械臂末端在基础坐标系下的位置矢量。

(1)

(2)

Rmax=Xmax-Xmin，

(3)

式中：

Xmax、Xmin——机械臂手腕中心到基坐标系原点的最大、最小距离，cm；

Rmax——机械臂的最大工作空间，cm。

1.3 机械臂D-H坐标系建立及参数设定

对选用的六自由度机械臂的运动特性进行分析，首先要建立参数模型。根据1955年由Denavit与Hartenberg所提出的D-H参数法，在每个机械臂的杆件关节上建立坐标系[11-13]用来描述相邻连接杆件的坐标系关系(图2)，杆件的D-H参数如表1所示。

表1 UR5机械臂的D-H参数

图2 机械臂仿真

1.4 履带式行走机构设计

为了简化结构的设计，仅由一台电机提供驱动力，独立的电机置于底架的前端，传动经过减速器和行走支架到达驱动轮，缩短了传动路线有利于机身平衡，方便维修和检查。履带式行走机构结构设计图如图3所示。

1. 导向轮 2. 传动连杆 3. 张紧轮 4. 小负重轮 5. 连接钢板 6. 大负重轮 7. 驱动轮 8. 支重轮 9. 履带 10. 无刷电机 11. 变速箱 12. 进退开关 13. 电池 14. 油门踏板 15. 电缸

检测小车采用履带式机构，在储藏室的冰面上行走也不打滑，且具有较好的承重性。电池放置在5(连接钢板)内部的凹槽中用于向机构供电。选用无刷电机作为履带行走的驱动电机，采用霍尔元件与油门踏板的配合控制电机的速度输出，霍尔元件控结构图及驱动电路图如图4所示。

图4 霍尔元件

2 检测路径设计与规划

2.1 热红外相机成像模型

热红外相机对被测墙面的单次成像如图5所示。热红外相机与被测墙面之间的垂直距离、热红外相机在机械臂上的水平和垂直视场角可计算出热红外相机视野区域的面积大小。

C. 热红外相机 A. 视野区域 V. 视野区域长度 H. 视野区域宽度 L. 视距 α. 相机垂直视角 β. 相机水平视角

计算公式：

(4)

(5)

(6)

式中：

A——视野区域，cm2；

V——视野区域长度，cm；

H——视野区域宽度，cm；

L——视距，cm；

α——相机垂直视角，°；

β——相机水平视角，°。

确定相机视野面积大小后即可确定对整面墙体的采集次数，从而确定检测小车的前进步距和机械臂的抬升距离。

2.2 检测路径规划

首先在上位机中输入室内的墙体尺寸，选择热红外相机的成像距离，根据其成像距离确定每次步进距离。假设检测小车与被测冷库围护墙体的距离为d，被测的冷库围护结构墙体的面积为H×W(高、宽)，根据视野区域计算热红外相机单次所能拍摄到的热红外图像尺寸为h×v。则理论上所需要机械臂所需抬升(下降)的次数为X=W÷v；所需要的检测小车上下的次数为Y=H÷h。检测过程如图6所示。

图6 检测路径规划

检测墙体检测路径规划如图7所示。检测过程中小车每次行走的距离为热红外相机所能采集的图像大小W，每次行走后机械臂可依照图7中所设定的路线检测所规划好的两列墙面。以墙角作为原点建立二维坐标系，通过上位机计算出每次相机采集的位置(黑点)将其坐标输入六轴机械臂进行逆运动求解，进而得到机械臂各个杆件的转动角度使热红外相机达到指定的拍摄位置。

黑点表示拍摄位置

3 检测算法实现

3.1 红外图像采集与预处理

根据检测小车的路径规划，通过上位机向热红外相机发送采集指令，在采集过程中依照图像的采集顺序对图像进行标号以便后续的分析处理，采用高德公司型号为IPT640的热红外相机，通过千兆以太网线采集围护结构的热红外图像信息，该红外相机附带有自身的采集软件NetCore采集图像，通过相机的自带的SDK软件开发工具包在Visual Studio上实现对冷库围护结构的图像采集。采集流程图如图8所示。

图8 红外相机采集到的温度场图像

为了增加处理的精度和效率，在进行缺陷的识别与定位前先对采集的图像进行预处理，主要包括：① 对图像进行去噪处理，提高图像的质量并突出重点须关注的元素；② 对图像进行一些基本的变换，方便后续的对比。经过灰度化后的图像与原图对比如图9所示。

图9 热红外图像与灰度图

3.2 基于改进Otsu分割方法的缺陷定位与分级

改进Otsu分割处理的过程是选取合适的图像阈值使类间方差最大化，进而得到最好的分割图像效果。其数学描述过程：

(7)

式中：

N——像素个数总和；

M——图像的平均强度；

L——图像的灰度级；

Ni——灰度为i的像素点个数。

将采集到的热红外图像的目标区域与背景区域出现的概率和两者均值的数学计算：

(8)

(9)

(10)

(11)

式中：

M0、M1——图像目标区域与背景区域像素点的灰度均值，取值范围0～255；

W0、W1——出现的概率，%；

t——确定的最佳阈值，数值范围为0～L。

图像分割类方差可根据式(12)～式(13)得出。

δ2=(M0-M)2×W0+(M1-M)2×W1，

(12)

t=argmax{δ2(t)}。

(13)

利用信息熵确定阈值的分割准则时，能够避免图像中对比度和亮度等信息对算法的约束，能更好地体现出分割算法的优越性。根据香农公式中对熵值的定义，结合传统Otsu方式[14]得到的信息熵值为：

(14)

式中：

Q0、Q1、Q2——整体图像、检测目标、图像背景的信息熵值。

当采用信息熵代替传统的Otsu准则中的灰度均值，即可得到推广形式的阈值判别函数。

(15)

式中：

S0、S1、S2——整个图像、背景与目标的特征；

t*——算法优化后得出分割阈值。

式(15)为信息熵的计算公式，优化后的阈值能清楚地分割出红外图像的目标区域和背景区域。图像处理过程如图10所示。

图10 图像处理过程

通过OPENCV库函数可找到并绘制出不同阈值下缺陷轮廓图片，如图11所示。

图11 原图及处理后的图像

4 检测试验

选用六轴机械臂与履带式小车组成检测装置主体，采用SoildWorks 软件对六轴机械臂进行三维实体建模，完成机械臂与行走小车的组装。试验中为了方便图像的采集采用温热水作为“缺陷”热源部位。

4.1 试验软硬件设置

机械臂选用的是Universal Robots所生产的六轴机械臂[15]，共有6个自由度，机械臂工作电压为24 V DC，可由小车的电瓶供电。小车转向采用电缸控制其工作电压为24 V DC，最大负载为1 600 N，运动速度为7～60 cm/s。上位机检测控制程序界面设计如图12所示。

图12 检测参数设置界面图

当热红外相机、机械臂串口、激光测距仪与上位机成功连接后，上位机界面会输出连接成功样式的字符，此时即可开始试验检测。

4.2 图像检测数据分析

以某处一小型储藏室检测结果为例进行分析，分别选取围护结构上5处不同位置安放热源，测量室的内部空间为4.7 m×2.6 m×2.2 m，当前所测量的墙体尺寸为4.7 m×2.2 m。由于机械臂的杆长与转角的限制，试验选用的机械臂最大升限为3.2 m，故理论采集的墙面尺寸为3.2 m×2.2 m。

根据行走路径规划和相机位置，检测装置的水平行走步距设定为50 cm；垂直运动步距为42 cm；热红外相机和围护结构的距离为32 cm。为了满足小车能在固定的地方(如墙角处转弯或小车偏移后需要调整姿态)进行角度调整，根据小车的步距和垂直运动步距将被测量的墙体平均划分为30块(5×6)区域并通过相机对每块区域进行红外图像采集，所计算得出的步数值对上取整以保证检测的完整性。为了验证检测机构的有效性，分别采取不同大小的阈值对冷库围护结构进行检测，结果见表2～表4。

表2 Ta(i)设定为50时的热缺陷检测结果

表3 Ta(i)设定为70时的热缺陷检测结果

表4 Ta(i)设定为90时的热缺陷检测结果

试验中“热源缺陷”的检出率为100%，无漏检情况出现，被检测数据的总体缺陷检测误差按式(16)计算：

(16)

式中：

P——总体缺陷检测误差，%；

An——第n次阈值设定后单次检测墙面后与实际缺陷面积的误差率，%。

试验通过参考实时的室内环境，选用不同的图像阈值大小，实现对围护结构的热红外检测。当所设定的阈值为50，70，90时所得到的“热缺陷”面积与实际的热源面积的总体缺陷检测误差为93.7%。

根据表2～表4的检测数据，可得出研究所设计的检测装置与图像处理方法能准确地检测出冷库围护结构的热源缺陷，相比于人工检测，该机构具有检测效率快，范围完整等优点。

5 结论

研究设计了基于机械臂与履带行走小车配合的检测装置，使用改进Ostu图像检测的方法分割缺陷图像。与传统的检测手段相比，该检测机构能完整且高效地检测食物储藏室的围护结构是否存在缺陷，通过检测得出的缺陷面积与实际缺陷面积相差较小。但研究仅对机械结构设计和图像识别算法作了介绍，尚未考虑到障碍物对检测过程的影响，后期应该不断完善检测机构的控制与图像处理部分，以适应不同的检测环境。