一种航空维修工具智能管理系统的设计与实现

毕 杨，宋 飞，王 轩

(西安航空学院 电子工程学院，陕西 西安 710000)

0 引 言

随着智能制造时代的到来，出现了多样的先进机电产品，其复杂程度也是也越来越高，例如现代喷气式飞机、高速铁路客车、高级小轿车等。这些产品方便了人们的生活，同时，这些产品的维修和保养工具也越来越多、越来越精细化，特别是在航空维修工具领域，所用的到维修工具大到常见的刀具、量具、辅具，小到长约1 cm的工具头、细到几个毫米的针状拐子等。目前对这些精细化工具的存放和管理仍然大量使用传统的各种大大小小的工具箱，在现实的使用过程中往往会存在如下一些明显的问题：(1)由于维修现场往往是大型复杂的航空机电产品，而维修工具种类繁多又很细小，如果因为维修人员疏忽将维修工具遗失在现场而不自知，那后果是不堪设想的。(2)传统的工具箱只能收纳工具，但是工具在箱内存放凌乱，对于普通工具影响不大，但是对一些高精度的量具、刀具则会容易造成损坏。(3)大量工具无序存放，在使用过程中需要来回翻找，降低了维修工人的工作效率，并可能造成一定的安全隐患。(4)大量维修工具需要进行统一的科学管理和及时维护[1-2]。同时，随着政府大力发展高端制造业，有越来越多的国产先进精密机电设备投入市场，进而对这些设备的维修保养需求也越来越多，科学有效地解决高精度维修工具存管中存在的上述问题就显得尤为重要而迫切[3-4]。

国内外目前对智能型工具箱的实现也有相关的研究，主要是针对防止工具丢失的功能，目前主要有采用RFID标签识别的方法[5-6]和采用光敏灰度传感器识别的方法等，这些方法要么不适合于微小工具，要么无法解决工具乱放或非工具物件占用工具槽位的问题[7]。都不能很好地满足对微小工具和工具唯一性检测的要求。

文中将利用图像识别技术进行工具箱内的工具信息分析处理，在此基础上又设计了一套完整的管理系统对工具箱进行系统管理，从而实现工具箱的智能管理，并通过实验验证了该设计方案的可行性和有效性。

1 图像识别技术

HOG(histogram of oriented gradient)算法，即方向梯度直方图特征，是识别计算机视觉和图像处理中的对象的特征描述符[8]。该算法中的特征是通过计算部分图像区域的梯度方向确定的。目前，将HOG算法与SVM分类器相结合并且用于图像识别得到了广泛的认可[9]。

HOG算法的特征提取如图1所示，其中最主要的步骤是计算图像梯度以及构建每个单元的梯度方向直方图。

图1 HOG算法流程

1.1 计算图像梯度

计算图像中每个像素的梯度，包括其大小和方向等。其主要目的在于获取轮廓数据，并且对来自光照的干扰进行最小化处理。计算图像的水平和垂直梯度，并相应地计算每个像素位置的梯度方向值，它可以进一步削弱照明的影响[10]。

图像中像素点(x,y)的梯度为：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

其中，Gx(x,y)、Gy(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。

像素点(x,y)处的梯度幅值、梯度方向分别为：

(3)

(4)

通常使用梯度算子[-1,0,1]来对原始图像作褶积运算。并获得x方向的梯度分量。然后用梯度算子[1,0,-1]来对原始图像作褶积运算，并获得y方向的梯度分量。最后，通过上面的公式可以得到像素的梯度大小和方向。

1.2 构建单元梯度方向直方图

创建单元格梯度方向直方图的目的是为部分图像区域提供方向，单元中的每个像素基于方向直方图通道选择投票[11]。投票是一种加权投票制度，也就是说，每张票都具有权重，该权重是基于像素的梯度大小计算的，该权重可以通过幅值本身或它的幅值函数来表示。单元格可以是矩形或星形。直方图通道均匀散布在0～1 800(非定向)或0～3 600(定向)的范围内。实验表明，使用非定向梯度和9个直方图通道可以在行人检测实验中获得最佳结果[12]。

将图像分成若干个“单元格”，并将每个单元格的像素设置为6*6。使用9块直方图来统计有关这6*6像素梯度的信息。也就是说，单元梯度的方向(360度)被分成9个方向块。用梯度方向对单元格内每个像素在直方图中进行加权投影，能够得到单元格梯度方向直方图，就是对应于单元格的9维特征向量。如图2所示，像素梯度的方向在20～40度之内，那么直方图的第二列的值增加1。

图2 梯度方向通道示意图

通过研究人员的实际测试表明：要想获得最佳的效果必须用幅值来表示，当然，也可以选择幅值函数来表示，比如幅值的平方、平方根、截断形式等[13]。

1.3 HOG算法的优缺点

(1)HOG算法在图像的局部单元上运行，因此在保持图像的几何和光学畸变方面具有良好的不变性。仅在更大空间区域中会出现这两种形变。

(2)HOG表示角落的结构特征，因此它可以描述局部形状信息。

(3)HOG算法对子单元的处理方式，能有效地体现出图像的局部像素点之间的关系。

(4)描述子生成过程繁琐，具有高维度，导致HOG算法运算速度慢，实时性差，并且难以处理遮挡问题。而且由于梯度的性质，描述子对噪声非常敏感。

2 智能工具箱系统的基本工作原理

文中提出的智能工具箱可识别到具体的五种异型的工件，如图3所示，图3中最右边的为标尺。在工件放置近工具箱后，工具箱系统调用补光灯和摄像部分对箱内进行拍照，并将图片暂存到系统中，取出感兴趣的工具图像部分和标尺(即基准图片)。智能工具箱首先通过统一标尺进行工件的尺度归一化，然后调HOG算法处理模块对基准图片以及拍到的图片进行图像匹配，若两图之间的特征值差异在工具箱提前设定好的容错范围内，则说明工件匹配成功，否则产生报警提示。

图3 工具箱内原始图片

具体过程如下：

(1)对原始工件拍照，提取特征值信息，并保存在系统中，可根据用户需要实现工件种类和数量灵活配置。

(2)工件借出配置好后，待归还时，进行再次拍照，并提取现有工具箱中工件的特征值信息。

(3)系统对现有的信息和预先保存的信息进行匹配，就可以知晓归还工件的种类和数量是否与借出时相一致。

3 图像识别算法在智能工具箱中的具体应用

3.1 图像分割

图像分割的目的是提取图像中的有用信息。通常图像的边缘、亮度、色彩等特点常作为分割的依据。主要方法就是将原始图像的RGB色域转换为YCBCR色域，将工具更好地从图像背景中分割出来，如图4所示。

(a)YCBCR色域图

(b)二值化后图

(c)填充之后图图4 工具背景分割图

将工具从原始图像背景中分离出来后，对目标工件进行定位，将需要识别的工具分割出来，如图5所示。

图5 分割出来的工具

3.2 尺度归一化

文中提出的智能工具箱中的尺度归一化主要就是通过保持标尺与工件的相对比例不变特性，即利用数字图像中不变的矩寻找一组参数使其能够消除其他变化函数对图像变化的影响，将待处理的不同格式的原始图像转换成相应的唯一标准形式[14-15]。

3.3 特征提取

工具箱对工具进行特征提取，即使用文中研究的HOG特征算法处理模板图片中的工件和需要检测的图像。按照图1所示的步骤完成图像特征的提取。

3.4 配准识别

配准识别为智能工具箱的最后一步。将待检测图像的特征(描述算子)提取出来后，在模板图像范围内进行特征向量汉明距离配准识别，如果计算得到的汉明距离满足工具箱所设定的要求，则说明匹配成功，进而将匹配成功的工具的位置进行定位标记，如图6所示。

图6 成功识别到的工具

以上就是智能工具箱的主要处理步骤，对需要处理的图像进行处理后，最终以可见信息的形式传达出来。若工具匹配成功，工具箱则闪烁绿灯表示，若未识别到工具或者匹配失败，工具箱则红灯闪烁并产生警报，以提醒相关人员及时处理问题。

4 图像识别算法的仿真实现

4.1 算法实现过程

图像识别算法实现过程如图7所示。

图7 算法实现过程

(1)首先通过Matlab工具进行图像识别算法的模拟，完成核心算法的仿真。

(2)将完成仿真的算法通过安卓平台开发完整逻辑的实现，并完成模拟调试。

(3)将完成调试的安卓呈现写入开发板，完成真实环境的调试以及硬件控制调制。

4.2 仿真环境及开发平台

文中的仿真环境和开发平台如表1所示。

表1 仿真环境和开发平台

5 智能工具箱管理系统

智能工具箱完成了对维修工具的精确识别和管理，对多台工具箱的关系则需要一套完整的管理系统进行管理。

如前文所述，智能工具箱内采用Firefly-RK3128开发平台板，拥有ARM Cortex-A7架构处理器，除了拥有良好的运算与图形处理能力，还支持2.4 GHz Wi-Fi及蓝牙4.0接口，因此工具箱管理系统利用蓝牙接口实现了对智能工具箱的“智能”管理。

5.1 管理系统设计原则及架构

后台管理系统设计采用以下原则[16-17]：

·开放性：提供标准数据接口、网络接口、系统和应用软件接口。

·模块化：严格按照模块化结构方式开发，以满足通用性和可替换性。

·先进性：软件技术选型符合技术发展潮流。

·高效率：紧贴工具箱应用场景进行设计，提高使用者管理效率。

·可靠性：独立数据代理，及时数据备份等措施保证系统的稳定可靠。

在以上设计原则的指导下，后台管理系统采用三层体系架构[18]。

(1)数据采集层：通过蓝牙协议负责与智能工具箱通信，获取工具箱状态。

(2)数据层：负责系统数据存储，支持设置数据安全和备份机制，保证数据在授权的范围内被访问，保证数据系统意外的情况下可恢复。

(3)管理应用层：本层为系统主要的应用展现层，负责系统用户及工具箱的管理逻辑。

5.2 系统选型

服务器：Windows Server 2016;

开发工具：Microsoft Visual Studio 2017;

开发语言：Visual C#;

数据库：Microsoft SQL Server 2016。

5.3 系统功能

智能工具箱管理系统提供了人员管理、工具箱管理、查询统计、系统设置功能，并集成工具箱仓库的门禁系统管理，实现了对工具箱端到端的完整管理能力，详细功能如图8所示。

图8 智能工具箱管理系统功能

5.4 系统管理实现

(1)用户管理。

用户管理主要提供了对系统用户(使用者)的管理功能，仅系统管理员具备创建/删除用户、用户密码重置的功能权限。普通用户不能添加及删除用户，修改用户仅支持修改名称及联系方式。

(2)工具箱注册。

仅管理员支持对工具箱的注册和管理功能，包含注册、解注册、修改、工具箱类型维护等。

(3)工具箱出入库。

工具箱出入库用户工具借出和归还时使用。

(4)历史记录。

系统对管理员及用户的所有操作进行记录，支持根据操作时间、用户及操作等条件联合查询，并支持对查询的结果导出到Excel文件，方便用户打印。

6 结束语

为了满足航空维修工具管理的要求，将图像识别技术应用于对工具箱内的工具信息进行分析处理，在完成了对维修工具的精确识别的基础上，又设计了一套完整的管理系统对多台工具箱进行系统管理。经实验验证，提出的以图像识别技术为基础的工具智能管理系统能有效地对工具箱内的工具进行检测，并且检测速度快，检测效果明显，在此基础上给出的一套完整的管理系统提供了人员管理、工具箱管理、查询统计、系统设置功能，并集成工具箱仓库的门禁系统管理，实现了对工具箱端到端的完整智能管理。该设计方案在航空维修工具领域有广泛的应用和推广价值。