移动终端基于机器视觉的器材识别研究

张建新，黄少罗，刘立家，卜昭锋

（1.陆军工程大学石家庄校区，石家庄 050003；2.解放军66172 部队，石家庄 050200）

0 引言

机器视觉作为自动识别技术的一个重要分支领域，以其自动化、客观性、非接触性和高精度的优势，在众多领域都得到了广泛的应用［1］。美国DARPA将机器视觉技术列为重要的军事技术，并对有关机器视觉的软、硬件系统研制投入了大量的资金，著名的SIMNET 系统就应用到了机器视觉领域的研究热点AR 技术［2］。对比之下，我军对机器视觉技术的应用还停留在计算机应用阶段，移动终端的视觉应用有待进一步加强。

人工智能和机器视觉等领域技术发展至今，不经意间已经在人们的日常生活发挥着较大的作用，然而如何更好地将这些技术应用到军事领域，让科技创新帮助提高战斗力和保障力，是一个值得研究的问题。本文旨在对移动终端机器视觉技术的军事应用做一定的研究，利用机器视觉技术解决目前器材单品识别智能化程度不高的问题，最终实现在离线条件下，用具备机器视觉技术的单兵智能移动终端代替人眼和大脑，实现战场器材的快速准确识别。

1 问题的提出

目前，我军器材供应链中零散件供应级的器材单品识别方式，主要有条码识别和射频识别标签两类，这两种方法解决了大多数的器材识别问题，有力推进了器材工作的信息化进程。但二维码、射频识别标签等附着标识物无法适用于全部器材单品，对零散件供应级中经常出现的大量无包装、无标签的器材，仍需依靠传统的人工识别兜底。这就造成了器材识别存在不可忽视的技术短板，而对于身处战场最前沿的器材零散件供应级——基层作战部队，这一短板在战争中可能是致命的。

另一方面，随着战争形态向智能化逐渐转变，保障装备、保障系统的智能化也随之提上日程。保障智能化的总体要求可以归结为：加速高技术手段应用，用人机协同智能优势弥补人才不足劣势。具体到器材供应链领域，借助先进的信息化手段，将以往高素质器材保管员、高级修理工具备的能力用智能终端得以实现，如众多器材的辨别识别、装备修理的智能化诊断等。以此类功能的实现降低专业人员的能力要求，减少培训方面的费用支出和时间浪费，以适应战场人员流动性强、伤亡大、岗位轮换频繁、装备更新快等具体情况。改变以往主要依靠人工的局面，提高机器智能在装备维修器材保障中的分量，适当降低人员素质的影响，最终依靠人工和机器的有效协同确保器材精确保障。

鉴于上述两个方面，本文针对性提出移动终端基于机器视觉技术的器材识别研究，旨在着眼细节，实现单品器材的智能识别，提升装备保障的智能化程度。具体地讲，依托单兵移动终端集成的先进微型摄像头，配合专用的嵌入软件、算法以及简易的辅助设备，在不需联网的情况下实现对器材信息的直接读取，器材识别系统框图见图1 所示。该研究的实现可以大幅降低器材识别对人员素质、经验的要求，实现“傻瓜式”识别（业务零基础、零经验人员也可以通过该技术快速识别数目繁多、形态各异的各种器材），大大降低器材保障中对人员的依赖性。

图1 器材识别系统框图

2 总体思路

本文所述的单兵移动终端离线状态下基于机器视觉的器材识别技术，是一种完全在移动终端上完成器材识别的方法。这种方法可离线实现单机识别，其优点是采用完全基于智能终端的自主式方式，避免了网络通信和地域的限制，对恶劣的、多变的战场环境具有较好的适应性。

该方法不同于传统的C/S 模式，图像的采集、处理、分析与结果输出，整个过程不再通过网络与服务器通连，完全脱离电脑和服务站，主要利用移动终端单机实现对器材的识别。器材图像采集、预处理、依托终端自带的数据库进行算法匹配、结果输出等流程，完全在手持终端上自主完成，能够独立地在任何环境中完成器材识别任务，为后续的器材申请、保障等任务提供良好的基础，纯移动终端器材识别示意图见图2 所示。

图2 纯移动终端器材识别示意图

构建识别系统具体的过程中，结合器材色调单一、形状各异的实际特点，选择形状特征（器材的边界特征）作为器材识别的全局特征。为适应移动终端计算能力相对较弱、存储空间较小的实际情况，采用基于图像特征的匹配方法，选用占用内存空间小、计算量少的二值图像的轮廓线作为主要特征。其大致原理是：将器材的国家标准中的三视图作为基准图，归一化处理后进行提取特征，建立模型库；对待识别器材进行图像采集，而后进行相应预处理后提取到边缘特征；运用ORB 算法进行特征提取，形成特征向量并与模板库进行以边缘特征为基础的匹配，得到器材信息。在匹配时辅以装备型号缩小范围，以增强器材识别的实时性。

通过在单兵智能终端上搭建系统，实现在终端上对摄像头所拍摄到的器材的识别。获得器材型号后，可进行器材申请工作，或者向后台服务器请求该器材的相关信息，进一步获得其描述数据用于器材业务人员能力培训、获得其仓库存储位置和数量供自助请领、获得其相似器材信息，以满足应急维修器材需求，甚至可以在单兵智能终端上获得该器材修理装配流程，进行维修指导。最终达到以识别功能为基础，逐步实现对供应链器材业务工作的智能化推动的目的。

3 模型库建立

器材是以三维的形式存在的，而我们的手持终端所采集画面是二维图像，加之受移动终端计算及存储能力的制约，采用占用空间小、轮廓特征明显的国家标准中器材的三视图作为基准图，对其归一化后进行提取特征，建立模型库。

器材（零件）的三视图是国家标准中的3 个基本视图，使用这3 张标准视角图片为每个器材构建模板库，使得在不同角度下拍摄的器材图片也能够识别，也增加了器材识别的准确率。三视图可通过标准的器材设计文件生成，轮廓特征明显，无误差，有利于提高识别准确性；经过压缩、归一化处理后文件小、所需计算量少，识别实时性强，以此为基础建立的模型库为系统的实时性和准确性提供了很好的保证，标准及处理后建库用三视图见图3 所示。

图3 标准三视图及处理后建库用三视图

4 图像采集

系统采用智能终端配备的摄像头拍摄二维图片作为图像输入，而识别系统以器材3 视图作为模板库文件，因此，在图像采集时，从器材的3 个方向获得图像，将取景画面中的二维图像与其三维形式进行对应。

当手持终端对准器材进行取景时，可能会出现取景框中的图像较为复杂、信息多的现象，尤其是在恶劣的战场环境，干扰更多。为了使识别结果保持较高的准确率，可以创造良好的识别环境：比如指定专门的图像采集区域，并配套无背景底板、光照等简易设施。为避免图像采集过程中手持终端因不稳、旋转等因素导致的空间角度对识别产生影响，利用内置方向传感器实时获取终端相对角度的变化，进行重力方向的校对，确保方向获取的准确性，进而确保特征值主方向的正确性和特征向量的精确性。结合器材业务工作中图像采集场景可控的特性，借助在图像采集时制定相应的规则，确保采集时器材目标的位置相对固定，将识别任务限定为以整幅图为目标的识别任务。

综上所述，采集待识别器材图像时，采集人员要根据传感器数据指示，在环境允许范围内，从器材正面、左侧面、上面（对应于器材的三视图方向，面状器材为上下两面）尽可能采集背景单一、光照良好的，只包含单一目标器材的图片作为系统输入，采集样例见图4 所示。

图4 采集样例

图4 中采集设备采用华为荣耀6X 手机代替，光照均为自然光，俯视图采用简易辅助设备仅为铺在地面的一张A4 纸，正视图、侧视图背景为白色墙面，桌面铺有A4 纸。

5 图像预处理

尽管在图像采集阶段制定了相关的规则，要求相关操作人员按照规则尽可能采集到噪声小、易处理的图片，但受到战场环境因素制约，采集的图像不可避免会因为摄像头元件和环境的背景、光照、遮挡等带来畸变等噪声，为了减少这些噪声带来的误差，需要对采集到的图像进行相应预处理。预处理可以抑制噪声，强化器材边缘，在减少数据总量的同时保持目标特性的完整，一定程度上改进图像质量。

5.1 图像压缩裁剪

图像经过压缩，在保留数据的基本特征基础上去除掉多余信息，减轻后续数据处理压力并实现部分噪声的消除。本系统中，在移动终端存储和计算能力一定的情况下，图像数据压缩可以使系统传输、存储更多种类的器材信息，并且使器材匹配时计算更加简单、快速，一定程度上增强系统对器材识别的实时性。

本系统中，以俯视图为例，采集到的图像为2 448 像素*3 264 像素，压缩后为1 061 像素*503像素，极大程度地降低了数据量大小，压缩裁剪后图像见图5 所示。

图5 压缩裁剪后图像

5.2 畸变矫正

在进一步处理前，针对采集图像存在的畸变现象，先利用标定算法对图像进行畸变矫正，畸变矫正可以消除畸变，为图像特征提取奠定良好基础。

5.3 灰度处理

灰度处理的目的是将采集到的彩色图像转化为灰度图，从彩色图像中抽取某个颜色模式平面得到一个灰度平面，得到对应的灰度图。灰度处理只是去除了彩色信息，减少数据总量的同时保留了所需目标信息，对图像轮廓等主要信息并不影响。相比较彩色图而言，灰度图简化了图片信息，减少后续处理计算量，便于进一步的图像处理，灰度处理后图像见图6 所示。

图6 灰度处理后图像

5.4 中值滤波去噪

平滑——中值滤波是一种非线性滤波器，其功能是可有效去除脉冲噪声、椒盐噪声，并能保持图像中线条清晰，提高图像质量。中值滤波具有在去噪的同时能保护图像的边缘细节的特点，这个特点非常适用于本文所述识别系统。

5.5 边缘提取

图像的边缘作为其最基本也是最为重要的特征，其检测与提取是预处理中最重要的过程。边缘检测可以很大程度减少图像的干扰信息，大幅度减少图像的数据量，同时保留图像中重要的结构信息。边缘提取则将检测到的边缘进一步量化并标识显示，作为特征提取的基础，边缘提取后图像见图7 所示。

图7 边缘提取后图像

5.6 图像二值化

经过前面的处理，图像已经成为一个边缘信息明显的灰度图像，为进一步简化运算，提高数据处理效率，本文利用灰度直方图分割法进行阈值的自动选取以及图像二值化处理，二值图像见图8所示。

图8 二值图像

5.7 形态学操作

膨胀、腐蚀、闭、合等操作可以剔除噪点，将边缘的凹坑、凸起毛刺等过滤掉。增强操作则是为了突出图像中的某些信息，如常用的对比度增强可以增加图片中主体的显著性，有利于后期处理。本系统经过多次闭合操作，实现噪声滤波及锐化边缘的效果，形态学操作处理后图像见图9 所示。

图9 形态学操作处理后图像

6 特征提取及匹配

经过预处理得到了图像的轮廓，并将其作为一个整体研究。所得轮廓作为系列点的集合，对应着一系列的点，也就是图像中的目标器材边缘曲线。针对获得的边缘曲线，运用具有旋转不变性和抗噪声的ORB 算法，对其进行进一步地特征提取与匹配，模板库文件与待匹配文件对比见图10 所示。

图10 模板库文件与待匹配文件对比图

ORB 算法作为一种快速二值特征向量，其原理是通过FAST 特征检测和BRIEF 特征描述，对图像的自然特征点进行提取、描述和匹配，以达到识别事物的目的。与同类算法相比，ORB 算法实现了效率上的改进，进一步加快提取特征点的速度，具备较好的实时性，非常适合军事环境中对速度和实时性的要求［3］。

ORB 算法将FAST 特征检测进行改进，添加了特征点的主方向，从而具有了旋转不变性；同时解决了BRIEF 特征描述噪声敏感和旋转不变形的问题。而后，将改进后的带方向的oFAST 特征点与旋转不变性的rBRIEF 进行结合，实现了具有高抗噪能力、高速、实时的特征检测与匹配。

经过特征提取及描述，得到了图像特征的描述，接下来对图像与模型库文件进行匹配。本系统中特征配对利用汉明距离进行判决，在此基础上利用装备型号信息来缩小匹配范围，提高运行效率。

汉明距离是比较二进制图像非常有效的手段，描述两个n 长码字x=（x1，x2，…，xk，…，xn）（输入图像特征描述子），y=（y1，y2，…，yk，…，yn）（模板库图像特征描述子）之间的距离，

其中，表示⊕模2 加运算，xk∈{0，1}，yk∈{0，1}。

D（x，y）能表示图像特征与模板库文件特征之间的差异，进而提供两者之间的相似程度的客观依据，当该值小于某个阈值时，判断匹配成功，器材识别完成。

7 结果

通过特征提取及算法匹配，可以得出目标器材的详细信息，并在终端显示屏增强显示，以供操作人员进行器材校验并进行下一步的业务操作。需要特别指出的是，虽然系统中以器材的三视图文件作为模板库，但实际识别中并不是必须处理3 幅图才能得出结果，大部分情况下，只需1 幅图就能实现器材的正确识别。

如果使用文中所述系统，纵然是非器材专业人员，无论面对多少种类的器材，即使没有专业人员的远程指导，也可实现各个器材的智能化快速识别，进而实现快速申请和保障，或者及时获得该器材的修理教程，使得装备使用人员也可以组织战场自修，有效增强战场自救能力。

8 结论

通过选用器材标准的三视图作为基础构建数据库，经历图像采集、预处理、特征提取与匹配，最终达到识别器材的目的，且识别速度快、准确率高，能满足战场对器材识别的基本要求。

器材移动终端识别技术的研究与应用，是解决器材识别问题的新观点、新思路，对解决现行基层部队装备保障中存在的问题具有积极的推动作用。使得器材的识别与申请能够做到随时、随地、随需，可应用在需要器材识别的全维领域，是器材保障工作适应未来细化战争形态特点的有力支撑。

高技术手段的器材供应链应用，可有效促进器材保障流程的改造，依托不同的技术实现信息的智能采集提取、远程监控、优化处理，通过对信息流从采集端到输出端的全程有效控制，提升器材实物流效率，以流程的优化带动保障质量的提高，以技术的先进性确保装备保障的速度和效益，尽可能缩短装备维修时间，提高修理效率，促进作战部队迅速恢复战斗力。