基于LBP特征的多视点目标分辨技术研究

孙维亚，陈科仲，李忠新，吴志林

(1.南京理工大学 机械工程学院，江苏 南京 210094；2.陆装装驻重庆地区军事代表局，重庆 400060)

0 引 言

战争的走向是一种多源信息的融合[1-2]，从战场走向中能获得更多作战信息。在未来作战中，多视点的应用将会使得作战部队获得更多的态势信息，而在多视点条件下，己方单兵在各自的视点看到了一个敌方人员，这就需要进行信息的交互来确定是否为同一个敌人。能够分辨多视点中的目标是否为同一目标，作战部队就能清楚前方的目标个数，这对我方作战方式的决策有着重要的意义。在战争场景、战场环境下，单兵往往因一些战术动作的需要或者由于战场环境的限制，其姿态往往不能保持正常行人的姿态且部分战术动作可能保持一致，所以通过行人姿态并按照身躯进行多尺度的行人重识别方法，往往不能满足战争环境的需求。战场中单兵所穿着的迷彩服，在形状、颜色等方面也往往保持一致，很难通过颜色、形状或大小等特征来进行一致性判断，所以需要针对目标的有效信息进行判断。和人形姿态、军装颜色等特征不同，人脸检测技术通过提取目标的脸部特征信息进而实现目标人脸的检测，该技术的算法很成熟，最常用的算法是基于Haar-like的人脸检测，如贺瑜飞利用Haar特征并结合改进的adaboost算法进行人脸的检测[3]，倪朋朋等人利用Haar-like和adaboost算法进行车辆检测算法研究[4]。在提取到目标有效的信息后，需要对提取的信息进行分析，而人脸的特征可以看作一种局部的纹理特征，每个人的面部特征都不同，所以可以利用人脸纹理进行目标的分辨，如张雪梅等人利用LBP和WLD算法识别人脸面部表情[5]，王强等人利用LBP和GLCM算法识别煤岩图像[6]。综上所述，本试验利用Haar-like人脸检测算法和LBP纹理检测算法进行不同视点的目标分辨试验。

1 试验算法原理

对于图像特征的提取，通常是基于三种特征算法：Haar[7]、HOG[8]以及LBP[9-10]。基于Haar-like特征的目标识别算法由Paul Viola和Michael jones提出[11-12]，该算法结合Adaboost[13]算法广泛应用于人脸检测领域。LBP特征描述的侧重点则是对图像在局部范围内对应的纹理信息，因此LBP特征检测广泛应用于特定图像的特征提取[14-15]等方面。

1.1 Haar-like算法原理

Haar-like目前常用的特征分为四类：边缘特征、线型特征、中心特征、对角线特征。为了解决矩形特征计算量过大影响速度等问题，利用积分图的方法获取Haar-like特征，如图1所示。ii(1)表示区域A的像素值，ii(2)表示区域A+B的像素值，ii(3)表示区域A+C的像素值，ii(4)表示区域A+B+C+D的像素值。D区域的像素值可用ii(1)+ii(2)+ii(3)+ii(4)。进行Haar-like特征计算时，利用积分图原理，在对某一区域的像素和计算时，只需要对特定的点进行计算，所以在时间上会大大减少。

图1 积分图原理

在对图像进行特征值的计算后，利用adaboost算法[16]，实现对目标的检测。首先定义弱分类器，弱分类器是由单个Haar特征值组成，adaboost算法对其进行训练。弱分类器定义为：

式中，pj保证方向的不变，θj为阈值，fj(x)为提取的特征值。

强分类器由许多弱分类器组成，其训练过程首先取样本，将权值初始化，进行循环，对权重归一化，训练每一个特征值，并选取最低误差的分类器，更新权重，达到循环次数后为最终的分类器。多个强分类器组成级联分类器。本试验利用Haar-like算法和adaboost算法实现对视点中目标的检测。

1.2 LBP原理

原始的LBP[17]算子定义像素在三阶矩阵里，其原理为将图像中心像素及其邻域对应的像素进行比较，大于图像的中心像素则记1，反之记0，从而得到二进制数字，计算公式如下：

式中，(xc,yc)为中心像素的坐标，p为邻域的第p个像素，ip为邻域像素的灰度值，ic为中心像素的灰度值，S(x)为符号函数。

由于原始的LBP特征在特定的区域内，不能很好地满足使用要求，且图像存在旋转，所以采用圆形LBP特征代替正方形邻域，并不断旋转圆形LBP特征，每旋转一次会获得一个新的LBP算子,从这些特征算子中选取最小的作为中心像素的LBP特征算子。本试验利用LBP算法对视点中的目标进行纹理计算。

2 试验流程

本试验主要包括三个部分：目标采集系统、测试程序和人脸数据集。利用光电感知系统采集视点中出现的目标，经过测试程序检测计算，与人脸数据集进行一致性判断，实现对视点中目标的分辨。

图2 试验流程

2.1 目标采集系统

本试验利用光电感知系统对视场中的目标进行采集。其主控开发板为stm32H743系列，是一个工作频率可高达480 MHz的ARM Cortex M7控制器，并嵌入感光元件模组，即摄像系统，视场大小可达到640×480。将此模块与计算机进行交互，能够实时显示视点前方的视场。

2.2 测试程序逻辑

本试验测试程序采用python语言编写，当光电感知模块与计算机交互并显示采集的视场图像后，初始化该系统的摄像模块并进行灰度处理，当目标出现在视场当中，调用人脸检测模块，即利用Haar-like算法进行检测并标记目标的ROI区域，计算其区域坐标，再调用纹理检测模块，即利用LBP算法计算该目标的ROI区域坐标范围内的纹理特征。视场中目标检测的ROI区域如图3所示，该区域顶点坐标为A(x,y),长和宽分别为w和h，所以ROI区域范围为(x,y,w,h)，完成该区域范围的计算后进行纹理计算。

图3 ROI区域示意图

完成上述的计算后，将计算结果与人脸数据集进行目标一致性判断。本试验目标一致性判断依据为：在完成对视场中目标检测图像的LBP特征计算后，对其LBP特征图像进行分块，将每个块区域的特征图像进行直方图计算，按照一定的顺序形成LBP特征的统计直方图，并与数据集中每组图像的每张图像的LBP特征的统计直方图进行卡方计算，计算结果越小，一致性程度越高。在不同视点的检测下，输出的最低特征差异度值所对应的数据集编号若一致，则判定为同一目标。其卡方计算公式如下：

式中，H1,H2分别表示图像的直方图数据。

利用一致性判断函数进行计算，输出视点中目标与每组数据集的每张图像误差累积和，根据目标一致性判断依据，输出测试结果。

2.3 建立人脸数据集

本试验制作人脸数据集，用于和视场中检测到的目标进行一致性判断。不同的人脸状态均可作为一个数据，例如笑脸哭脸，戴眼镜或不戴眼镜等状态，每组数据采集20张图像，图像大小保存为110×94。部分人脸数据集图像如图4所示，对应每组数据编号为1到5。

图4 部分人脸数据集图像

3 算法试验结果与分析

本试验设定两个不同方位视点的目标检测装置，当目标出现在视场范围内，不同视点进行目标图像的采集。首先利用Haar-like算法进行检测并标记目标的ROI区域，计算标记的ROI区域坐标。将此区域坐标作为LBP特征检测的计算范围。每个视点检测的结果与人脸数据集进行一致性计算，最终输出与视场中目标特征最匹配的编号。下面是两组试验数据，两组试验不同视点采集的目标图像如图5～图7所示，ROI区域范围见表1、3、5，一致性计算结果见表2、4、6。

图7 试验二不同视点采集目标图像

表1 组1检测ROI区域坐标

表2 组1目标一致性计算结果

图5 试验一不同视点采集目标图像组1

(一)试验一：不同视点对同一目标进行检测识别。

表中：x，y为ROI区域左上方顶点横纵坐标，w，h分别为ROI区域的宽和高。

图6 试验一不同视点采集目标图像组2

表3 组2检测ROI区域坐标

表4 组1目标一致性计算结果

(二)试验二：不同视点对不同目标检测识别。

表5 试验二不同视点ROI区域坐标

由表1、3、5可知，试验一不同视点输出检测的ROI区域坐标分别为(1,22,54,54)和(0,0,81,81)，(1,1,91,91)和(5,23,81,81)；试验二不同视点输出检测的ROI坐标区域为(20,16,54,54)和(12,7,67,67)。试验结果表明，视场中出现的目标能够实现检测并能准确计算出视场中目标的ROI区域坐标。

表6 试验二目标一致性计算结果

两组试验中，不同视点检测的数据与人脸数据集进行一致性计算结果如表2、4、6所示，可以看出试验一中，组1、组2一致性计算结果的最小值分别为7 688和6 643，6 365和6 389，对应输出的人脸数据编号分别为1和4，根据目标分辨的判断依据，不同视点检测到的目标为同一目标；试验二中，一致性计算结果的最小值分别为7 109和6 881，对应输出的人脸数据编号分别为3和1，根据目标分辨的判断依据，不同视点检测到的目标为不同目标。

本试验将Haar-like人脸检测算法和LBP纹理检测算法结合，进行不同视点的目标分辨，单一的LBP检测方法会考虑视场中出现的整体目标进行检测，并且包含一些背景信息，而本试验方法首先提取目标的有效信息，以有效的信息区域为基础再进行纹理检测，排除了一些背景信息的干扰。针对Haar-like算法和LBP算法组合检测的识别精度，将该方法与单一的LBP检测方法进行对比。分别利用Haar-like+LBP和LBP算法对视点中出现的目标进行识别测试，测试实验对五组数据集的每组目标进行十次测试，共五十次测试，测试结果如表7所示。结果表明，本试验设计的试验方法有效地提高了对视点中目标的识别精度。

表7 两组方法识别结果

针对不同视点能否判断该目标为同一目标，本试验基于Haar-like和LBP算法进行测试。为了验证该方法的有效性，进行30次一致性判断测试。如图8和9所示，横坐标为测试次数，纵坐标为每次测试所对应的目标编号，两组图分别为视点1，视点2实际检测的目标。测试结果如图10所示，方框点为正确识别，圆点为错误识别，30组测试试验中，有四组未能正确判断不同视点目标是否一致，正确判断率达到86.7%。

图9 视点2实际测试目标类别

图10 一致性判断测试识别结果

4 结束语

针对未来作战战场，设计了在不同视点下对检测到的目标进行分辨的试验方法，即利用光电感知系统采集视场中出现的目标，利用Haar-like算法检测并标记视场中目标的ROI区域，计算其区域的坐标，再利用LBP特征算法对此区域进行特征提取，将提取结果与数据集进行计算，根据一致性判断依据进行目标的分辨。试验结果表明，该方法对视场中出现的目标有较好的检测效果且能输出目标的ROI区域坐标；通过两组试验、精度对比试验和一致性判断测试可知，该方法能够分辨出不同视点的目标，并具有较高的目标分辨率。不同视点的目标分辨技术研究，为我军在未来作战战场获取战场信息提供了方法，同时对作战过程中信息的融合有重要的意义。