基于多特征融合的仪表屏幕定位方法

刘宏利，吕俊杰，邵 磊，李 季，于 晓

（天津理工大学 电气电子工程学院，天津 300384）

0 引 言

在人们生产生活中，智能数字仪表因其本身精度高、易读取、操作方便等优势被普遍应用于各个领域中。实际上，智能仪表的规格型号繁多并且互不兼容，即使当前较高档的智能数字仪表对于远程通信领域已经拥有了无线通信接口，但在某些特殊应用场景下，依然免不了仍需人工实地对仪表数据进行采集，这种方法不仅时效慢而且不能保证准确率。近几年，机器视觉技术和图像处理技术发展迅猛，典型的仪表数字识别过程由区域定位、字符分割、字符识别三部分组成[1]。其中，仪表区域定位是数字识别的前提，起着关键性作用。智能数字仪表定位的目标是结合目标区域与背景区域的特点，检测出显示能耗数值的液晶屏区域。现存的定位方法主要有以下三种：

1）基于纹理分析的定位方法[2]。其主要是通过提取图像的纹理特征来判别一个区域是否是目标区域，要想达到好的图像处理效果则要保证图像有明显的纹理特征，虽然步骤简便，但实际情况是很难直接提取仪表图像中数字的特征，定位算法操作不理想，抗噪声能力较低。

2）基于边缘的定位方法[3]。根据目标区域与其他区域间灰度或结构等信息的差异特性，通过边缘来进行图像的分割定位。液晶屏和表盘其他区域的大小形状以及灰度值都很接近时，利用边缘就很难有效地区分液晶屏区域和背景区域。

3）基于图像彩色信息的定位方法[4]。根据输入图像的特点进行颜色空间转换，找到满足目标颜色特征的区域后再进行识别等操作。这种定位方法操作简单、便于实现，但是这种方法仅仅考虑了较少的颜色信息，对于复杂的表盘，例如液晶屏和背景具有类似的灰度值和形状时，往往不能进行有效的分割和筛选。

多数算法仅考虑仪表图像的单一特性，无法高效准确地达到定位效果。综合复杂多变环境下仪表图像的多尺度特性，本文提出综合运用多种特性融合算法实现快速准确定位仪表屏幕的目的。

1 多特征降维融合识别法

仪表检测的目标仅限于读数区域一个类目，考虑使用适合小样本的二分类方法达到检测目的。本文提出一种复杂环境下多特征融合仪表屏幕定位方法。首先对样本数据预处理，采取旋转、剪裁、曝光、归一化等方法保证数据的充足性和多样性；其次提取仪表灰度图像的颜色特征、结构特征子[5]和纹理特征子作为仪表目标区域特征描述；接着对高维冗余特征子进行优化降维处理；然后进行多特征描述子的分析和融合；最后通过对融合后的特征子进行多种仪表屏幕的分类器训练，实现仪表读数区域的目标定位识别。算法流程如图1 所示。

图1 算法流程

1.1 图像预处理

目前为止，智能数字仪表没有充足的数据样本集，为了保证分类器的泛化能力和鲁棒性，通过已采集的图像进行预处理扩充。

原始样本集由两个部分组成：一是生活场景及工业环境中拍摄的智能数字仪表图像；二是从网络上收集的智能数字仪表图像。图像大小从608×720 到2 304×3 072 各不相同，这些图像样本中包含国内主流数字显式仪表生产厂家的十多种规格类型的智能数字仪表，而且各图片拍摄的距离、角度、外部光照等情况各有不同。仪表样本本身来源有限，需要对数据样本进行一定的扩充及归一化操作，常见的数据样本扩充的方法有[6]：图像翻转、剪裁、旋转、镜像、局部变形、加噪声、对比变换等，针对本文研究的实际情况，选择旋转、剪裁和对比变换的方法来模拟不同视角、距离和光照情况来进行样本的扩充，最终得到2 000 幅正负样本以供训练测试使用。本文对数据集扩充的部分正负样本如图2 所示。

图2 数据扩充样例

1.2 仪表特征提取

自然环境下的智能数字仪表的识别明显受光线、阴影、角度等因素的影响，而且数字仪表图像具有很多图像特征，比如颜色特征、纹理特征、结构特征等。在复杂场景下，单一特征不能够保证屏幕识别的准确率，因此，本文提取仪表的颜色特征、灰度共生矩阵和梯度方向直方图特征作为图像识别的特征子。

1.2.1 颜色特征提取

智能数字仪表读数区域是由TN 型液晶屏构成，TN型液晶屏显示原理是基于扭转式向列场效应[7]。这种原理在电场的影响下，屏幕显示不同的颜色，表现在无背光时屏幕为黑色，有背光时屏幕为明亮的颜色。另外液晶屏幕有明显的HSV 颜色特征，在正常外部条件下，其本身背景色调在灰绿色附近，色饱和度和亮度均较低。所以将彩色图像进行HSV 特征转换，保证液晶屏区域定位的准确性。

1.2.2 纹理信息提取

纹理方面可以提取仪表图像中方向、间隔、变化幅度的综合因素，最终以矩阵的形式展示[8]。针对仪表液晶屏幕形状特点和屏幕中数字特点，以及每个字符间固定不变间距的特点选用GLCM 进行特征提取。在θ 角度上，距离间隔d 的GLCM 为：

为了使GLCM 特征得到有效表征，在得到的矩阵上使用能量、对比度、熵和相关度这4 个统计量作为仪表的特征参数。

1.2.3 结构特点提取

实际应用场景中，仪表的液晶屏区域很容易受到光线影响，从而增加识别的难度。仪表图像HOG 结构特征的提取采用先分块后整合的思路，可以有效避免局部因素对识别的影响。将图像每个像素点的梯度方向用作特征描述子达到物体检测的目的。将图像分成若干个小的像素胞元cell，使用滑动窗口win 以固定步长遍历目标图像，每个像素点的梯度都有2 个参数，彩色图片的幅值代表三通道中最大的幅值，方向是最大幅值对应的角度[9]。假设图中点A（x，y）处的像素值为H（x，y），此点处的水平方向梯度Gx(x,y)和垂直方向梯度Gy(x,y)分别为：

点A 处幅度值G 和梯度方向θ 分别表示为：

在梯度方向直方图结构中若干个像素点构成一个胞元，若干个胞元构成一个块block，由于局部梯度强度变化大，所以要对块进行归一化处理，采用L2-norm 方法，公式如下：

归一化后最终获得方向梯度直方图。现场采集仪表的方向梯度直方图如图3 所示。

1.3 仪表特征降维

对于目标128×64 尺寸的图像来说，细胞元规定尺寸大小为8×8 像素，连通域块包含4 个细胞元尺寸为16×16，设定块移动步长为（8，8），方向bin 为9。则计算得每个窗口中的特征向量子维数为3 780。可见如此高维度的计算对多特征融合来说会是一个问题，降维也就显得至关重要。主成分分析法是通过换取空间代价将原数据投影到一个新的低维正交坐标空间。在窗口遍历图像提取特征时，会产生大量冗余数据增加计算难度。为了简化计算量，提高识别效率，采用PCA 降维[10]的方式可以去除冗余数据。

图3 方向梯度直方图

1.4 多特征融合

仅仅利用颜色特征提取屏幕颜色信息，灰度共生矩阵提取纹理信息或梯度方向特征提取仪表屏幕结构信息，都不能准确表现一个仪表图像特征信息。多特征融合方法可以充分发挥各个特征优势，综合分析达到提高分类识别准确率。本文对各个特征利用加权方法进行特征融合，根据每个单一特征分类影响力的比重设定各类特征的权重系数，从而更好地反映出不同特征对分类识别的贡献程度，能够较好地保证样本模型的原始分布，表示公式如下：

式中：F(n)表示加权融合后的特征向量；H (i)为第i 个样本特征；α(i)为第i 个特征对应的权值系数，各权值系数满足

1.5 复杂场景下仪表分类器的构建

实际情况中数字智能仪表图像样本是有限的，若要想将仪表屏幕与其他非仪表屏幕的部分分门别类，则其属于小样本的二分类问题[11]。构建分类器的基本思路是在多维空间中构造超平面实现二维空间无法分类回归等问题，使仪表屏幕类和其他负样本类到超平面的垂直距离达到最大，超平面方程如下：

分类示意图如图4 所示，其中，用y=1 表示目标仪表液晶屏区域，y=-1 表示仪表液晶屏以外的区域。y=0 的直线是正负两类中间最大间隔超平面在二维空间退化成的直线。

若输入空间的数据线性不可分，通过引用核函数构建分类器，将低维不可分数据映射到高维空间，转化为高维空间的点积形式，最终实现非线性分类。分类函数公式如下：

式中k(xi,yi)表示核函数。核函数选择收敛域宽、适应性强的RBF 核函数。

图4 分类平面示意图

2 实验与分析

实验采用的实现平台软件是OpenCV+VS2015。将数据集以7∶3 的比例划分为训练集和测试集。目标区域分为两个类别，正样本为仪表中液晶屏的位置，标注为1；负样本为不完整包含仪表液晶屏的图像，标注为0。因为图像大小从608×720 到2 304×3 072 各不相同，为了实验数据的统一，将图像进行图像金字塔方式的归一化处理，并且通过仪表液晶屏长宽比对整个样本集进行一个主导尺寸选择。实验样本集涵盖了各类场景，包括模糊、仪表倾斜、屏幕反光、颜色干扰、光线不均、背景复杂等。实验部分图像示例如图5 所示。

图5 部分样本示例

图中，图5a）表示部分负样本，图5b）表示部分正样本，图5c）表示部分测试样本，囊括了不同角度、光线、背景等因素，保证了样本的多样性。

2.1 基于特征降维仪表屏幕识别

结构特征子具有较高维度的特征，所以对HOG 采用主成分分析方法进行降维处理，然后再进行多特征的融合。图6 中显示不同维度下HOG 特征检测的准确率。

图6 不同维度下的准确率

由图6 可以看出，准确率随着维度的升高逐渐趋于平稳。在维度50～500 范围区间中，分类准确率呈上升趋势，并在维度达到500～1 100 的范围过程中趋于稳定。所以为了取得小维度下高准确率的目的，选取500为HOG 特征的降维数。

2.2 单特征与多特征识别对比

实验将单一特征与多特征融合的识别方式进行了对比。测试集数量一共600，其中，正样本数量为400，负样本数量为200。对比实验结果见表1。

表1 不同特征下的对比实验

由表1 可得，单一GLCM 特征的识别成功率和精准度最接近本文算法，也可以说明GLCM 特征对仪表屏幕区域识别贡献最大。但是仅仅靠单一特征无法全面表现图像特征信息，融合了多种特征的本文算法具有较高的检测成功率和精确度，有助于简化后续能耗读数的分割与识别操作。

3 结 论

针对数字智能仪表在复杂场景中易受外界环境影响的特点，导致仅依靠单一特征无法保证识别准确率的问题，通过分析液晶屏特有的颜色机制、形状结构特点以及外在影响因素等，提出一种基于多特征融合降维的仪表屏幕定位方法。首先对基础样本进行预处理扩增技术，增加样本集的多样性，其次结合HSV 颜色特征、CLCM 特征、HOG 特征区分目标区域与背景区域，最后利用PCA 算法对高维特征进行降维处理，提高识别的精度与速度。通过实验可得，单一特征的成功率与精确度低于多特征融合的方法，且本文算法分类成功率达到94.8%，精确度达到92.7%，具有一定的优越性。