基于显著性检测的接触网标识牌识别研究
2020-03-18蒋丽洁柴晓冬李立明郑树彬
蒋丽洁， 柴晓冬，李立明， 郑树彬
(上海工程技术大学 城市轨道交通学院， 上海 201620)
0 引 言
随着科技的进步，提出将图像处理与机械化铁路巡检结合起来，通过研究接触网立柱信息，完成对接触网立柱或标识牌数字信息的识别，最终达到轨道区间定位的目的。武翔宇等应用Hough直线检测的接触网支柱定位方法，利用HOG特征和SVM分类器结合的方式成功完成支柱号码牌识别[1]，其缺点是需要大量的正负样本来收集特征；徐可佳将4C系统所拍摄接触网支柱号作为研究对象，设计了基于Faster R-CNN的深度学习算法[2]，但图像分辨率不高；刘华春等采用视觉显著性检测算法定位车牌[3]；陈曦等利用显著性检测算法自动过滤不感兴趣区域的干扰，高效的计算方式减少计算资源的浪费[4]；姜博文等将马尔可夫链与先验知识融合，摆脱前景区域的影响[5]。
对图像简单线性迭代(simple linear iterative cluster ,SLIC)超像素分割后，本文提出利用吸收马尔可夫链的显著性检测，对接触网立柱区域初步定位，将接触网区域进行前景分割后，排除一切背景的干扰，利用基于MLP分类器的算法对接触网标识牌信息进行识别，为地铁线路的轨道区间定位提供新思路，识别过程算法如图1所示。
1 基于显著性检测的接触网立柱定位算法
为了构造吸收马尔可夫链的显著性检测模型，首先利用强健的背景先验的算法来选择吸收节点，以吸收马尔科夫链中的转移节点到吸收节点的被吸收时间作为转移节点的显著值。
1.1 强健背景先验的吸收节点选择
边界连通性是衡量图像中区域连接到边界程度的标准。由于SLIC超像素分割是在CIELAB颜色空间内进行的，节点间的权重dapp(p,q)以欧氏距离算法来计算。相应的，根据节点间沿最短路径累积边界权重来计算两节点的测地线距离公式(1)：
(1)
其中，n代表最短路径经过的节点个数，定义该式中dgeo(p,p)=0。
图1 识别过程算法
边界连通性定义公式为式(2)、式(3)，N是扩展的超像素数目，图像边界的像素块δ(·)=1，σclr=10。
(2)
(3)
(4)
判断边界中像素节点是否为背景的不等式(5)，记宽度为d个像素的边界中超像素的个数为K。本文取β=0.8。
(5)
根据边界节点选择方式，对超像素数目为625和200图像做边界选择，选出的背景集合，如图2所示。在原图(a)中，接触网立柱区域处在图像边界，通过该方法很好的把立柱筛选出来。
图2 基于强健的背景先验的边界选择
1.2 吸收马尔可夫链的显著性检测
设吸收马尔可夫链的状态集合S={s1,s2,…,sn}中，吸收状态与转移状态的数目分别为k和m，将转移状态放在吸收状态之前，则矩阵P的标准形式如式(6)所示：
(6)
其中，转移状态间、转移状态与吸收状态间的概率转移矩阵分别为Q∈[0,1]m*m，R∈[0,1]m*k。
该链的基本矩阵N，计算公式如式(7)所示：
N=(I-Q)-1=I+Q+Q2+….
(7)
元素nij(nij∈N)描述的是起始状态为si，被吸收之前经历过转移状态sj的期望时间，行和∑jnij揭示了被吸收之前，从状态si出发经历所有转移状态的期望时间。每个转移状态的期望吸收时间组成向量为式(8)：
y=N×c.
(8)
其中，c为m维的单位列向量。
为了确保边界节点的显著值能够计算，复制图像的边界节点作为虚拟吸收节点，图3为复制边界后建立的包含虚拟吸收节点的图模型G=(V,E)，无向边构成集合E，超像素作为节点V。
图3 吸收马尔可夫链的虚拟吸收节点
边的权重wi,j的计算公式为式(9)：
(9)
其中ci，cj分别表示节点在CIELAB颜色空间的均值，权重的控制力度由常数σ=0.05来把握。
重新排列新的图模型对应的关联矩阵A=(aij)，使得在矩阵A中t个转移节点在前，r个吸收节点在后，aij为新图模型中相邻节点之间的相关性，i相邻节点集合N(i)。
(10)
对角矩阵D=diag(∑jaij)表示连接到每个节点的权重之和。
在该图模型下吸收马尔可夫链的概率转移矩阵P的计算公式为式(11)：
P=D-1×A.
(11)
已知转移节点与吸收节点的个数分别为t和r，依据公式(8)可以提取矩阵Q，进一步得到基本矩阵N=(I-Q)-1，利用公式(10)计算每个节点被不同吸收节点的吸收时间y，最后对时间y进行归一化处理得到每个节点的显著值，式(12)：
(12)
实验结果显示排除包括树木在内的背景的干扰，完成立柱定位检测，如图4所示。
图4 显著性检测结果
对显著图通过立柱标识牌的几何特征包括区域面积、周长、矩形度和致密程度在内的特征值，进一步分割得到标识牌区域，如图5所示。
图5 标识牌区域分割
1.3 基于像素垂直投影的字符分割
获取标识牌区域之后，需要对单个字符进行分割，像素投影法算法简单、速率快，能够达到本文快速识别算法的要求。首先，二值化标识牌区域，使得数字区域转化为白色像素点，其余区域为黑色。垂直投影是统计二值图中每列的白色像素，将投影曲线用函数的形式表示出来，函数图像会出现明显的波峰波谷，波谷代表白色像素为0的某列，即数字的分割点。垂直投影得到的函数图像如图6所示。
从图6可以看出，标识牌中3个数字区域对应像素投影函数图中3个连续的波形区域，数字间隔对应像素投影函数图的波谷。以垂直投影图中波谷对应的列数对标识牌进行分割，分割结果如图7所示。
2 基于MLP分类器的标识牌字符识别
为了规避标识牌区域小、像素值不高的问题，通过多层感知机神经网络(Multi-Layer Perceptron, MLP)分类器，将每个标识牌区域的纹理特征作为训练样本，合理的选择神经网络模型的参数，最终输出识别结果。
(a) 标识牌“111”
(b) 标识牌“194”
图7 数字分割结果
2.1 标识牌纹理特征提取
提取图像局部纹理特征，可以用局部二值模式(Local Binary Pattern，LBP)描述子来描述。LBP模式的基本操作单元是小邻域内的图像纹理，具有计算量小、旋转不变性和灰度不变性等优点[6]。
(13)
(14)
旋转不变统一模式的计算公式为式(15)：
(15)
将提取得到的特征值转化为LBP直方图，数字“1”、“9”、“4”的标识牌样本图的LBP图谱如图8所示，降维处理之后的特征直方图维数为32。
图8 LBP特征图谱
2.2 字符识别算法
多层感知器(MLP)层间连接方式是全连接。输入特征向量X、层与层之间的权重W与偏置b、激励函数是MLP神经网络最主要的参数，通过公式(16)可了解基本MLP模型的数学关系，Softmax(·)代表输出层的逻辑回归函数。
y(x)=Softmax(b2+W2(f(W1X+b1))).
(16)
在MLP神经网络模型中，为了改变线性规则需要添加激活函数(Activation Function)，使得输出结果与特征存在非线性相关，本文采用Sigmod (S型) 激活函数。该激活函数与其导函数可表示为式(17)：
(17)
MLP神经网络的训练过程就是调整边界权重与偏置参数的过程，最终结果是使得总均方误差尽可能小。本文所用BP算法是最经典的训练算法，以输入层到隐含层为代表，参数更新如下：
将输入层、隐含层的节点分别定义为xi，hj，层间节点的权值定义为wxi,hj，层与层之间权重更新如(18)：
(18)
其中，隐藏层的学习率为ηxi,hj。
将隐含层偏置定义为bh，则输入到隐含层的偏置的更新为公式(19)：
(19)
其中，该层偏置的学习率为ηh。
本文采用均方误差(Mean Squared Error, MSE)作为误差估计的方法，用来测试网络的训练性能，MSE的数学计算公式如(20)所示：
(20)
其中，h(x)、outoi分别为输出层的输出数据与期望输出数据，则N类输出的总均方误差公式为式(21)：
(21)
3 实验结果及分析
本实验研究对象为一段基于接触网立柱的短视频，将数字图像尺寸统一调整到50×120的像素大小，经过对各类数字的纹理特征提取，输入层特征向量维度为10×32，输出层即为“0-9”十类。
神经网络模型搭建完成后，对标识牌区域测试集和样本集进行特征提取，训练得到的特征，其训练误差曲线如图9所示。将误差目标设定为0.001，经过168次迭代后，误差小于设置的目标值，MLP分类器训练截止，输入测试集对标识牌信息识别。
图9 误差曲线
为了解决图像数据集过少的问题，标识牌区域旋转合并到数据集中，最终得到200张标识牌图像，分割数字字符后，基于MLP神经网络的标识牌识别最终结果如图10所示。在标识牌区域有接触网线的干扰下，仍能准确识别数字信息。
本章算法从基于视觉显著性的研究出发，在将接触网立柱区域前景分割后，根据标识牌区域的特征对其进行下一步的分割，利用像素投影完成单个字符的提取，最终通过基于MLP分类器算法完成标识牌信息识别，如图11所示。该算法最终的识别准确率达到了93.5%。
图10 标识牌识别结果
(a) 接触网立柱显著图
(b) 标识牌信息识别
4 结束语
由于立柱区域与背景树木颜色及灰度值太过相近，传统分割效果并不明显。受视觉显著性检测的启发，本文提出以强健的背景先验与吸收马尔可夫链结合的方式提取立柱显著图，为了提高检测效率，以SLIC超像素算法对图像进行预处理；利用标识牌的底层特征对标识牌区域精定位。该算法的提出很好的定位了接触网立柱及标识牌区域。搭建MLP神经网络分类器，输入标识牌纹理特征并训练该模型，使得该神经网络模型参数达到最优，对标识牌的识别准确率达到93.5%。因此该算法基本达到了对接触网标识牌识别定位的要求，为智能化轨道巡检提供了新思路。
