动车组受电弓状态图像检测技术研究

周 晏

（中国铁路兰州局集团有限公司，兰州 730000）

1 概述

随着国内高速铁路的快速发展，动车组保有量也越来越庞大，如何降低维修成本、减少人员投入等需求尤为迫切。其中，动车组车顶关键部件——受电弓是动车组一级检修[1]的主要检修对象之一，检修内容包括受电弓各子部件的外观状态：弓头、碳滑板、羊角、拉簧、扭簧、气囊、软编织线、绝缘子等零部件。目前，国内针对车顶受电弓的检测手段主要分为人工检查和智能设备检测，其中人工检查为通过申请作业时间点，登顶车顶作业，工作强度大、作业效率低；智能检测设备主要采用线阵图像扫描车顶成像，通过网络把图像数据传输后台服务器进行机器智能识别和报警。但是，线阵相机拍摄的图像存在立体感不强、成像的质量易受车速变化导致图像畸变等问题，本文提出一种安装在动车所检测棚，通过创新的车顶触发机制，引导面阵相机进行高质量图像拍摄、图像模板匹配的动车组受电弓状态图像检测系统进行受电弓智能检测。

2 系统框架

动车组受电弓状态图像检测系统（简称系统）由图像采集系统和图像分析系统两个子系统组成。图像采集系统由安装在检测棚的线阵相机、面阵相机、车号识别模块硬件和相应的软件构成，主要具备线阵图像车顶扫描、受电弓识别、车顶受电弓区域图像高清成像、车号识别等功能，具有图像数据传输给图像分析系统功能；图像分析系统负责将图像采集系统的图像进行图像数据处理、对受电弓区域关键零部件的安装状态进行故障对比分析和故障可视化，实现对受电弓状态的自动识别和报警。系统框架如图1 所示。

图1 动车组受电弓状态图像检测系统框架Fig.1 Framework for image detection system of pantograph status of EMU

3 系统硬件部署

系统硬件设备主要由部署在检测棚顶部的两台面阵相机组件、线阵相机组件，部署在检测棚下部的车号采集模块，部署在检测棚下部的前端处理工控机，部署在机房的后台处理服务器组成。其中检测棚顶部设备布局如图2 所示。

图2 检测棚相机部署Fig.2 Deployment of cameras in an image detection shed

如图2 所示，检测棚顶部部署一台线阵相机组件，用于高速线阵车顶扫描，实时把扫描数据传输给前端处理工控机，通过算法识别是否为受电弓。当准确识别受电弓，输出触发信号给部署在左、右端两台高清工业面阵相机组件，抓拍车顶受电弓区域图像，车顶线阵相机组件和面阵相机组件安装距离L大于2 m，确保面阵相机抓拍角度最佳。

4 图像采集系统

4.1 车号识别

车号识别由车号采集模块和车号识别软件组成，其中车号采集模块由线阵相机组件组成，车号识别软件通过YOLOv3 算法实现光学字符识别（Optical Character Recognition，OCR）。YOLO是一种检测速度较快的单阶段（One-Stage）目标检测网络。

YOLOv3[2]作为YOLO 系列目标检测算法第3个版本，在保持快速检测优点的同时，提升了小目标检测精度。由于动车组车号制式标准，车号采集模块拍摄距离固定。网络模型采用Darknet-53 算法，该算法共包含53 个卷积层，每个卷积层后面都伴有批量标准化（Batch Normalization，BN）层和leaky ReLU 层，leaky ReLU 是深度学习中经常用到的一种激活函数。模型使用步幅为3 的卷积层替代抽样层进行特征图的降采样，全模型均采用卷积层，可有效阻止由于抽样层导致的低层特征图的精度损失。网络模型输入是(512, 512, 1)。其中512 代表图像宽、高，1 表示输入图像为一个通道灰度图，输出类别为动车组车号字符0-9，A-Z，共36 个类别。网络模型训练采用随机梯度下降（Stochastic Gradient Descent，SGD）+动量方法[3]，如图3 所示。

图3 动车组车号识别框架Fig.3 Framework for recognizing EMU numbers

4.2 受电弓识别

受电弓识别是指通过线阵相机拍摄的车顶图像，采用识别算法，识别车顶受电弓，把准确识别到车顶受电弓作为触发信号，触发面阵相机抓拍高清车顶受电弓图像。识别算法采用Gabor 特征和支持向量机（Support Vector Machine，SVM）分类器结合使用。Gabor 特征用来描述图像的纹理信息，SVM 分类器是一类按监督学习（Supervised Learning）方式对数据进行二元分类的广义线性分类器（Generalized Linear classifier）。

Gabor 是一种生物启发式的特征，其模仿生物视觉系统用以描述图像。通过多尺度多方向的Gabor 滤波器组对图像滤波处理后得到形状信息，这一过程称之为Gabor 变换。在图像处理领域，Gabor 滤波器使用较为广泛，因为其可以很好地提取图像的不同尺度不同方向的轮廓细节。

Gabor 滤波器公式如式（1）所示。

O(x,y)为Gabor 特征图，把每个特征图分成1×1、2×2、4×4 共3 种单元格组合，分别计算每个格子中的均值和方差，把所有均值和方差串联成一个特征描述符，输入到支持向量机判别是否为受电弓。

4.3 图像采集软件

图像采集软件通过接收车号识别软件的车号信息，通过接收受电弓识别的触发信息，分别启动和控制各个面阵相机图像采集，把采集的图像数据传输给图像分析系统。为了高效、稳定的采集图像数据，采集软件采用远程过程调用 (Remote Procedure Call，RPC)框架，和各个软件之间采用TCP/IP 进行通信，软件采用主流的RPC 框架-Thrift[4]， Thrift 由Facebook 开发用做系统内各语言之间的 RPC 通信的一个可扩展且跨语言的软件框架，它融合了功能强大的多个软件堆栈和代码生成引擎，允许定义一个简单的文件中的数据类型和服务接口，以XML 格式作为输入文件，编译器自动生成RPC 客户端和服务器通信的无缝跨编程语言。

5 图像分析系统

图像分析系统的主要功能是监听和获取从图像采集系统传输至服务器的图像数据和过车信息，进行一系列的图像预处理、图像对齐和模板匹配等操作后，将检测结果进行可视化和报警。

5.1 图像预处理

图像预处理是图像处理的基本操作，也是特别关键的步骤。图像预处理对图像处理总体时间消耗和后续识别算法起着非常关键的作用。图像去噪、图像增强和图像变换是图像预处理中使用最频繁的运算方法。系统采用多尺度的Retinex[5]图像增强算法，Retinex 理论的基础理论是物体的颜色是由物体对红色、绿色、蓝色光线的反射能力来决定，例如，假设一幅图像S(x,y)由反射图像R(x,y)和入射图像L(x,y)相乘构成，其中反射图像表示物体的反射性质，代表图像内在本质，应尽量保留；入射图像代表图像像素的动态范围，尽量去除。Retinex 算法就是通过对L(x,y)进行高斯照度估计，通过求逆计算出R(x,y)，从而增强S(x,y)的过程。算法流程如图4 所示，图像增强效果如图5 所示。

图4 Retinex算法流程Fig.4 Flowchart of Retinex algorithm

图5 图像增强前后效果Fig.5 Comparison of images before and after image enhancement

5.2 图像对齐

图像对齐是模板匹配的关键步骤，对齐的好坏直接影响匹配的精度。图像对齐是指提取图像I(x,y)和图像J(x,y)图像特征，采用特征匹配算法对两幅图像进行匹配，求解两幅图的单应矩阵。处理流程如图6 所示。

图6 单应矩阵求解流程Fig.6 Flowchart of solving homography matrix

如图6 所示，采用ORB[6]特征作为两幅图的特征提取描述符，ORB（Oriented FAST and Rotated BRIEF）是一种快速特征点提取和描述的算法，由关键点和描述符组成，其中关键点是带方向的FAST 关键点，FAST 关键点的定义为，假设在一个5×5 的窗格中，中心像素P，窗口中连续的N个像素点的灰度值比P点大或者小，N本文取15，则认为P为关键点。根据关键点周围的像素值变化给P新增一个方向性，方向性采用图像矩实现。图像矩是一种具有平移、旋转和尺度不变性的特征，其能够以一种简单的形式作为图像的特征对图像进行识别。图像矩的计算公式如式（5）所示。

当提取到关键点P的特征后，使用BRIEF 描述方法处理特征，BRIEF 描述子，是一种二进制描述子，每个关键点P由一个128 ～512 位的二进制字符串表示，每个位用0 或者1 表示，根据BRIEF描述子的二进制特点，采用最近邻汉明距离进行ORB 特征的匹配。汉明距离指的是两个相同长度的特征向量，对应位置的不同位的长度数量。

单应矩阵H[7]是两幅图像之间的映射关系，设{xi,xi～}，表示匹配点对，确定单应矩阵H，使其满足xi～=Hxi,也即其中一幅图，根据等式可对齐另一幅图。把等式进行变换，使其为AH=0，其中矩阵A由匹配点对构成，方程为线性齐次方程组，使用奇异值分解A=UΣVT，求解的单应矩阵H是矩阵V最右边列向量。

5.3 图像模板匹配

受电弓状态图像的智能识别是系统的最关键功能，采用稳定性高、算法处理时间短、漏检率低的模板匹配[8]作为智能识别算法技术路线。模板匹配可一次性处理受电弓区域众多关键识别项点，根据动车组一级检修相关规程，系统需要识别的车顶受电弓区域的主要项点如表1 所示。

表1 智能检测项点Tab.1 Items of intelligent detection

6 实验和验证

为测试系统的性能，本文采用场外试验的方法对系统关键的算法进行验证，试验地点为某铁路局机务段，线阵相机型号为C4-312S，面阵相机型号为LXG-250，拍摄图像如图7 所示。

图7 相机拍摄图像Fig.7 Images taken by the cameras

6.1 车号识别

数据采用安装在检测棚下部用于拍摄车号的线阵相机采集的图片，共采集车号图片12 000 张，每张图片全覆盖列车车身，涵盖动集、动车、高铁多个车号类型，正确识别数量11 943 张，准确率99.52%。个别错误识别的车号主要原因是车号采集模块存在图像畸变和相机光源衰减导致图像偏暗，在12 000 张采集图像中错误识别57 张，占比0.48%。

6.2 受电弓识别

数据采用安装在检测棚顶部的用于拍摄车顶的线阵相机拍摄的图片，共采集车顶图像25 000 张，每张图全覆盖一列车车顶，包括升弓和降弓，涵盖动集、动车、高铁多个受电弓型号，其中正确识别受电弓24 902 张，错误识别98 张，准确率99.6%，错误识别主要原因是把动车组连接处识别为受电弓，连接处和受电弓在图像特征具有相似性，如图8 所示。

图8 错误识别图例Fig.8 Example of incorrect recognition

6.3 智能识别

数据采用安装在检测棚车顶左、右端的两台面阵相机拍摄的图像，共拍摄车顶受电弓区域图片24 902 张，其中存在故障的图片为205 张，涵盖10 个识别项点，系统报出故障223 张，经人工核对198 张识别正确，有8 张图片漏识别，整体准确率为88.7%，漏检率3%，如表2 所示。

表2 智能识别统计Tab.2 Statistics on intelligent recognition

7 结束语

本文详细分析了图像采集系统和图像分析系统构成的动车组受电弓状态图像检测系统，通过安装在检测棚进行场外实验，采集数据，对数据进行处理与分析。实验结果表明系统具有稳定的图像采集功能，满足良好的图像质量需求，图像智能分析整体准确率高，漏检率低，具有较高效实用性，可带来降低人工检修工作强度、提高检修效率、降低人工安全风险、提升经济效益等价值。