嵌入式无线货车装载状态高清检测系统方案研究
2019-01-03郄晓永
郄晓永
(中国铁路郑州局集团有限公司 总工程师室,郑州 450052)
铁路货车的货物装载和加固是保证行车安全和货物安全的重要措施,也是铁路各级货运管理部门的重点工作,具有安全要求高、技术难度大等特点[1-3]。为确保铁路货车运营安全,提高铁路货运服务质量,采用自动化、信息化、智能化系统对铁路货车装载状态进行自动检测和智能识别具有重要的实际意义和应用价值。
铁路货车装载状态检测系统采用了计算机、自动控制、网络传输及相机自动曝光等技术,由现场图像采集系统、控制中心系统组成,采用4台2 K高速线阵工业相机分别从左侧、右侧、左侧顶部、右侧顶部高速扫描列车[4],高清图像和货车信息通过光纤传输至车站控制中心。车站控制中心对采集的图像进行实时预览、压缩、存储,为运营分析、事故排查等工作提供高清晰图像依据。货检员可以在车站监控中心对货车状态进行查看、分析,减轻了工作量,提高了货检作业的安全性和工作效率[5]。
目前,系统存在的主要问题如下:
(1)线阵相机通过光纤远程接入工控机进行数据采集,对传输网络、千兆网卡要求比较高;存在传输不稳定,丢帧、错帧现象。
(2)对工控机配置要求较高,单台工控机只能接入2台线阵相机。
(3)对采集到原始标准图像文件格式(BMP)只能进行软件压缩,速度较慢。
(4)现场设备与中心设备只能通过光纤通信,施工难度和成本过高。
(5)无法做到实时图像识别。
通过采用嵌入式采集、处理板代替工控机进行图像采集、压缩;采用通用并行计算架构(CUDA)技术进行图像识别、分析;采用前端采集、分析、压缩、存储技术替代现有的中心集控策略;采用无线传输技术替代现有的光纤传输方式等可以显著解决目前存在的问题和不足[6]。
为此,本文设计了基于嵌入式技术和无线通信技术的铁路货车装载状态高清检测系统。系统采用高性能嵌入式处理板完成现场图像的采集与智能识别,并将结果通过无线网络传输至控制中心,为各级货运管理部门和作业部门提供清晰、直观的货车装载信息。
1 架构设计
1.1 总体架构
根据铁路货车状态检测系统的现状分析、新一代系统的设计方案和实际业务需求,结合未来信息化系统的发展方向,进行总体架构设计。总体架构分为4层,数据采集层、网络传输层、业务应用层和智能分析层,如图1所示。
图1 系统总体架构
(1)数据采集层由线扫图像采集及处理子系统、车速采集子系统、车号采集子系统和数据处理设备等组成,完成现场各类数据的实时采集、信息匹配、预处理等功能。未来考虑增加综合视频监控、北斗导航定位、激光测量、射频识别等技术手段,丰富数据采集维度,提高数据采集精度,为综合分析、智能挖掘提供数据基础[7]。
(2)网络传输层由无线传输子系统组成,为数据采集层至业务应用层提供数据传输通道。采用两对5.8 G无线网桥搭建无线传输通道,将现场数据采集和数据处理系统与车站控制中心系统连通。
(3)数据融合层由车站控制中心系统及上层业务系统组成,主要业务应用包括对货车装载状态检测信息等相关领域系统数据的实时展示、灵活查询、自助分析等。同时结合信息新技术,融合相关生产领域业务知识,通过逻辑推理来帮助解决复杂性、综合性业务决策问题。
(4)业务应用层主要基于大数据、人工智能、北斗等服务平台以及各专业的生产应用系统,运用数据挖掘、交互分析、机器学习、时空感知等技术,进行数据分析和数据挖掘,探索数据新价值、发现系统新问题、呈现业务新规则,深度赋能铁路运输生产。
1.2 系统功能
系统由线扫图像采集及处理子系统、车速采集子系统、车号采集子系统、无线传输子系统及车站控制中心子系统等5部分组成[8-9]。
1.2.1 线扫图像采集及处理子系统
线扫图像采集设备布置,如图2所示。
该子系统有3个采集箱及控制柜组成,包含线阵相机、采集控制板、光源及处理板,当列车通过时拍摄列车左右两侧及顶部信息,获取高清图像信息并进行相关处理,其工作流程如下:
(1)当检测到列车接近时,启动线阵相机,并根据此刻环境光照度实时调整线阵相机的曝光时间参数;
(2)依据“车速采集子系统”获取的列车速度实时调整线阵相机的扫描频率,以获取完成的车厢高清图像;
(3)依据“车号采集子系统”实时对采集的车厢图像进行智能分析,并将原始图像进行深度压缩;
(4)列车完全通过后将处理过的图像及时传输至现场主控板卡。
1.2.2 车速采集子系统
该子系统由测速处理板及测速磁钢组两部分组成,当列车通过测速磁钢组时,测速处理板实时计算列车运行速度,同时生成线阵相机扫描频率及列车分节信息并上传至线扫图像采集及处理子系统。
图2 线扫图像采集设备布置图
1.2.3 车号采集子系统
该子系统由车号识别主机、天线以及磁钢组等3部分组成,列车经过开机磁钢组,启动车号识别主机获取车号信息,并通过CAN总线传送车号信息至线扫图像采集及处理子系统,当列车通过关机磁钢后,结束车号数据的采集。
1.2.4 无线传输子系统
该子系统由两对5.8 G的无线网桥组成,分别传输高清图像及辅助信息至车站服务器。
1.2.5 车站控制中心子系统
该子系统主要由存储服务器、交换机、防火墙及查询管理机等部分组成,负责存储采集到的高清图像并提供数据查询、检索及浏览功能。
系统的数据流,如图3所示。
图3 系统数据流图
1.3 物理架构
从物理架构上,系统可划分为两部分:现场设备和中心设备。
现场设备主要完成数据采集、图像识别、图像压缩等功能。现场设备主要由线扫图像采集及处理子系统设备和无线传输系统设备构成,包括:线阵相机、嵌入式处理板、无线网桥等。
现场采用3台2 K高速线阵相机分别从左侧、右侧、顶部高速扫描列车,并通过嵌入式处理板卡对获取的图像信息进行识别、压缩,将处理后的信息实时传输至现场主控板卡;主控板卡将处理后的图像及相关车速、车号信息通过两路无线网桥传输到车站服务器。系统布局示意图,如图4所示。
图4 货车装载状态检测系统布局示意图
中心设备主要完成数据存储、数据查询、应用分析等功能。中心设备主要由车站控制中心子系统设备和无线传输系统设备构成,包括:车站服务器、工作站、无线网桥等。
系统物理架构,如图5所示。
2 系统关键技术
2.1 嵌入式平台
嵌入式系统一般包括软件和硬件两个部分,其中嵌入式处理器、存储器和外部设备构成整个系统的硬件基础。嵌入式系统的软件部分可以分为3个层次,分别是系统软件、支撑软件和应用软件[10]。
线扫图像采集及处理子系统的嵌入式硬件设计采用嵌入式人工智能超级计算平台—Jetson TX2。基于 NVIDIA Pascal™ 架构的Jetson TX2具有性能强大、外形小巧、节能高效等特点,特别适合机器人、无人机和智能摄像机等智能终端设备。
图5 系统物理架构
Jetson TX2预装了 Ubuntu 16.04 作为系统软件。
Jetson Development Pack(JetPack)是一个按需提供的一体化软件包,捆绑并安装了适用于 NVIDIA Jetson 嵌入式平台的所有开发软件工具。
Jetpack为人工智能提供了一整套软件架构,包括代码示例、NSight开发工具和丰富的多媒体API,可以对底层硬件进行很好的支持。JetPack 适用于以下功能的工具。
(1)深度学习:TensorRT、cuDNN、NVIDIA DIGITSTM工作流程;
(2)计算机视觉:NVIDIA VisionWorks、Open-CV;
(3) 图 形 处 理 器(GPU) 计 算 :NVIDIA CUDA、CUDA 库 ;
(4)多媒体:图像信号处理(ISP) 支持、摄像头图像、视频编译码器(CODEC)。
同时,它还包括 ROS 兼容性、OpenGL、高级开发者工具等。
2.2 CUDA技术及开发方法
基于Jetson TX2开发的线扫图像采集及处理子系统,支持CUDA并行计算架构编程,利用Jetson TX2提供的CUDA(Compute Unified Device Architecture)开发库实现了实时、快速图像解析及预处理。
尺度不变特征变换(SIFT)是一种针对噪声光照变化不敏感、具有较好可靠性的优秀图像局部特征描述算法,在图像识别、图像配准等领域有着广泛的应用。然而,SIFT算法的复杂度较大,在基于CPU的计算过程耗时较长,无法满足实时性要求高的场合。基于CUDA思想,可以重新设计SIFT算法的实现方案,解决实时性的并行运算问题[11]。
2.3 深度学习技术
深度学习是机器学习中一种基于对数据进行表征学习的方法,其动机在于建立、模拟人脑进行分析学习的神经网络,模仿人脑的机制来解释数据,例如:图像、声音和文本。
车站控制中心子系统的应用分析模块针对现场采集的图片,利用CNN、RNN等深度神经网络结构、代替传统手动提取特征方法[5],结合GPU高性能算力资源,可以为铁路货运货检业务场景提供图像分类、目标检测、语义分割、场景描述等功能。
将深度学习技术应用于图像处理,可以使用卷积神经网络(CNN,Convolutional Neural Networks)训练图像的深度学习模型,提取图像的深度学习特征并且构建成数据库,最后通过支持向量机(SVM)对特征进行分类识别,具体的主要步骤如下。
(1)采集和扩充图像数据集:对有限的图像进行预处理,对图像的样本进行扩充;
(2)设计卷积神经网络:在现有的VGG-16模型的基础上利用卷积层代替全连接层构建;
(3)训练卷积神经网络:采用反向传播算法和随机梯度下降方法,根据前向传播的loss值的大小,来进行反向传播迭代更新每一层的权重,直到模型的loss值趋向于收敛时,停止训练模型,得到深度学习模型;
(4)提取图像的特征:将数据集中的每一幅图像输入到步骤3所述的深度学习模型中,针对输入的图像,在图像的倒数第2层全卷积层提取深度学习特征;
(5)识别图像:对于给定任意一幅待识别的图像,输入到训练好的深度学习模型中,提取样本的深度学习特征,通过两次训练的方法来有效的判别该图像属于哪个类别。
3 结束语
本文研究了基于嵌入式技术、无线通信技术、信息新技术的铁路货车装载状态高清检测系统设计方案。方案采用高性能嵌入式处理板进行现场图像的采集与智能识别,并将结果通过无线网络传输至控制中心,为各级货运管理部门和作业部门提供清晰、直观的货车装载信息。
系统设计方案从设计层面提供了解决原有系统部署实施周期长、难度大、成本高等问题的思路。
下一步的研究内容是依据系统设计方案进行系统搭建,选择合适的货站进行系统部署、测试。通过系统实施验证本设计方案的可行性和适用性。