掘进机视觉导航系统嵌入式平台研究与开发*

田原

(1. 中国煤炭科工集团 太原研究院有限公司， 山西 太原 030006；2. 山西天地煤机装备有限公司， 山西 太原 030006)

0 引言

掘进工作面是煤矿井下作业环境最恶劣、事故发生率最高、作业人员最密集的场合之一，截割过程中产生的大量粉尘、噪音和安全隐患均对掘进机的自动化提出了迫切的要求，其中掘进机自动导航技术成为关键技术之一[1]。以掘进机自动导航技术为基础，可实现掘进机断面监视和自动截割，进而实现掘进机的远程控制。

标准GB 50213—2010 《煤炭井巷工程质量验收规范》中规定“井巷掘进坡度偏差不得超过±1‰”，“基础掘进断面规格的允许偏差为-25 mm～+150 mm”[2]，这一偏差指的是最终成型偏差，包含检测偏差和执行偏差等部分。考虑到掘进机装配精度、恶劣工况等因素，通常在执行环节会产生较大偏差，因此，掘进机定位检测精度应达到厘米级，姿态和航向检测精度应达到角分级。

视觉导航技术属于基于光电技术的导航技术中的一类，其特点是导航系统分为两部分：一部分作为检测装置如工业摄像机固定在巷道基准中；一部分作为信号发射装置配置在掘进机机身上随机身一起运动，或者反之，固定单元以经过标定的激光指向仪光束为基准，获取运动单元即掘进机机身的空间位置姿态，随着巷道的延伸而定期向前移位，是一种相对位置和相对姿态检测[3-8]。在煤矿井下应用时，虽然存在一定的环境适应性问题，但视觉导航技术因其具有技术成熟、精度高、成本低等优点，具有较好的应用价值。视觉导航技术的关键是图像处理和识别、导航解算等技术，其特点是海量数据的传输和处理。传统的视觉导航技术以工控机为数据处理平台，便携性差，在煤矿井下应用时，这一问题尤为突出。

嵌入式技术方面，作为一种数字图像、视频、语音、音频信号处理的新平台，达芬奇技术集成了具有通用处理器功能的ARM 和具有高速处理功能的DSP，两者有效结合，非常适合进行音视频处理，可以很好地迎合市场上对高性能、实时的、移动数字媒体需求，有着广泛的市场前景。同时在视频监控[9]、目标识别[10]及智能跟踪等领域，如何将嵌入式终端采集的数据实时发送到远端上位机进行处理也是一个迫切需要解决的问题。文献[11]～[14]均采用基于达芬奇技术系列芯片DM3730 处理器的解决方案，通过实时视频数据采集、处理、编码和传输，实现了不同的智能监控功能。

为了使掘进机视觉导航系统小型化、集成化，提高其可靠性以便于现场应用，在基于PC平台的掘进机视觉导航系统的基础上[15]，开发了基于ARM Cortex A8 CPU内核的集工业摄像机与图像采集分析系统、无线数据传输等于一体的嵌入式平台，并将基于Windows平台，利用Visual C++开发的系统软件移植到嵌入式平台上，实现了掘进机视觉导航的功能。

1 嵌入式掘进机空间位姿检测系统组成

嵌入式掘进机视觉导航系统由导航仪以及光靶两部分组成，如图1所示。光靶布置在掘进机机身上，由9个特征光源按照“田”字形排布形成，用于强化掘进机空间几何特征。导航仪固定在掘进机后方巷道顶板上，用于确定检测基准并获取光靶的图像，对图像进行实时处理并计算导航仪与光靶之间的相对空间位置和姿态，从而获得掘进机相对巷道设计基准的空间位置和姿态。嵌入式平台包含在导航仪中，由图像采集单元、数据分析单元(CPU)、存储单元、无线数传单元、电源单元、输入输出单元以及系统软件等组成，用于采集并分析处理工业摄像机获取的光靶图像，解算掘进机导航参数并无线上传至机载上位机。机载上位机实时接收来自导航仪的掘进机导航数据，用于掘进机遥控或掘进机断面监视系统。

图1 嵌入式掘进机视觉导航系统结构

2 掘进机视觉导航系统嵌入式平台硬件开发

为提高性能，缩小体积，掘进机视觉导航系统嵌入式平台采用“处理单元(CPU)+存储器(MCP)+电源管理(PMIC)”最小系统模块AP Module，配合一系列外扩芯片，实现视频采集和通信等功能。

2.1 AP 模块

AP模块(Jorjin ATBN441JS)使用德州仪器(TI)ARM Cortex A8 CPU内核的 MPU DM3730，4GB DDR+4GB NAND Flash 的存储器和高性能的电源管理芯片TPS65950 构建最小系统。DM3730微处理器由1GHz的ARM Cortex-A8 Core和800 MHz的TMS320C64x+ DSP Core两部分组成，并集成了3D图形处理器、视频加速器(IVA)、USB 2.0、支持MMC/SD卡、串口等。ARM Cortex-A8处理器是基于ARMv7架构的应用处理器，用于多媒体和信号处理。相较于ARM11架构，Cortex-A8采用“双指令执行”(dual-issue超标量)设计，每个时钟周期可以执行两个指令。MCP是AP模块的存储芯片，是NAND Flash 与 SDRAM DDR 二合一的存储用芯片,大小均为512 MB,NAND Flash 通过GPMC总线实现数据访问，而 DDR则使用 SDRAM Controller(SDRC)实现数据访问。

2.2 外扩芯片

外扩芯片包括LAN9514、WG7310、TRS3253E、MAX3485、TVP5146M2等，主要用于IO接口扩展。

1) LAN9514 是一个高性能的高速USB 2.0集线器和 10/100以太网控制器。它可作为一种高性能、低成本 USB/以太网和 USB/USB 连接解决方案，并包含下行USB 接口和一个以太网口。它还整合了上行链路的USB 2.0 PHY、一个 10/100 以太网 PHY、一个 10/100 以太网控制器、 TAP 控制器和 EEPROM 控制器。嵌入式图像处理平台可通过直通网线连接到网络 hub 上，也可用交叉网线与PC直接相连。

2) 板载(Wi-Fi+FM+BT)三合一通信模块WG7310-0A是集成 Wi-Fi、BlueTooth 和 FM 的系统级封装模块。基于德州仪器 WL1271的 Wi-Fi(IEEE 802.11b/g/n)与 BT(V2.1+ EDR)的解决方案，提供Wi-Fi 和 BT共存互操作性和节能技术。

3) TRS3253E 支持 3 路发送信号和 5 路接收信号的 RS-232 接口设备， 对于混合电平信号有各自独立的电源引脚。TRS3253E 适用于不同电平平台串口输出，可以兼容 1.8V 输入/3.3V 输入，RS-232 电平输出，可以直接通过串口线连接PC。

4) MAX3485是一个可在恶劣环境中工作的低功耗RS-485/RS-422标准收发器。收发器的每个输入和输出端口都具有ESD保护防锁闭结构，它包含一个驱动器和一个接收器：驱动器具有短路电流保护功能，并可通过热关断电路使输出为高阻态来防止额外的功耗；接收器具有一个自动防故障装置的特性，保证输入开路时输出一个逻辑高电位。芯片为限回转率的收发器，具有使电磁干扰(EMI)最小化和减小错误终端电缆引起的反射的特性。允许无误差数据的传输速率大于250 kbit/s。

5) TVP5146M2是一款专业的数字视频解码芯片，可以将模拟视频信号进行数字化转换为数字组合视频。它能将NTSC、PAL、SECAM视频信号转换成数字分量视频信号，适用于便携式、高质量和高性能的视频产品，比如个人视频设备、数字电视移动电话电视等。

2.3 硬件接口

掘进机视觉导航系统嵌入式平台接口包括电源输入接口(U12)、TF卡接口(P1402)、串口接口(CN1、CN3)、RGB接口(CONN4)、以太网接口(L4)、天线接口(TRX1)、摄像头信号输入(TRX2)、RS-485接口(U10)、USB HOST接口(CN4、CN6、CN7、CN8)、按键(S401、S402)等。

3 掘进机视觉导航系统嵌入式平台软件开发

软件基于Linux 2.6.37开发，需要在掘进机视觉导航系统嵌入式平台上完成图像循环采集、预处理、动态二值化、目标自动识别、多目标自动匹配、导航参数解算及无线传输、相关参数的动态存储等功能。基于上述要求，软件主程序主要实现3个功能：

1)控制摄像头实时采集图像。

2)以不低于10帧/s的速度分析处理图像数据。

3)通过无线数传模块发送和接收数据。

软件主程序包括图像分析处理线程和服务器线程等线程，其流程分别如图2～4所示。除主程序外，还设计了PC辅助调试程序，其流程如图5所示。

图2 主程序流程

图3 图像处理线程

图4 服务器线程

图5 调试服务器线程

该程序主要用来测试嵌入式平台程序运行结果，通过和平台采集传输程序建立socket通信，发送和接收相关数据，在界面上刷新相关信息，可观察采集传输程序运行结果。

4 掘进机视觉导航系统嵌入式平台性能测试

4.1 硬件环境搭建

用串口通信线连接嵌入式系统的调试串口和PC串口(或使用USB转串口连接线)。将VGA辅助模块用50PIN FFC排线连接到嵌入式平台，VGA接口连接到VGA显示器。插入带有系统映象的TF卡。与上位PC机通过无线路由器连接，采用路由器动态分配的网络地址方法，在该测试中嵌入式系统的网络地址为 192.168.0.105，PC 端的网络地址为 192.168.0.106。连接5 V电源适配器到嵌入式系统。

4.2 系统测试

嵌入式平台实物如图6所示。测试中使用PC 端作为服务器端，嵌入式系统作为客户端。试验结果表明,嵌入式平台能在60 m距离范围内满足帧率为10帧/s，分辨率为768×576的图像实时采集、分析以及导航数据实时上传的要求。

图6 嵌入式图像处理平台实物

5 结论

本文设计了基于ARM Cortex-A8处理器、TVP5146模拟摄像头模块、WG7310-0A通信模块的掘进机视觉导航系统嵌入式平台，给出了系统的硬件设计原理及软件的设计流程。嵌入式平台实现了图像采集、预处理、图像分析、导航参数解算和数据无线传输等功能，它与工业摄像机、电源模块等集成于同一个隔爆壳体内，使其小型化便于安装。测试结果表明，该嵌入式平台能满足10帧/s，分辨率为768×576的图像实时采集、分析以及导航数据实时上传的要求。