基于DM8127全景视频网络监控系统设计与实现

2018-03-10王五桂

船电技术 2018年2期

李剑，王五桂，张鹤

李剑，王五桂，张鹤

（中国舰船研究设计中心，武汉 430060）

与传统视频监控系统只能实现单向监控不同，文章基于TMS320DM8127研究设计了一套反射式全景视频网络监控系统，该系统由外壳体、抛物反射镜面和DM8127数字处理平台三部分组成。系统工作时，抛物反射镜面可360度反射周视成像，DM8127数字处理平台负责系统控制和任务调度，对采集图像进行展开算法处理和压缩编码，然后进行网络传输并远程显示。试验结果表明，该全景视频监控系统可在单一嵌入式平台上，实现1920x1080P分辨率、帧率约30帧/秒的实时图像采集、算法处理、图像编解码、网络传输等一体化功能。

全景抛物面反射视频监控 DM8127

0 引言

视频图像技术作为人类信息获取的重要来源，在监控安防领域得到了广泛应用。但视频监控技术发展至今，从第一代传统模拟闭路电视监控系统（CCTV）到当前“模拟-数字”监控系统（DVR），均存在视场小等缺点，容易产生监控死角。或者为了消除监控死角，采用多台相机组合或云台监控，增加了视频数据量和结构复杂性。目前，为了解决这一问题，国内外在鱼眼式全景视觉[1-2]、折反式全景视觉[3-5]和反射式全景视觉[6]展开了大量研究。本全景视频监控系统结合全景视觉技术[7]和第三代IP视频监控技术，采用抛物反射镜面可单次水平方向360度视频监控，基于TI公司DM8127嵌入式数字处理平台可片上实现视频实时处理，压缩编解码并进行网络传输和远程输出显示，结构简单，功能完备，在空间探测、机器人导航、安防监控以及船舶甲板监控领域，具有很好的实用价值。

1 系统总体设计

1.1 系统结构设计

为满足集成化要求，系统采用一体化筒状结构，总体结构设计如图1所示。系统主要由三部分组成，即外壳体、抛物反射镜面[2]和DM8127数字处理平台。外壳体包括顶盖、底座以及玻璃保护罩几部分，起结构支撑保护和透光作用，其中底座由两部分组成，通过螺纹连接，与DM8127数字处理平台通过螺栓固连，顶盖、基座与玻璃保护罩通过强力胶粘接，系统可通过旋转底座螺纹衔接处进行拆装。抛物反射镜面安装时，必须保证镜面中心与DM8127数字处理平台远焦镜头光轴重合，以避免采集的全景图像偏心。系统工作时，光线穿过玻璃保护罩经抛物反射镜面反射，透过DM8127远焦镜头在图像传感器表面成像。

图1 DM8127全景视频监控系统总体示意图

1.2系统方案设计

DM8127嵌入式全景视频监控系统可在片上对所获取的全景图像进行算法处理，处理后的图像数据可直接通过方案一高清媒体接口HDMI输出到显示器显示，或者方案二片上先对处理后的原始图像数据进行压缩编码，然后将码流数据基于网络发送至上位机解码显示，具体如图2所示。

图2 DM8127全景视频监控系统总体方案

2 系统硬件设计

2.1 TMS320DM8127功能组成

TMS320DM8127是TI公司推出的一款高性能异构多核芯片，立足系统高度完成功能设计，将系统级目标处理机制、算法模型、芯片架构、模块电路、乃至器件设计紧密结合在一起，单颗芯片即可实现整个系统的功能[8]。DM8127芯片内部集成了1GHz的ARM Cortex-A8处理核心、750 MHz的C674x DSP运算核心以及VPSS M3和Video M3两个图像协处理器，各处理器核分工如表1所示。

表1 TMS320DM8127功能组成

DM8127数字处理平台由DM8127处理单元、图像采集模块、存储模块、外设接口、电源模块几部分组成，硬件框图如图3所示。图像采集模块采用MT9J003高分辨率CMOS采集前端，图像分辨率最高可达3856x2764。电源模块采用12V外部直流供电。外围集成了RS485、RS232、USB、HDMI、千兆网口等多种外部接口，其中RS232接口可通过转接板供PC端进行用户开发调试，HDMI接口可将未经编码或解码后的图像数据直接输出到标准输出设备进行输出显示，千兆网口可用于视频流数据网络传输。存储模块采用512MB大小的DDR3内存，整个内存可分为系统运行内存、共享内存及各处理器专属内存等多个部分。

3 系统软件设计

为缩短TMS320DM8127软件开发周期，TI公司提供了专门IPNC_RDK开发环境。该环境由驱动层、系统层、核间通信层、MCFW层以及应用层等几部分组成。程序开发时，需对IPNC_RDK开发环境进行交叉编译移植，然后在MCFW层及应用层进行修改。其中，MCFW层中最主要的是link组件和Chain数据链，link组件指TI封装的最小功能组件，Chain数据链指具备完整功能的link组件的有机组合，两者共同组成应用层usecase程序。

3.1系统开发环境搭建

程序设计前，搭建TFTP及NFS开发环境，TFTP主要用于编译后的uboot和内核由linux本地向DM8127数字平台网络传输加载，NFS则是用于挂载本地文件系统便于在线调试，具体如图4所示。

图4 DM8127平台调试示意图

该过程可通过如下uboot命令实现，具体如下：

3.2系统应用程序开发

为实现全景监控视频的网络输出远程显示，需要进行usecase应用层程序设计。为实现上述总体方案，整个图像数据需经过VPSSM3核采集缩放，如需进行图像算法，还需经VPSSM3核传送至DSP核进行算法处理，再传给VideoM3核进行像素编码，再将编码后的码流数据交给ARMA8进行网络传输。

图5 3路视频输出usecase程序设计

图5所示，为针对本方案所设计的usecase程序，可支持720x480标清、1920x1080高清两路视频直接输出显示，还可支持1920x1080网络输出显示。如图所示，每个link可实现单一功能，图像数据进出不同处理器核时，需通过IPCLink进行中转，未编码数据通过IPCFramesLink进行，已编码数据通过IPCBitsLink进行核间传递，整个Chain数据链需经过link组件的创建、启动、控制、停止和销毁等过程。然后还基于同心圆展开算法，对全景环形图像进行了展开还原处理。

3.3上位机显示程序设计

ARM A8将编码后的码流数据发送至上位机后，需开发上位机视频码流接收程序，并进行解码显示。其中，码流接收程序主要是对接收到的RTP报文进行解协议操作，并将解析后的视频数据单元重新打包重组成完整的视频流数据，然后交给上位机进行FFmpeg解码显示，解码显示流程图如图6所示。

图6 上位机FFmpeg解码显示流程图

3.4试验结果

样机设计完成后，进行了试验。图7所示为阶段一对未经算法处理的数据通路试验，图中显示器大图分辨率为1920x1080P，显示器屏幕右下角小图分辨率为720x480，视频帧率30帧/秒，中间部分为系统样机，两路视频通过Mosaic组件同时输出显示。阶段二，对灰度化后的原始图像进行了DSP展开算法处理，并对展开后的图像进行了网络输出解码显示，显示图像如图8所示。

4 结论

本文研究设计了一套抛物反射式全景视频监控系统，并对系统样机进行了试验。试验结果表明，本系统可在不增加视频数据量条件下，快速实现水平方向360度范围实时视频监控和片上解算处理，并进行压缩编码，实现视频网络输出远程显示，具有很好的实际应用价值和意义。但实验过程中发现，环形全景图像偏心，且解算图像分辨率较高时视频帧率较低，说明系统结构和解算算法还有待进一步优化。