基于DM 8168的视频服务器设计

程勇策，高 喆，张志萍

(中国电子科技集团公司第三研究所，北京100015)

基于DM 8168的视频服务器设计

程勇策，高 喆，张志萍

(中国电子科技集团公司第三研究所，北京100015)

采用基于DM8168的硬件平台，利用丰富的外围接口扩展视频服务器的各种通讯接口和音视频接口。在DM8168的DSP中植入以高斯模型获得背景图像，以当前图像与背景图像差获得目标，根据目标运动轨迹判断目标行为的图像智能分析算法。在ARM中植入Linux操作系统，在Linux上开发的人机交互软件通过调用DM8168的驱动来控制其各种功能模块实现图像压缩、存储、回放、多画面合成、音视频输入输出等功能，以满足视频服务器所需的人机交互功能。

DM8168;DSP;ARM;Linux

当前的视频监控向着多样化、智能化、一体化方向发展，监控系统中的设备功能也不再单一，而是向着多功能、高度集成、信息融合的方向发展。因此，人们需要高性能、多接口、超大存储容量、具有简洁灵活的人机交互软件的视频服务器来满足当前的发展需要。

本视频服务器采用TI公司新推出的基于达芬奇架构的视频处理器DM8168，该处理器集成了1.125 GHz的C674X DSP和1.35 GHz的ARM8，利用高清视频图像协处理器可以对视频进行H.264或 MPEG4编解码［1］。采用DM8168的超强运算能力及丰富的外围接口来实现具备视频采集、储存、回放、画面分割合成、图像智能识别、各种接口形式的视频显示终端及灵活的人机交互软件于一体的视频服务器。

1 系统组成

本服务器以DM8168为核心，利用丰富的接口扩展各种外设，各接口、DSP、ARM之间采用EDMA进行数据交换和共享。系统组成框图如图1所示。

1.1 音视频AD

采用TI公司的TVP5158来对输入到视频服务器端的模拟音视频实现A/D操作。TVP5158支持各种格式的PAL制、NTSC制视频输入，单片TVP5158支持4路音频和视频同时采样，每个视频A/D以27 MHz频率对输入视频采样，可以配置为108 MHz频率从A口输出4路采样数据［2］。TVP5158附带的音频AD以64 kHz的采样率对4路音频同时进行采样，使每路音频的采样率达到16 kHz。

DM8168通过I2C总线控制4片TVP5158，使其对16路音视频同时采样，16路音频数据通过TVP5158音频级联功能，进行I2S编码后通过一片TVP5158输出到DM8168的 MCASP0接口上;配置 4片 TVP5158以BT656格式输出视频数据，4个视频输出A口分别连接到DM8168的2个视频数据输入口，由此可以大大减少DM8168硬件接口的开销。

1.2 语音编解码器

视频服务器的本地语音输入输出采用AIC3104语音编解码器。AIC3104具有两个信噪比达92 dB、采样率高达96 kHz的专用音频A/D和两个信噪比达102 dB、采样率高达96 kHz的专用音频D/A，音频A/D和D/A均支持6路立体声同时转换，输出方式可以配置单端和差分方式［3］。A/D前端和D/A后端连接运放，输入可直接连接MIC或传声器，输出可以直接驱动耳机或扬声器。

图1 视频服务器系统组成图

DM8168通过I2C总线控制AIC3104进行采样和D/A转换，通过MCASP1口与AIC3104进行语音数据收发。当视频服务器本地录音时，DM8168获取A/D数据进行编码保存，当视频服务器处于回放时，DM8168解码后将数据发送给AIC3104进行D/A转换，当视频服务器处于实时监控时，AIC3104对输入的语音信号放大后直接输出。

1.3 开关面板

DM8168自带有一个4×4的键盘扫描接口，操作十分方便，但是当开关面板开关数量超过16个，或者需要在面板上扩展数码显示管时，DM8168不能完全满足需求。因此，本视频服务器采用一种简单、灵活、可靠的开关面板设计。

开关面板采用PCF8574来实现I2C总线转I/O，采用多片PCF8574来实现5×5开关矩阵，并将多个发光二极管连接在I/O口上，同时通过I/O口设置MC1543来驱动LED，DM8168通过I2C 2口读写开关面板来实现键盘扫描、状态灯设置、LED驱动，其原理如图2所示。

图2 开关面板原理框图

1.4 串行通信接口

DM8168含3个串行通信接口UART。UART1通过MAX3231转换为标准的RS232通信接口，实现与上位机的通信;UART2通过MAX488转换为标准的RS422通信接口，可用来实现视频服务器与其他设备之间的通信;UART3通过SN65HD08转换为标准的RS485通信接口，用来实现视频服务器与云台之间进行通信。

1.5 视频输出接口

DM8168提供了多种视频输出形式的接口:1个HDMI视频输出接口;4个标清 DAC视频输出 IOUTD，IOUTE，IOUTF，IOUTG;3个高清DAC视频输出IOUTA，IOUTB，IOUTC。采用 6通道视频运放 THS7360对DM8168的6个视频DAC进行视频驱动，THS7360的3个标清视频运放配置为CVBS，S-Video视频输出接口，3个高清视频运放配置为VGA或YPbPr高清分量视频输出接口，如图3所示。

采用TPD12S512驱动DM8168的HDMI视频接口后，视频服务器的HDMI接口输出HDMI 1.3标准电平，实现与HDMI接口的显示设备直连。TPD12S512不仅是视频驱动器，还是ESD防护设备，可以防护高达8 kV的静电。

DM8168有两个高清数字视频输出口，采用其中一个数字视频输出口与SIL9134连接，DM8168通过I2C2总线控制SIL9134，使其将高清数字视频输出转换为标准的DVI数字高清接口输出。

1.6 以太网接口

DM8168集成了两个10 Mbit/100 Mbit/1 000 Mbit自适应千兆以太网EMAC，通过扩展ET1011C作为千兆网PHY设备，可实现视频服务器的以太网通信，两个以太网接口让视频服务器支持高达2 Gbit/s带宽的网络吞吐能力。

图3 模拟视频接口图

1.7 SATA接口

DM8168带有两个集成了PHY的SATA3.0串行硬盘驱动接口，可以直接连接两个硬盘。为了增加视频服务器的存储能力，本设计采用JMB321B作为SATA扩展器，将单个SATA接口扩展为5个SATA接口，使视频服务器可以同时连接10个SATA硬盘。

1.8 USB接口

DM8168支持两个USB 2.0接口，每个USB接口带有PHY，USB1直接连接USB插座，设计为高速USB接口，用于视频服务器对外部USB存储设备的高速访问。USB2通过USB HUB专用芯片USB2514扩展为4个USB接口，用于鼠标、键盘等相对低速的USB设备访问视频服务器。

2 处理流程和任务分解

2.1 处理流程

视频服务器不仅支持NVR，更是支持模拟视频输入的DVR，可同时支持数字系统和模拟系统。数字输入和模拟输入同时处理，处理流程如图4所示。

图4 视频处理流程

2.2 任务分解

视频服务器功能及任务繁多，同时DM8168资源丰富，需要充分利用资源，合理调度各资源完成不同的任务，让DM8168的DSP和ARM协同工作。本着硬件资源充分利用、操作控制方便灵活的原则，对DSP和ARM进行任务分配。在DSP中实现图像处理算法，完成图像智能分析功能。在ARM中植入Linux操作系统，在Linux中开发人机交互软件，并通过调用驱动访问DM8168的外围资源，不仅降低了系统的开发难度，还可以实现灵活多变、简单方便的操作控制。通过I2C总线配置音视频输入解码芯片和扫描键盘，控制HDVICP2模块对视频进行H.264编解码，控制SGX530 3D图形引擎进行多画面合成，控制HDVPSS模块进行图像缩放、字符叠加，控制SATA总线存储访问压缩视频，通过驱动设置串口、USB、以太网等接口与其他设备或上位机进行通信。

DSP完成的功能:图像智能分析。

ARM完成的功能:1)控制音频、视频输入输出; 2)多画面合成;3)网络视频解码;4)图像压缩编码存储;5)视频查询及回放;6)外部通信接口控制;7)人机交互。

3 DSP设计实现

视频服务器根据用户要求，对重点监控区域的输入图像进行目标入侵、穿越警戒面、进入区域、离开区域等行为进行智能分析，并在出现上述行为时发出告警。

图像智能分析的种类虽然很多，在本设计中采用相同的图像处理算法，通过判断运动目标行为轨迹来实现不同行为的智能分析。采用记录用户输入的图像区域选择，通过高斯模型获取背景，通过图像与背景差分获得运动前景分割出目标，从而计算出目标位置并生成目标轨迹，当目标出入用户输入区域时［5］，结合目标轨迹来判断目标行为，发出相应的告警。其处理流程如图5所示。

图5 智能分析流程图

3.1 背景获取

背景选择对目标的分割显得尤为重要，此处采用高斯模型来获得背景。如果某点或某区域为图像背景，其灰度概率密度函数分布满足高斯特性，满足高斯分布的随机变量四阶统计量为0［4］。根据上述特性，使用以下算法可以获得背景区域。

首先对第n帧和第n+1帧图像做差分运算

将结果分为C个子块，块大小为W×W，记为{Bk (i)}(i=0，1，…，C-1)。求出每个子块的能量E和四阶统计量H4

当满足式(4)时，该子块为背景。

在不同帧图像中相同的位置子块均检测出为背景时，对该子块内各像素取平均值后作为背景。

式中:l为在L帧图像中检测到特定子块的数量;d(x，y)为获取的背景在(x，y)处的灰度值;dn(x，y)为第n帧图像在(x，y)处的灰度值。

3.2 目标分割

利用背景差分的方法来获取运动目标，实现目标的分割，采用当前的图像灰度值减去背景图像灰度值，然后用式(6)对图像进行二制化即可分割出目标

式中:T为分割阈值。

3.3 位置计算

为了避免目标在运动过程中受到形变、旋转等因素影响，采用目标重心作为目标的位置

3.4 目标轨迹生成

连续记录某目标在图像中的位置，当目标进入或离开用户指定区域时，目标在n帧图像的位置序列{(x1，y1)，…，(xn，yn)}经过线性运算可以判断目标的运动方向角度，结合目标当前位置(Δx，Δy)和运动方向角θ可以分析出目标的行为状态。

4 ARM设计实现

4.1 控制音视频输入输出

利用TI官方提供的Linux内核，配置DM8168的Linux音频驱动，调用音频驱动控制ARM，使其通过I2C 1接口控制 AIC3104语音编码器，配置其采样频率为16 kHz，采样精度为10 bit，工作在TDM模式下。ARM通过MCASP1接口采用AIC3104的DSP串行总线模式向其发送音频数据，传输时序如图6所示，AIC3104进行D/A后输出双声道语音信号。

图6 MCASP1通讯时序

ARM通过外部数据总线控制DM8168的HDVPSS (高清视频处理子系统)，可以灵活方便的控制各种视频输出接口并完成字符叠加功能。HDVPSS包含显示处理、字符叠加、视频编码、视频DA、HDMI发射器功能模块。DSP控制显示处理单元使不同分辨率的输入视频进行缩放，以满足输出视频格式的分辨率，显示处理单元可以同时对2路1 080p@60 Hz的高清视频进行缩放，因此，利用显示处理单元强大的视频缩放能力，可以实现不同的视频输出口显示不同的视频。

4.2 多画面合成

多画面合成是指将多路视频合成在一个画面上输出显示，常见的为4画面、9画面、16画面合成，多画面合成原理是将各输入视频按水平和垂直方向上进行抽点，将图像缩小到一定比例后重新排列各图像组成单幅图像进行显示。

DM8168包含一个SGX530 3D图形引擎，调用视频驱动控制ARM调用操作该图像引擎，利用SGX530图像缩放、并列窗口处理能力，将各输入视频依次进行缩小、存放在窗口中，以此达到多画面合成的目的。

4.3 视频编解码及存储

按照图4的视频处理流程，视频编解码及存储分为模拟视频和数字网络视频。模拟视频经过视频AD后进行H.264编码后存储在本地硬盘，网络视频则从网络接收后直接存储在本地硬盘上。

在ARM的Linux开发环境中加载Encoders/Decoders and other helper chips视频驱动程序，调用视频驱动中的H.264encode()函数控制HDVICP2高清视频图像协处理器对模拟视频 A/D采样后的数字视频进行H.264压缩编码，压缩编码采用D1分辨率。加载以上视频驱动后，调用H.264decode()函数可以将需要用于显示或画面合成的网络视频进行H.264解码。DM8168含有3个HDVICP2高清视频图像协处理器，每个图像协处理器可以对1 080p@60 Hz的高清视频进行编码或解码，因此，视频服务器支持同时对36路视频进行D1分辨率的编码，或同时对7路1 080p@25 Hz的高清网络视频进行H.264解码。

在ARM的Linux开发环境中加载SATA Port Multiplier support和Platform AHCI SATA support驱动程序，调用文件操作函数在SATA硬盘中创建基于视频通道和时间标识的H.264文件名，将压缩的视频媒体流直接写在文件中完成视频存储。

4.4 视频查询及回放

利用Linux文件系统函数，根据视频文件名中的通道和时间标识查找定位视频文件，获得文件的绝对路径和完整文件名，打开文件获得压缩视频流，调用H.264视频解码功能和视频输出显示控制功能完成视频回放。

4.5 外部通信接口控制

视频服务器的外部通信接口包含串行通信接口、USB接口、以太网接口。通过加载各通信接口相应的驱动程序，调用配置函数设置各通信接口的通信方式、通信速率、通信地址及通信时序等，实现视频服务器与上位机或其他设备之间的通信。

4.6 人机交互软件

ARM开发系统安装的操作系统选择为 ubuntu10.04LTS，desktop版本，进入系统后安装GCC标准的C、C++编译环境，安装交差编译器cross后在bash文件中配置环境变量［6］。从TI官网下载并安装arm-linuxgnueabi-dvs8168内核包，配置好驱动后完成内核模块编译，搭建完成开发人机交互软件的交叉编译开发环境。

要开发出灵活美观的人机交互软件，必须采用图形界面的形式，由于视频服务器的功能很多，图形界面的开发颇为复杂，为了降低开发难度，采用Linux下的GUI来实现图形界面的开发，本设计中采用的GUI为QT，开发出的人机交互软件如图7所示。

图7 人机交互软件效果图(截图)

5 测试结果及结论

本文采用的SGX530 3D作为多画面合成引擎，得出的4画面合成效果如图8所示。图像智能分析结果如图9所示，对图9a源图像以高斯模型获得的图像背景如图9b所示，以源图像与背景图像差得到的目标图像如图9c所示，最终获得的目标轨迹如图9d所示。

本文采用的视频服务器通过DM8168内部的C674X DSP实现图像智能分析，通过ARM控制各协处理器和外围功能单元完成了图像压缩、存储、缩放、输出等功能，实现了视频服务器应具备的高性能、多接口、多功能、大容量、灵活的人机交互的要求，满足视频监控领域发展的需求。

图8 四画面合成效果图(截图)

［1］Texas Instruments.TMS320DM816x DaVinci technical referencemanual［EB/OL］.［2014-08-12］.http://www.ti.com.cn/cn/lit/ug/ sprugx8b/sprugx8b.pdf.

［2］Texas Instruments.TVP5158 four-channel NTSC/PAL video decoders datamanual［EB/OL］.［2014-08-15］.http://www.ti.com.cn/cn/ lit/ds/symlink/tvp5158.pdf.

［3］Texas Instruments.TLV320AIC3104 low-power-stereo audio codec for portable audio/telephony［EB/OL］.［2014-08-18］.http:// www.ti.com.cn/cn/lit/ds/symlink/tlv320aic3104.pdf.

［4］魏巍，李志慧，赵永华，等.基于智能相机的混合交通流检测方法［J］.吉林大学学报:工学版，2013，43(4):866-869.

图9 图像智能分析结果图(截图)

［5］郑素贞，方向忠，王慈.数字视频智能编辑算法研究［J］.电视技术，2010，34(6):16-18.

［6］何世晓，杜朝晖.Linux系统案列精解［M］.北京:清华大学出版社，2010.

Design of Video Server Based on DM 8168

CHENG Yongce，GAO Zhe，ZHANG Zhiping
(The Third Research Institute of China Electronics Technology Group Corporation，Beijing 100015，China)

Based on DM8168 hardware platform，the communication interface，audio interface and video interface of video server is extended by using abundant peripheral.Embedding gaussmodel to obtain the background，difference between current image and the background image is obtained as target，according to the target trajectory judgment target behavior，intelligent image analysis algorithm is achieved in DM8168 DSP.In order tomeet the video server for powerful and flexible operation of the human-computer interaction function，Linux operating system is embedded in ARM，the human-computer interaction software is developed on Linux by calling DM8168 driver to control the various functionalmodules to realize image compression，storage，playback and image synthesis，audio and video input and output，and other functions.

DM8168;DSP;ARM;Linux

TN87;TP23

A

�� 薇

2014-09-15

【本文献信息】程勇策，高喆，张志萍.基于DM8168的视频服务器设计［J］.电视技术，2014，38(23).