基于视频目标检测与提取技术研究

摘要：针对物体在视频中的检测和提取的需求，结合目前视频传输技术和经典的Canny边缘检测算法，设计并且实现了基于动态目标检测及提取技术。在综合考虑可能需要的实际业务生产和检测的基本需求上，设计了基于Ubuntu16.04系統下的实时传输网络并对传输之后的视频做实时检测以及分析的设计方案。最后通过海思HI3518e开发板和OV9712摄像头，以运动中乒乓球作为对象进行了测试和验证。结果证明，此方案设计具有能够快速，高效的实现从视频中动态提取器件的外观边缘的功能。

关键词：视频中的检测和提取；Linux系统；HI3518e开发板；opencv；Canny边缘检测；

伴随视频行业的不断发展，越来越多的视频处理相关的技术逐渐应用在了工业生成过程中。本设计基于生产过程中，需要提取产品的外观轮廓实现生成和检测功能[1]。不同的厂家陆续推出了不同的视频传输方案。目前市面上主要流行的是安霸，TI，海思的方案[2]。本设计决定采用海思的解决方案。该方案具有能外接丰富资源的特性，且方案本身成熟可靠，适合研究和开发使用。

1 系统总体设计目标

1.1 系统结构设计

本系统参考了华为海思推荐的设置，即hi3518e和OV9712摄像头Sensor，在此基础上设计实现了RTSP流媒体服务器，Ubuntu16.04系统，opencv2.4.9，电源部分和网卡芯片模组。系统流程如图所示。

1.2 系统运行流程

1.2.1视频采集编码的流程

下载华为海思官方开发工具包，可以启动运行hi3518e芯片内部已经集成实现了视频采集压缩编码模块[3]。

1.VI模块捕获视频图像，可对其做剪切、缩放等处理，并输出多路不同分辨率的图像数据。

2.VPSS模块接收VI和解码模块发送过来的图像，可对图像进行去噪、增强、锐化等处理，并实现同源输出多路不同分辨率的图像数据用于编码、预览或抓拍。

3.VI数据路线解码模块对编码后的视频码流进行解码，并将解析后的图像数据送VPSS进行图像处理或直接送VO显示。可对 H264/MPEG4/MPEG2 格式的视频码流进行解码。

4.VENC模块由编码通道子模块（VENC）和编码协议子模块（H.264/H.265/JPEG/MJPEG）组成。REGION模块支持对图像内容进行遮挡和叠加。完成视频区域管理之后，图像被送入具体协议类型编码通道，完成视频编码，输出码流。

1.2.2 视频传输过程

在venc.c文件中嵌入RTSP协议的代码，就可以在hi3518e编码的过程中将h.264码流通过RTSP协议封装打包发送[4]。由于RTSP协议是基于文本的实时流传输协议，其使用UDP等协议实现传输。

2 opencv处理视频

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。

2.1 Canny算法在程序中实现的步骤

Canny边缘检测算子是John F.Canny于1986年提出的一个多级边缘检测算法[5]。Canny的目标是找到一个最优的边缘检测算法。虽然Canny算法年代久远，但可以说它是边缘检测的一种标准算法，而且仍在研究中广泛使用。

Canny边缘检测算法在实际应用中，可以分为以下6个步骤：

2.2 opencv接收网络视频流

通过了解opencv相关的API函数，并且查阅资料实现了视频流的接受和实时分析。首先将视频流的一帧提取出来，将该帧图像做为Canny算法的数据源，通过Canny算子的运算之后得到图像并显示出来。之后清空该帧图像数据，取视频流的新一帧图像的数据填充。再将新的帧图像重新参与Canny算子运算且重新展示便结果。如此快速循环就能实现实时的边缘检测同时仍然复制一路图像不做算法处理，用来做效果对比。

3 系统实验和成果展示

本设计在实验室内测试。在实验室内的的局域网中，将hi3518e开发板和上位机Ubuntu16.04搭建在一个网关下。并分别配置了不同的网址。将以运动中乒乓球作为对象的视频图像传入处理函数。经过Canny边缘检测算法，显示处理结果。如图3所示。

4 系统实验总结

本设计实现了视频高清传输之外，还兼具视频实时分析。丰富了同类产品的功能，显示出hi3518e在视频编解码优秀的能力。同时使用opencv将Canny边缘检测算法加入，实现实时处理和显示结果。由于边缘检测功能具有较广的应用场景，又将扩大此类产品的功能性，丰富应用面，提升竞争力。促进了产业的发展和进。

参考文献：

[1]黄凯奇， 陈晓棠， 康运锋， et al. 智能视频监控技术综述 [J]. 计算机学报， 2015， 06）： 1093-118.

[2] 王莹. 车用半导体需要兼顾经济和节能——访英飞凌公司汽车电子事业部副总裁Hans Adlkofer [J]. 电子产品世界， 2015， 04）： 1-2.

[3] 白雪. 基于图像处理的目标识别及检测技术 [D]； 兰州理工大学， 2016.

[4] 晋海军， 李明伟. 基于Hi3518E的高清网络视频监控系统设计与实现[J]. 电视技术， 2016， （03）： 34-37+47.

[5] Canny J. A Computational Approach to Edge Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， PAMI-8（6）： 679-698.

作者简介：张俊赟（1991— ），硕士生，主研控制工程及其嵌入式方向.