控制河段智能视觉跟踪控制系统设计

钟 丽 靳 智 梁 山

（1.长江泸州航道局 泸州 646000；2.重庆大学自动化学院 重庆 400044）

随着航运业的发展，水上交通越来越拥挤，由此导致的事故不断增多。为了对通航船舶进行有效监管，同时迅速准确掌握事故原因以制定有效的救援方案，并为责任划分提供证据，对控制河段通航船舶的可视化监控成为控制河段通行智能指挥系统的主要建设内容之一。

国内外诸多研究者均对航道可视化展开了研究，汤一平［1］将计算机视觉引入内河航道，采用数字图像处理与模式识别技术识别、跟踪船舶，但是船舶与摄像机距离大时容易出现跟踪丢失，同时天气因素对系统的检测精度影响较大［2］。兰培真［3］提出了海事场景的网络视频监控，通过网络获取现场视频图像并监控用户自定义的区域，缺点是不能适应剧烈天气变化和光照变化，同时目标被遮挡后会出现跟踪丢失。为了扩大监视范围并提高目标识别的准确度，有学者提出采用1台固定的广角摄像机与PTZ摄像机跟踪运动物体［4］，固定摄像机提供背景模板图像用于提取目标，目标定位后采用PTZ摄像机跟踪目标进行特写。

由于控制河段狭窄弯曲，多呈C形，航道水深，监视区域线长、面广，航道背景复杂变化较大，通航环境复杂，因此将图像识别技术用于内河船舶跟踪监视难度较大。

目前已广泛应用于内河航道的视频监控系统仍旧依靠人工通过键盘、鼠标来控制云台，费时费力且控制不准确。为了解决手动直接控制云台较难寻找目标的问题，于臣［5］提出了基于电子海图的CCTV监控方法，从电子海图中所显示的待跟踪船舶中选择目标后，系统经过角度计算并自动调节云台摄像机对准目标。

兰培真［6－8］等人根据接收到的 AIS信息自动对船舶进行优先级排序，并选择最佳智能球自主跟踪目标船舶，但是跟踪存在滞后且有脱离视场情况。文献进一步提出了结合视频与AIS信息的船舶跟踪方案，采用Kalman滤波预测跟踪以消除跟踪滞后，达到平滑图像的目的，实现离散点位的跟踪未能考虑船舶位置误差及预测过程中产生的误差处理。

本文针对内河控制河段船舶通行情况智能化视觉跟踪的要求，采用AIS与数字云台摄像机进行联动跟踪，并通过图像识别技术校正跟踪误差，实现对船舶的智能自动视频连续跟踪。

1 系统功能分析

（1）船舶信息自动获取功能。随着船载船舶自动识别系统的强制安装实施，为通航船舶导航监视提供了自动化技术支持。在信号台安装具备AIS信息接收功能的设备，实现船—岸间自动传输信息，避免了人工电话询问所带来的不便。

（2）目标船舶的动态监控功能。现有的VTS中AIS与CCTV联动目标跟踪监视中，多是已知目标船舶的始末位置再进行相应的动作而未考虑AIS信息的滞后问题，跟踪过程中容易造成图像抖动，目标丢失或残缺。本系统在离散点位跟踪的基础上采用目标船舶动态预测跟踪，实时调整云台姿态，达到图像平滑无滞后的目的。必要时可启用多个云台摄像机接力跟踪，满足船队尾随通航的需要，缩短等待时间。

（3）视频信息的采集与存储功能。船舶通航指挥监控中心将通过云台摄像机获得船舶通航的实时画面，根据需要可人工选择是否存储视频信息，经计算机处理后的视频信息可以存储在本地硬盘中，方便日后回放。

2 数字云台控制系统总体设计

2.1 AIS信息采集

AIS信息收发设备主要包括VHF天线、AIS收发机、外置GPS天线。由于AIS收发机可以从数据接口以串行（RS－232或RS－422）的方式输出NMEA－0183格式的电文信息，计算机通过串行接口连接AIS接收设备获取AIS信息，见图1。

图1 AIS信息接收示意图

2.2 视频信息采集

数字视频监控系统硬件部分主要由云台摄像机、嵌入式系统终端、网络传输设备和视频监控终端组成。其软件功能单元包括：视频压缩传输单元、运动目标检测与跟踪单元。根据运动目标检测与跟踪单元所处的位置，可将该系统分为3种：前端嵌入式方式、后端服务器方式、分布式方式。前端嵌入式方式是指在嵌入式系统终端中完成运动目标的监测与跟踪控制，后端服务器方式是通过计算机进行图像识别完成运动目标的检测与跟踪控制。本文采用后端服务器方式进行监控，系统结构见图2。

图2 分布式数字视频监控系统结构

2.3 数字云台驱动控制

根据目标船舶跟踪监控的功能要求，结合现有的AIS信息采集与运动目标视频监控方案，设计目标船舶视觉跟踪监控系统，系统结构见图3。内河航道目标船舶视觉监控系统的硬件主要包括信息采集前端、信息传输系统、监控中心、供电与防雷设备。信号台将接收到的AIS信息输出到监控中心计算机，AIS信息被解码后进行目标船舶跟踪监控角度解算，并通过网络视频服务器控制云台摄像机动作。同时，监控中心通过网络访问网络视频服务器获取实时视频信息，经过相应的处理并存入硬盘。

图3 目标船舶视觉跟踪监控系统结构

3 数字云台的控制方法

内河航道存在较多的S形弯曲狭窄河段，若采用基于船载AIS报告位置的离散静态跟踪，将会导致船舶偏离视场中心区域，甚至视场内的目标残缺不全，这种现象在船舶距离监测点较远、视场角窄的时候更容易出现。为了解决以上问题，本文在目标船舶静态跟踪的基础上提出了目标船舶动态跟踪的构思，见图4。

图4 目标船舶动态跟踪控制框图

当目标船舶驶入监视区域时，监控中心根据其位置信息控制云台摄像机进行初始对准，在此后的通航过程中会根据初始航速、航向进行下一时刻位置的预测直至收到目标船舶的最新报告信息，并据此信息再次预测以致目标船舶驶出监视河段。在此期间，预测一次即可求得云台摄像机相应的预测跟踪角度。由于在初始对准和预测过程中均存在误差，特辅助图像中心对准算法在船舶报告AIS信息的一系列点处进行误差校正。

4 跟踪控制软件设计

控制河段船舶智能视觉跟踪监控应满足实时性、稳定性的要求。监控中心软件主要在VC＋＋6.0开发环境完成以下任务：①实时监听计算机串口，一旦串口接收到字符，程序必须尽快读取，否则串口接收缓冲区填满后将会溢出，导致信息丢失；②已经成功读取的电文需按规则进行解码，解码结束将所有信息存入数据库，与云台摄像机控制的相关数据可以暂存在相关的全局变量中以方便读取，同时确定船舶通航优先级；③云台摄像机控制部分读取解码程序提供的船舶航行状态信息，并计算姿态调节角度等，同时调用Matlab引擎进行图像处理以获取误差校正值；④必须通过本地局域网络访问网络视频服务器，读取实时视频信息。

监控软件分为4个相对独立的程序模块，通过数据共享、消息传递，协同工作完成上述4类任务。因此，在Windows平台下可将4个程序模块划分为4个线程。由于现有的计算机一般都是单CPU，在某一时刻只能运行一个线程，无法同时执行多个任务，可以通过多线程来解决这个问题。基于多线程的目标船舶跟踪监控软件结构见图5。

图5 目标船舶跟踪监控软件结构

5 人机交互界面设计

（1）系统的参数配置。系统参数主要是指信号台的地理参数、计算机采集AIS信息的串口参数、网络视频服务器的连接及其透明串口参数、解码器的地址、图像放大倍数、视频存储位置。在系统工作之前根据实际情况进行参数配置，每次配置的参数将存入配置文件“monitor.ini”，以后可再次修改或自动获取配置文件中的参数。

（2）信息显示与控制面板。人机信息交互界面主要包括实时图像的显示、目标船舶的主要航行状态信息、系统控制按钮（云台动作、手动调焦、系统参数配置、视频采集与停止等）。

打开监控软件后根据需要进行系统参数设置，如果不需重置参数则点击视频播放按钮，采集实时图像。根据需要可选择手动或自动控制云台摄像机跟踪监视目标船舶，当点击上、下、左、右或调焦按钮将进行相应的动作，点击自动按钮将切换至自动跟踪模式并予以自动调焦。

在自动跟踪监视状态，将显示当前所跟踪的目标船舶航行状态信息。监控系统软件人机交互界面见图6。

图6 监控系统人机交互界面

6 结语

为了保证船只安全、快速通过狭窄、弯曲的控制河段，通常设有信号台对通航船只进行统一指挥调度和监视。本文将AIS和数字云台结合，采用预测跟踪方法解决了静态跟踪中的滞后问题，融合图像识别消除跟踪误差，对控制河段智能视觉跟踪控制系统进了设计，并对系统结构、云台控制、跟踪控制软件、人机交互等进行了详细介绍。控制河段船舶通行情况视频监控，是控制河段智能指挥系统的一个重要组成部分，将AIS和视频监控结合，实现对船舶的智能跟踪和监控是实现控制河段信号台数字化和智能化不可缺少的主要手段。

［1］汤一平.基于计算机视觉的内河航道智能监控系统［C］.／／全国模式识别学术会议论文集，2007：369－376.

［2］兰培真.海事智能视频监控系统设计与实现［J］.中国航海，2008，31（1）：24－27.

［3］王 莹.CCTV目标定位技术在VTS领域中的应用［D］.大连：大连海事大学，2010.

［4］汤一平.多视觉信息融合的内河航道智能监控系统［J］.中国图象图形学报，2008，13（8）：1608－1616.

［5］于 臣.基于电子海图的CCTV智能控制系统［C］.／／中国航海学会通信导航专业委员会2006年学术年会论文集.大连：大连海事大学出版社，2006：93－98.

［6］兰培真，陶 进.海事闭路电视智能监管联动系统［J］.中国航海，2010，33（4）：26－29.

［7］ZHOU Jianmin，WANG Jie.Intelligent vessel dynamics video monitoring system based on AIS data［C］.／／Proceedings of SMC，2009：4932－4935.

［8］周剑敏，王 捷.基于AIS数据的智能船舶动态视频监控系统设计［J］.上海海事大学学报，2009，30（4）：26－29.