机场分层管理系统音视频对讲软件的设计与实现

罗桂林 何燕南 李治国 张勇 公安部第一研究所

引言

（一）背景与意义

在我国，机场安检部门依照有关民航法律法规对旅客托运的行李实施安全检查工作，防止危及航空安全的危险品、违禁品进入民用航空器，以保障民用航空器及其所载人员、财产的安全。据不完全统计，2018年中国某市航空旅客吞吐量达到近9000万人次，该市旅客托运行李开包率累计达到10%，换而言之，机场开包进行安全检查的旅客行李数约数百万次，而开包检出打火机、火柴、锂电池、刀具等各类违禁品总数高达数十万件。

操作员与开包员在机场行李安全检查分层管理系统中扮演着非常重要的角色，而对讲机是机场操作员与开包员之间常见的沟通工具。操作员位于安检集中判读室，集中判断旅客行李的X光机扫描图像是否需要开包检查；若操作员判读行李可疑，则开包员需对旅客行李是否携带违禁品进行行李开包安全检查[1,4,8]。在整个行李违禁品安检过程中，操作员通过研读行李的X射线扫描图像，判定行李中是否携带违禁品。当行李中有违禁品时，开包员工作站显示有危险区的行李X射线图像，开包员通过对讲机与操作员确认其画出的违禁品的种类和位置。在开包之前根据操作员的描述，开包员需要与旅客确认是否携带违禁品。

为了改善操作员与开包员之间的沟通方式，提高开包员的开包效率，同时避免与旅客之间因开包引起的纠纷，本文设计的音视频对讲软件，首次实现了机场分层管理系统操作员与开包员之间的可视化对讲功能。该软件一方面能够协助操作员、开包员识别和确认机场旅客托运行李携带违禁品的种类、位置等信息，另一方面为机场、公安、海关、检验检疫等有关部门建立违禁品信息化管理平台提供重要的数据支撑。

（二）国内外研究现状和发展趋势

音视频对讲软件的核心技术为对讲技术，表现为可视化对讲产品应用。上世纪80年代，对讲系统兴起于日本和欧美。最早进入国内市场的对讲产品是智能楼宇对讲产品，该产品功能单一，简单地实现了访客确认对话的功能[2,7]。随着音视频对讲产品新技术的不断引入，对讲产品的功能也日趋多元化，如采用音频和视频数字化技术[6]、ARM嵌入式技术可以使系统直接接入宽带网络[3]，采用Bluetooth便可以实现免布线的对讲系统[5]等。

目前，对讲机或内通电话是机场行李安全检查分层管理系统中开包员与操作员主要的工具。对讲机或内通电话只能实现语音对讲，功能单一。通过使用可视化的对讲软件，不仅改善了开包员与操作员的沟通方式，缩减开包安检处理时间，优化开包的处理流程，而且还能改善乘机旅客的开包体验。因此，可以预见，在使用分层管理系统进行旅客托运行李安检的大中型机场，操作员开包员使用可视化的对讲软件替代对讲机将成为优化旅客行李开包流程的必然之选。

一、软件功能与概要设计

（一）软件功能

音视频对讲软件功能结构示意图如图1所示，共有四大功能模块组成。

第一部分是数据采集功能。该功能用于采集操作员与开包员的音频和视频数据。当操作员（开包员）未与开包员（操作员）建立对讲连接时，操作员（开包员）无需采集音频数据，但仍需采集视频数据并进行本地回放。当操作员与开包员建立连接后，采集本站点音频、视频数据。

第二部分是数据协议功能。根据数据类型和使用用途不同，实现操作员与开包员之间的音视频数据传输及对讲通信控制协议。

第三部分是音视频播放功能，即播放源端站点采集的音视频数据。

第四部分是警报功能。当操作员判断旅客行李安检X光图像为需要开包检查后，操作员端软件会自动向开包员发送开包检查报警。开包员收到报警后，对旅客及旅客行李中的违禁品进行拍照，所拍摄的照片与开包检查录入结果对应存储到安检分层管理数据库中。

（二）概要设计

音视频对讲软件基于已有的机场分层管理系统和机场安检网络，其软件解决方案如图2所示。

音视频对讲软件架构解决方案是基于组件模块化的软件架构。其核心设计思想是将基于UDP的对讲通信控制协议、音频对讲、视频对讲等功能进行模块化设计与实现。

二、设计与实现

（一）基于UDP的对讲通信控制协议模块

机场音视频对讲软件，是基于UDP传输协议实现的对讲软件，需要传输音频、视频以及通信控制命令共三类数据。其中，音、视频类数据对对讲实时性要求不高，且允许传输1~2秒的时延，也能容忍一定数据报文丢失；通信控制命令数据则用于控制操作员与开包员之间的视频连接建立、音视频通话中直至通话挂断。为了保障对讲软件能够正确地运行，对讲软件对传输控制命令的实时性、有效性有着较高的要求。基于UDP的对讲通信控制协议实现了以下功能：

1. 自定义可靠UDP传输协议

建立多个监听时钟，必要地实现报文丢失、报文超时重传机制。防止因UDP报文丢失、系统异常、网络异常等原因造成操作员或者开包员对讲软件无限等待。

2. 自动构建各个站点在线、空闲、繁忙等状态维护表

维护各站点最新的视频在线、繁忙、空闲以及异常等状态表，避免正在建立连接以及建立连接后的操作员与开包员受到其他工作站的视频请求干扰。在机场实际应用环境中，为了保障操作员与开包员之间正常的开包检查流程不受影响，双方在建立通信、音视频通话过程中拒绝任何其他音视频建立的请求。同时为了避免双方由于各种原因或者异常导致的死等，在双方的通信过程中加入超时检测与超时自动处理机制。

如图3所示，该图描述了音视频对讲软件设计与实现的初步方案，经与机场用户方研讨后基本能够满足机场用户使用需求。简而言之，实现音视频对讲方案通信机制要求如下：

（1）仅允许开包员与操作员之间建立音视频连接；

（2）操作员A向开包员B发送视频请求后，站点A和站点B既不能向其他用户站点发送视频请求连接，也不能接受其他站点用户发送过来的视频连接请求；

（3）如果站点用户正在接受其他类型的站点发送过来的视频请求或者正在视频会话中，该站点收到其他站点的视频请求后，则直接拒绝其请求；

（4）为防止网络交换机、站点主机宕机、数据库离线等异常情况，站点用户在更新其他站点实时状态的同时，通过向其他站点实时广播发送自身站点工作状态，以保持站点空闲时可用。

开包员与操作员通过控制命令类数据发送视频请求、建立视频连接直至中断视频连接，主要包括请求命令、上线通知命令、下线通知命令、超时响应命令、拒绝视频命令、关机命令等。如图4所示，该图为通信数据消息格式协议规范。

（1）通信数据消息类型

数据类型包括音频类型数据、视频类型数据、控制命令类型数据，其字段含义如表1所示。

?

（2）通信对讲消息命令

对讲命令主要包括请求命令、上线通知命令、下线通知命令、超时响应命令、拒绝视频命令、关机命令等，其字段含义如表2所示。

images/BZ_48_295_2015_325_2045.pngimages/BZ_48_461_2015_492_2045.pngimages/BZ_48_557_2015_620_2046.pngimages/BZ_48_653_2015_683_2045.png

（3）通信对讲消息长度

通信对讲消息长度是用于通信过程中对讲消息内容的数据量。一般而言，对讲消息内容最终数据格式为字节数据，故而通信对讲消息长度即为字节数组长度。数据消息长度可能为0，也有可能大于0，但不应超过UDP的最大传输单元（Max Transfer Unit, MTU）规定的长度。

（4）通信对讲消息内容

对讲消息内容最终数据格式为字节数据，程序语言通过拓展软件接口实现将站点客户端采集的音频数据、视频数据以及站点之间通信的控制命令语句转换成字节数组。数据传达至目标客户端后，可将字节数组类型消息格式按照协议规范约定转换为对应消息类型的消息格式。

（二）音频对讲模块

音视频对讲软件的使用场景尤其依赖于现场具体使用环境。所有操作员均处于同一房间，彼此之间可能会产生声音干扰或串扰，开包检查工作站为安检现场一线业务，现场旅客和行李传送带会对客户端造成声音干扰。为解决操作员与开包员对讲过程中的声音干扰或串扰问题，具体方案如下：

（1）操作员使用头戴式耳机，而开包员使用音响播放声音；

（2）DirectSound组件实现了音频数据采集队列和音频数据播放队列的双缓冲队列机制，解决了操作员与操作员之间的音频相互干扰，在优化成循环缓冲队列的基础上，操作员与开包员之间能清晰地进行音频沟通。

DirectSound是微软提供的DirectX API的一部分。它能够以极低的时延播放声音，使应用程序可以高度利用硬件资源，其特性如下：

（1）按照WAV格式播放声音；

（2）可同时播放多种声音；

（3）支持将高优先级的声音分配给由硬件控制的缓冲区；

（4）将普通的声音融入3D环境中，以便添加不同声音效果，如回声等。

（三）视频对讲模块

视频对讲是音视频对讲软件的核心功能之一，其本质是实现双方现场画面的可视化展现。从技术上讲，视频对讲功能包括了视频帧画面的采集、传输及播放等基本视频功能操作。

1. 视频采集

视频采集利用罗技摄像头，将开包员（操作员）周围的现场环境保存下来并通过UDP传输协议发送给操作员（开包员）客户端站点用户，为保证视频画面的流畅性，本文实现的视频对讲功能的采集频率为每秒24帧，这一采集频率设置值符合人类视觉需求。视频对讲模块基于

AForge.Video设计与实现的。AForge.NET专门为开发者和研究者基于C#框架设计，包括计算机视觉与人工智能、图像处理、神经网络、遗传算法、机器学习、模糊系统、机器人控制等领域。

在封装AForge.Video的基础上，视频对讲模块设计与实现了VideoCapture视频捕获类。VideoCapture类主要功能有设置视频采集所用摄像头、设置采集视频帧分辨率、事件订阅方式获取图片以及开启和关机视频采集功能。

VideoCapability为视频摄像头类，封装了VideoCapture类访问摄像头采集分辨率、帧率等基本属性。

2. 视频播放

站点客户端视频数据采集后，根据用户需求，一方面需要将采集到的视频帧数据进行本地回放，另一方面需要将这些数据通过UDP协议发送至对方站点客户端处播放。两处视频播放的原理是一致的，不一致的地方在于视频帧数据的转换与传输。前者无需将数据转换为字节数组，直接在本地视频控件上显示播放；而后者需要在网络中传输，这就要求首先需要将采集的视频帧转换为字节数组；然后通过

UDP协议发送至目的站点客户端，目的站点客户端收到数据后，将收到的字节数组反序列化视频帧数据；最后，在目的站点客户端的视频控件上显示源端站点客户端采集发送过来的视频画面信息。

3. 违禁品拍照与管理

机场行李安全检查分层管理系统中包括了开包工作站、违禁品管理工作站等站点。音视频对讲软件提供开包员站点客户端违禁品拍照功能。本文在实现对违禁品拍照的过程中，实现了音视频对讲软件与开包工作站之间内部接口功能。开包员对违禁品拍照获取违禁品实物照片，然后进行本地存储。该接口要求存储违禁品照片时，其文件名需遵循接口协议规定文件命名规范。违禁品照片命名规范如下：

（1）开包工作站存储违禁品图像存储目录为网络共享目录

（2）开包工作站存储违禁品图像存储目录为本地存储目录images/BZ_49_343_2348_371_2376.pngimages/BZ_49_399_2348_426_2375.pngimages/BZ_49_646_2349_661_2370.pngimages/BZ_49_930_2349_947_2370.pngimages/BZ_49_950_2349_966_2370.pngimages/BZ_49_236_2560_266_2591.pngimages/BZ_49_307_2563_336_2590.pngimages/BZ_49_339_2560_369_2590.pngimages/BZ_49_402_2561_432_2590.pngimages/BZ_49_435_2561_465_2590.pngimages/BZ_49_465_2560_497_2591.pngimages/BZ_49_497_2561_529_2590.pngimages/BZ_49_530_2560_560_2591.pngimages/BZ_49_562_2560_592_2590.pngimages/BZ_49_596_2562_623_2590.pngimages/BZ_49_657_2560_720_2591.pngimages/BZ_49_721_2561_752_2590.pngimages/BZ_49_787_2561_816_2590.pngimages/BZ_49_818_2561_845_2590.pngimages/BZ_49_849_2561_881_2591.pngimages/BZ_49_881_2561_912_2590.pngimages/BZ_49_913_2560_944_2591.pngimages/BZ_49_944_2561_976_2590.pngimages/BZ_49_1010_2561_1040_2590.pngimages/BZ_49_1041_2560_1072_2591.pngimages/BZ_49_1073_2562_1103_2590.pngimages/BZ_49_1105_2560_1135_2591.pngimages/BZ_49_259_2621_287_2648.pngimages/BZ_49_315_2621_342_2648.pngimages/BZ_49_343_2621_370_2648.pngimages/BZ_49_626_2621_640_2642.pngimages/BZ_49_343_2667_371_2695.pngimages/BZ_49_399_2668_426_2694.pngimages/BZ_49_639_2668_653_2689.pngimages/BZ_49_923_2668_939_2689.pngimages/BZ_49_943_2668_959_2689.png

开包员工作站可通过文件名规范的第一个字符来获取目标存储路径类型——网络集中存储或本地分散存储，将音频对讲软件开包员违禁品拍照获取的违禁品照片存放至照片命名规范的文件路径下。

在转移存储违禁品照片后，开包员工作站将所获取的照片记录以及旅客行李信息存放至数据库，以便违禁品管理工作站对违禁品信息进行日常维护管理。

三、结语

机场音视频对讲软件设计与实现的关键点在于音视频数据的采集、传输、接收及播放，从而实现操作员与开包员之间的音视频通信。通过使用机场音视频对讲软件，较大地优化了操作员、开包员处理旅客行李开包的流程，改善了开包服务效率和体验。该软件已在石家庄正定国际机场、上海虹桥国际机场、上海浦东国际机场等国内多个机场部署并使用，为机场行李安全检查提供优质的对讲服务，有效减少了旅客开包检查等待时间，提高了机场安全检查效率。