基于无参考质量评估的会议电视运维系统研究

冯 敏，罗 旺，余 磊，洪功义，彭启伟，张天兵，张云翔，曹玲玲

(1.南瑞集团公司(国网电力科学研究院)，江苏 南京 210003；2.国网江苏省电力公司，江苏 南京 210024；3.北方信息控制集团有限公司,江苏 南京 211111)

基于无参考质量评估的会议电视运维系统研究

冯 敏1，罗 旺1，余 磊1，洪功义1，彭启伟1，张天兵1，张云翔2，曹玲玲3

(1.南瑞集团公司(国网电力科学研究院)，江苏 南京 210003；2.国网江苏省电力公司，江苏 南京 210024；3.北方信息控制集团有限公司,江苏 南京 211111)

会议电视系统运维是保证系统稳定高效运行的重要工作，而用户希望通过自动化的方式完成日常运维工作。为此，文中首先分析了会议电视系统及音视频质量评估方法的现状，然后在会议电视智能化运维系统建设目标和定位的基础之上，从系统总体架构出发，归纳运维业务需求，建立系统应用架构和数据分类，并提出系统逻辑架构和逻辑分层的技术实现方式，最后对系统安全、应用集成的设计方法进行分析。文中详细阐述了基于无参考音视频质量评估方法的会议电视智能化运维系统的设计，实际应用表明该系统实现了会议自动巡检及故障排查，建立了完善的会议质量评估方法，在流程上实现了会议的闭环，可以满足会议电视系统运维工作自动化、智能化的需求。

会议电视系统；无参考音视频质量评估；智能化运维；自动巡检

0 引 言

会议电视系统作为一种方便、快捷的会议方式，已经受到政府、企业的重视。全国性的重大会议更是对会议电视系统提出了很高的要求。会议电视系统的运维工作是保证会议电视系统稳定高效运行的重要手段。通过对会议电视设备运行进行常态化的运维检查，能够发现会议电视设备运行隐患及存在的故障，从而采取及时有效的检修，保证会议电视设备的稳定高效运行。目前，会议电视系统运维工作以人工巡检为主，尚存在巡检不及时、巡检面窄、巡检准确性差等缺陷。随着各行业、各单位会议电视系统不断发展，会议电视系统不断建设，视频会议召开次数不断增加，会议电视系统的运维压力在成倍增长。

如何采取智能化的手段，完成会议电视系统的运维工作，实现智能化巡检、自动化告警，成为当前会议电视系统运维工作的关键点。文中将讨论一种会议电视智能化运维系统，系统基于无参考音视频质量评估方法，实现了会议电视系统运维的可视化、自动化、智能化。

1 现状分析

1.1 会议电视系统运维现状

会议电视系统在各行业、各单位的建设情况不一，文中以具有代表性的电力行业中电力公司会议电视系统建设情况进行分析。在电力行业中，随着信息化进程的不断推进，国家电网公司以智能电网和“三集五大”信息化建设为重心，信息化程度已处于行业领先，其中针对会议电视系统的信息化建设工作也在不断深化[1]。某电力公司(以下简称“公司”)会议电视系统主要用于行政、应急、调度等业务部门。会议电视系统的广泛应用给电力公司带来了巨大的经济效益，同时也给管理、运维部门带来了新的挑战。大量的专业运维技术人员，整日疲于日常繁琐的会议召开与保障工作中，浪费了大量的人力物力。另一方面，运维部门也缺乏有效的技术手段，无法对会议电视设备进行统一的管理，在设备维护管理层面也处于有心无力的局面[2]，具体体现在：

(1)会议电视系统及设备由不同厂家提供，各厂家设备的产品结构、系统接口、通信协议、所采用的技术标准体制等都存在一定的差异[3]，使得故障类型繁多、解决故障的难度增大、运维人员工作量剧增等。在运维手段上，各厂家所能提供的设备管理软件，往往只能管理单一厂家的设备，无法做到对多厂家设备的统一管理，缺乏统一的会议电视设备管理平台，无法实现对不同平台会议电视系统设备的统一管理。

(2)公司需要根据运维流程，实现日常的设备资产管理，目前缺乏有效的智能化管理手段支撑[4]；缺乏有效的设备和会议集中监控、预警手段，往往是参会人员上报故障，才知道设备发生问题，总是处于被动的局面；同时，缺乏对视频终端音视频质量的分析统计手段[5]，无法在发生问题后迅速找到问题的根源。

(3)会议系统仅能依靠独立的网管系统监测系统的日常运行，不能实现自动巡检管理和工作状态监控、不能实现视频会议过程中的拓扑管理和告警管理以及会议结束后的会议质量分析和统计。

(4)会议系统没有与国网TMS系统[6](通信管理系统)对接的标准接口，不能向TMS系统提供设备实时状态、告警信息、链路信息等数据，导致TMS系统无法对电网公司会议电视设备进行有效监控。

1.2 会议电视视频质量评估方法现状

在会议电视系统中，视频处理过程的各个环节将对视频图像质量产生不可避免的负面影响[7]，如编码器对视频内容的压缩、解码器对视频内容的解压缩、网络丢包等。为了保障视频业务的用户体验[8]，越来越多的研究开始关注于如何评估视频质量。视频质量评估以图像质量评估为基础。目前，图像质量评估可分为主观图像质量评估和客观图像质量评估。

主观图像质量评估方法无疑是最为直接和可靠的方法，因为人眼常常是图像的最终接收者。但是该方法的缺点是无法应用数学模型对其进行描述，不易定量准确测量，易受客观因素的影响，比较费时费力，很难直接应用于实际的图像系统中进行图像质量的度量，更多时候是作为图像质量定性分析的一种辅助手段。

随着图像技术的发展，人们希望能够用客观的和可定量分析的数学模型衡量出人们对图像的主观感受，即客观图像质量评估方法。客观图像质量评估方法分为三大类：全参考图像质量评估方法、半参考图像质量评估方法和无参考图像质量评估方法。全参考图像质量评估方法是相对比较成熟的，也比较与主观评估方法相一致，但是它必须借助原始的非失真图像作为参考，这极大地限制了它的应用范围。

在会议电视系统中很难获取各会场终端的非失真图像，需要很高的代价来建立辅助通道传输非失真图像或特征参数，并在各会场终端网络处部署质量评估服务，进行全参考或半参考图像质量评估。尤其是在应对实时会议视频质量评估时，全参考或半参考图像质量评估方法对质量评估系统提出了很高的要求，系统的复杂度和造价会变得异常之高。所以，考虑会议电视的实际应用情况，无参考的图像质量评估方法更为合理。无参考图像质量评估方法可以分为两大类：一类是针对单一失真类型的方法，如模糊失真、JPEG压缩失真等；另一类是可以评估多种失真类型的混合失真无参考图像质量评估方法[9-10]。

1.3 会议电视音频质量评估方法现状

音频作为会议电视系统中传递信息的重要载体，音频质量的好坏成为会议中信息交流是否畅通的重要因素，是评价系统性能优劣的重要标志。所以，研究有效、可靠的语音质量评估方法成为了国内外学者共同努力的目标。

语音质量包括清晰度和自然度两方面内容。前者是衡量语音中的字、词、句的清晰程度，后者是对讲话人语音的辨识水平。语音质量评估不仅与语音学、语言学、信号处理等学科有密切的联系，而且还与心理学、生理学等学科有关。因此，语音质量评估是一个极其复杂的问题。语音质量评估从评估主体上讲可分为两大类[11]：主观评估和客观评估。

主观评估是依靠评听者意见对通信系统性能做出判决，直接反映用户的观点并与系统的适应性相联系。目前国内外采用较多的主观评估方法有平均意见分法(MOS)、下降平均意见法(DMOS)、诊断押韵测试(DRT)、满意度判断测量(DAM)等。但是该类方法无法满足实时性质量评估需求。

客观评估可分为基于输入-输出的评估和基于输出的评估[12-13]。基于输入-输出的评估需要将原始语音信号和失真信号的误差进行对比。然而在会议电视场合中很难获取原始的语音信号。基于输出的评估方法可以在无参考信号情况下对输出语音进行评估，该类算法具有较好的发展前景和实用性。

2 目标和定位

2.1 系统定位

该系统定位为会议电视智能化运维系统，通过会议电视系统获取视频流数据，实现对会议电视系统会议视频质量、会议音频质量、网络通断、网络延迟等情况进行实时监测，以拓扑图形式显示系统中的视频会议终端信息、正在召开的视频会议信息以及报警信息。提供多种方式对历史报警进行查询，并将报警信息以短信、邮件的方式发送给指定人员，同时可与通信管理系统互联，实现通信管理系统对会议电视系统的状态和告警监测。

2.2 系统目标

通过该项目的研究，能够建立完善的会议电视智能化运维系统，实现系统的统一运维、减小运维人员的工作负荷、提高运维人员的技术水平和技术手段、建立完善的会议质量评估系统，在流程上实现会议的闭环、提高会议质量和办公效率、实现会议电视运维的智能化，更好地服务于电力生产和建设。

3 系统架构设计

3.1 总体架构

会议电视智能化运维系统总体架构由业务架构、应用架构、数据架构、技术架构等[14]部分组成，如图1所示。各组成部分既独立地支撑会议电视智能化运维系统的各个部分，又相互之间协调配合，整体构成会议电视智能化运维系统体系架构。

图1 系统总体架构

3.2 业务架构

结合会议电视各类业务部门对于运维的需求，会议电视智能化运维系统考虑日常维护人员、会议召开人员、会议管理人员等对业务功能的需求，结合不同业务发展需求形成业务模型，实现了配置管理、会议保障、日常维护、统计分析、系统接口服务各业务功能，为会议电视智能化运维系统的应用架构、数据架构和技术架构的设计提供依据。系统业务架构如图2所示。

配置管理功能完成系统自身运行与维护工作的配置管理，主要实现用户管理功能，系统参数配置、系统服务配置、系统服务运行管理的系统功能，MCU、终端等设备的配置和管理功能，对MCU告警、终端告警、网络告警、视频告警、音频告警、告警通知等进行配置和管理的功能。

图2 业务架构概览

会议保障功能以拓扑图方式显示正在召开的视频会议信息；能够查询显示视频会议服务端信息、终端信息、会议信息；查询、实现对拟召开会议的设备、网络、视频、音频质量进行即时或定时巡检。

日常维护功能可以实时获取MCU、终端等设备上报的告警信息以及状态信息；完成针对网络、音视频的日常巡检任务的创建、执行、查看和删除。

统计分析功能通过实现对MCU和终端设备的告警情况的统计，对会议中网络、音视频质量的评估打分，直观地展现会议电视系统的各项统计分析结果。

系统接口服务功能支持MCU及终端设备信息的接入及控制，支持与TMS系统、邮件系统、短信系统等其他业务系统集成的应用接口，实现会议电视设备状态、链路信息、告警信息等数据的上报及通知。

3.3 应用架构

针对业务模型，通过系统分析方法，应用架构由客户端功能、服务功能、接口功能三大部分组成。运维客户端以Web形式进行展现和操作，为用户实现对智能化运维系统的管理提供相应的人机交互界面，实现对会议电视会议系统的统一管理和维护。支撑服务功能由Web服务单元、音视频质量评估服务单元、设备控制服务单元组成，提供系统配置管理、设备接入控制、会议管理、巡检任务管理、网络数据抓取、音视频解码、音视频分析等服务功能。通过业务应用接口实现告警信息的邮件和短信通知；横向对接TMS系统，上报会议电视设备、链路、告警信息。应用架构如图3所示。

图3 应用架构概览

3.4 数据架构

数据架构对会议电视智能化运维系统涉及的数据进行分类处理，确定各类数据的业务内容，主要包括实时数据、历史数据、资源数据和管理数据，如图4所示。

图4 数据架构概览

3.5 技术架构

技术架构遵循分层、组件化的实现方式设计，其逻辑架构如图5所示。图中，主要业务实现的流程说明如下：

图5 系统逻辑架构

(1)用户通过Web服务客户端进行操作，Web服务通过Socket协议与设备控制服务通信，设备控制服务通过SOAP协议完成MCU会议组织，将需要参会的终端加入该次会议，实现会议调度和控制；设备控制服务通过SNMP协议，获取MCU和终端的设备信息、设备状态、告警信息等。

(2)Web服务通过Socket协议与音视频质量评估服务通信，发起音视频质量评估巡检任务。

(3)音视频质量评估服务通过端口镜像方式，完成对巡检任务中终端音视频流的抓取、过滤、解码和分析，并将各终端音频、视频质量的评分结果上报给Web服务。

(4)Web服务对会议电视系统的会议信息、设备信息、网络信息、音视频质量进行处理、存储、展示，并按照TMS系统、邮件系统、短信系统提供的接口调用方式，将会议电视系统的相关运维信息传送给TMS系统，并以短信、邮件方式发送给指定运维人员。

系统逻辑分层由上至下包括应用展现层、服务实现层、基础支撑层和通信协议层，如图6所示。

应用展现层B/S运维客户端以Web形式进行展现和操作，为用户对智能化运维系统的管理提供相应的人机交互界面，接收用户输入数据并呈现，实现对会议电视系统的统一管理和维护。

服务实现层由Web服务、音视频质量评估服务、设备控制服务组件组成，为系统提供各项服务功能，包括系统接口及业务应用功能。

基础支撑层为服务实现层提供各项功能组件支撑，以便于服务实现层进行方便地调用实现，包括日志打印、XML解析的公用组件，TMS、短信、邮件的接口组件，统计分析、自动巡检任务、会议调度、会议控制、告警管理、设备管理、视频评估算法、音频评估算法、算法适配、音频解码、视频解码、数据包分析、网络抓包的功能组件。

图6 系统逻辑分层

通信协议层基于TCP/UDP之上，实现信令控制数据、媒体数据按指定格式进行解析的功能。功能组件包括HTTP协议组件、SNMP协议组件、SOAP协议组件、Socket协议组件、RTP协议组件。

3.6 系统安全

系统安全架构中包括应用安全、身份认证、授权管理、输入输出数据管理、异常管理、审核和日志功能。数据安全措施如下：资源数据由系统统一维护，采用接口方式提供给业务系统授权用户；实时数据由会议电视终端及管理设备通过网络上传至平台后，统一管理和处理；历史数据保存在系统数据库中，在需要调用时，通过授权后访问并获取；统计数据由系统统一管理或实时统计后提供给用户终端显示；管理数据由管理员通过界面统一维护，并存储在系统中。主机安全主要包括服务器访问控制、服务器安全加固。通过访问控制、地址端口绑定、网络攻击行为，分析并保护网络安全。终端安全主要包括信息内网办公计算机终端口令认证、防火墙设置等。

3.7 应用集成

在应用集成方面，系统拥有会议电视系统运维信息分享的业务支撑能力，支撑国网通信管理系统、邮件系统、短信系统的横向集成，实现了与会议电视设备、会议电视系统的集成接入。业务系统可以通过系统提供的接口进行运维信息的获取。

4 结束语

目前，基于无参考质量评估的会议电视运维系统已经在某省电力公司进行初步建设，系统实施后，实现了会议自动巡检及故障排查，建立了完善的会议质量评估方法，实现了运维的智能化，减少了会议故障处理时间，提高了会议调试保障工作效率和会议召开质量，减少了会议电视系统运维成本，减轻了运维负担和调试难度，在流程上实现会议的闭环，更好地服务于电力生产和建设，该系统具有较好的推广价值。

[1] 仲元昌,林 永,蔡增增,等.视频会议系统关键技术及应用研究[J].电视技术,2010,34(6):93-96.

[2] 洪功义,张天兵,李 红,等.视频会议一体化智能控制系统的应用与研究[J].电力系统通信,2012,33(3):32-35.

[3] 梁 华.音视频会议系统与大屏幕显示技术[M].北京:中国建筑工业出版社,2013.

[4] 管东升,李俊安.信息化大运维监控管理平台的方案探讨[J].信息系统工程,2013(4):113-117.

[5] 余良强.视频会议系统中的无参考视频质量评价方法[D].武汉:华中科技大学,2013.

[6] 俞 弦,施 健,唐云善,等.智能电网通信管理系统建设研究[J].电力系统通信,2011,32(5):101-105.

[7] Yamagishi K,Hayashi T,Yamagishi K,et al.Video-quality planning model for videophone services[J].Journal of the Institute of Image Information & Television Engineers,2008,62(7):1050-1058.

[8] 熊 雄,刘 新,叶德建.基于电信IPTV的服务质量监测与实现[J].计算机工程,2014,40(5):257-261.

[9] Sheikh H R,Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing,2006,15(2):430-444.

[10] Wang Z,Bovik A C.Reduced-and no-reference image quality assessment:the natural scene statistic model approach[J].IEEE Signal Process. Mag.,2011,28:29-40.

[11] 张 勋.网络视频电话质量评估系统[D].西安：西安电子科技大学,2011.

[12] Rix A W.Objective assessment of speech and audio quality-technology and applications[J].IEEE Transactions on Audio,Speech,and Language Processing,2006,14(6):1890-1901.

[13] 王 晶,谢 湘,李婧欣,等.音频质量评价标准研究[J].信息技术与标准化,2014(3):39-42.

[14] 张海藩.软件工程导论[M].第6版.北京:清华大学出版社,2013.

Research on Video Conference Maintenance System Based on No-reference Video Quality Assessment Method

FENG Min1,LUO Wang1,YU Lei1,HONG Gong-yi1,PENG Qi-wei1,ZHANG Tian-bing1,ZHANG Yun-xiang2,CAO Ling-ling3

(1.Nari Group Corporation (State Grid Electric Power Research Institute),Nanjing 210003,China;2.State Grid Jiangsu Electric Power Company,Nanjing 210024,China;3.North Information Control Group Co., Ltd.,Nanjing 211111,China)

The maintenance of the video conference system is an important activity to ensure its stable and efficient operation for system.In order to meet the user needs of automatic maintenance,it analyzes firstly the current situation of the video conference system and the video quality assessment in this paper.Then,based on the project orientation and construction objective,starting the overall architecture,the maintenance business requirements is generalized,the system application architecture and data classification is established,and its logic architecture and the logic layered technology for system is presented.Finally,the analysis is conducted in design method of system security and application integration.The design of the video conference maintenance system using no-reference video quality assessment method is described in detail.In the application,the system realizes the automatic inspection and failure detection,and establishes complete conference quality assessment method to implement closed loop in process,which can meet the requirements for the automatic and intelligent maintenance of the video conference system.

video conference system;no-reference video quality assessment;intelligent maintenance;automatic inspection

2015-04-14

2015-08-05

时间：2016-06-22

江苏省自然科学基金青年基金项目(BK20130107)；江苏省电力公司科技项目(J2014048)

冯 敏(1987-)，男，硕士，研究方向为多媒体技术。

http://www.cnki.net/kcms/detail/61.1450.TP.20160621.1701.004.html

TN949.23

A

1673-629X(2016)07-0187-05

10.3969/j.issn.1673-629X.2016.07.040