一种异地多校区分布式智慧校园视频服务系统设计研究*
2018-12-07黄照翠张鹏亮王海涛
黄照翠,陈 晖,张鹏亮,王海涛
(中国人民解放军陆军工程大学 教研保障中心,江苏 南京210000)
一、引言
近年来,随着国内外一些视频网站的兴起,带动了视频在教育领域的应用,Coursera、Udacity、edX、学堂在线、中国大学MOOC等一大批MOOC平台上线并不断发展壮大,给教育带来了翻天覆地的变化。高校在教、学、研、管、用等各方面越来越多地使用视频、依赖视频,校园监控系统自不用说,翻转课堂、智慧课堂实践离不开视频资源,高校视频资源越来越丰富,资源呈现规模大、增速快、内容杂的态势[1],然而当前高校在视频方面提供的服务很大程度上存在一定的局限性,特别是高校一般有多个校区,甚至多个校区分布于全国不同的省市,传统的视频服务模式无法满足高校异地多校区对于视频服务的需求,无法发挥视频的优势,更是给翻转课堂等各个方面的应用带来了限制。
针对校园视频服务的瓶颈和当前校园视频应用新需求,本文提供一种异地多校区分布式智慧校园视频服务系统,旨在使得校园用户进行视频采集、编码压缩、存储、传输、处理、分析、检索、直录播、推送、监控时更加便捷和智能,达成好用、实用、愿意用、创新用的目标。
二、背景技术
1.现有技术
现有视频服务系统一般由技术公司开发,使用当前比较成熟稳定的技术产品架构视频平台,例如校园监控系统、媒体直播系统、视频会议系统等(此为早期以及当前大部分校园使用的视频服务平台),以及各大公司提供的视频云解决方案,如腾讯云视频解决方案、华为视频云解决方案、CISCO视频解决方案、网易视频云等,为用户提供直播、点播、互动直播、云通信等服务,比如网易视频云提供视频课件管理、远程视频授课、纯语音直播、录播功能、多平台学习、聊天室互动和数据分析服务。[2]另外,百度AI开放平台[3]提供了视频内容分析接口,基于人工智能技术,对视频进行语音、文字、人脸、物体、场景多维度分析,输出视频泛标签,提升搜索推荐的效果。
2.现有技术的缺点
现有技术中,如校园监控系统、媒体直播系统、视频会议系统等之间一般相对独立,系统之间缺乏数据结构一致性。压缩编码格式、传输协议等的不统一,使得系统之间的数据交换与共享存在困难、视频采集受限、视频存储无序、管理混乱、传输不够顺畅、压缩编码标准不统一、视频分析暂时处于原始状态、检索与推送大多基于文本、监控主要靠人工、个性化视频中心缺失等。
腾讯、网易等提供的视频云解决方案主要针对云直播、点播互动等,不能满足融校园视频采编、播控、直播、点播、互动、智能监控、智能检索与推送、视频资源分级分类管理、个性化门户、统一认证用户与权限管理为一体的视频综合服务门户整体方案的要求,而且使用专有云和混合云的成本高,涉密视频的安全性无法保证。
百度、腾讯等开放平台只是提供了可实现所需功能如智能检索、智能监控、直播、点播等的API服务,而全局性、综合性、整合性的统一异地多校区智慧校园视频服务系统架构还有待研究。
三、系统技术解决方案
市场上视频云服务解决方案虽然有很多,但关于专属智慧校园建设急需的综合性、智能视频服务体系暂未看到,智慧校园需要集校园监控系统、视频会议系统、媒体直播系统、在线视频教学平台等为一体的、相互融合的视频资源大数据智能分析与应用的便捷视频服务云平台,以视频云平台为中心构建视频服务体系,解决校园视频服务的瓶颈,旨在能够稳健、可持续发展,打造智慧视频服务。
为了实现上述目的,本文提供如下技术方案:
一种异地多校区分布式智慧校园视频服务系统,系统包括统一视频综合服务门户、媒体直录播系统、媒资管理播控系统、媒体监控系统、视频智能分析处理系统、个性化门户系统和统一认证用户与权限管理系统。系统架构如图1所示,系统覆盖校园视频服务的每一个环节,包括采集、编辑、滤镜、编码、上传、转码、存储、CDN分发、P2P加速、播放器、防盗链、安全机制、数据统计、智能分析、信息推送。其效果是,校园内任意用户都能根据所需,享用系统所带来的便捷与智能化的视频服务。
图1 一种异地多校区分布式智慧校园视频服务系统架构图
该系统核心为视频云平台数据中心,包括各种云端服务器与存储设备,有Web服务器、直播服务器、点播服务器、数据库服务器、转码服务器、CDN管理服务器、增值应用服务器和存储矩阵;包括统一视频综合服务门户、媒体直录播系统、视频资源库、校园安防监控系统和视频智能分析处理系统;包括身份认证与访问授权、分布式计算与虚拟化、集群管理、数据加密备份与容灾、分布式存储、自适应码流匹配、自动协议转换、智能终端识别、集群式流负载监控、API接口技术支撑。
智慧校园视频服务系统支持多路多种信号的输入,包括卫星信号、有线电视信号、活动现场信号、视频会议系统信号、智慧教室信号、媒资管理播控节目信号和演播室信号,满足校园各种类型视频的直录播。视频信号传输可以通过IP网络、4G或Wifi,经过路由器、交换机等网络设备,进入缓存服务器,视频信号可以输出至监看视频矩阵、互动电视、PC端和移动端,校园办公室、教师备课室、多媒体教室、语言实验室、学生宿舍等可以通过各种终端便捷地观看直录播,发布视频资源,进行网上交互活动。通过CDN信息分发和P2P加速,其他校区用户也可以便捷地共享智慧校园视频服务。
四、主要模块设计实施
1.统一视频综合服务门户
所述门户是校园提供视频信息资源服务的综合性应用系统(如图2所示),将各种视频子系统、数据资源融合集成于一体,智能分析处理视频大数据和用户信息以及用户应用系统偏好等,以统一的用户界面,展示给用户个性化的信息资源,是视频服务体系总入口。门户包括用户个性化门户统一身份入口、个性化通知公告信息、基于文本和基于内容并举的视频检索服务模块、各视频子系统入口、个性化视频资源推送模块、头条动态视频、按时间顺序呈现视频资源库分级分类最新视频。该门户“一站式达成”并满足校园用户的视频服务需求。
图2 统一视频综合服务门户结构图
2.媒体直录播系统
所述系统包括网络电视直录播系统、活动现场直录播系统、智慧教室直录播系统、视频会议直录播系统,其满足校园视频多元采集、直播、录播、存储、管理、控制、智能处理需求。
网络电视直录播系统包括卫星电视和有线电视节目的网络直播和录制点播,系统以互联网、移动通信网和有线电视网等多种网络为媒介,利用数据包的方式向用户传输图片、文本、视频、音频等信号,向用户提供以电视节目收看、视频点播为基础,实现数字电视、时移电视、互动电视等服务,页包括电子商务、网上社区等综合性服务。系统具有跨平台性,以电视机、个人电脑及手机设备作为显示终端,用户可以便捷地观看电视节目和共享增值服务。[4]系统直播频道的排序数据依据来自于用户个人点击观看数、频道总点击观看数。录制点播模块根据各频道栏目观看数、推荐数和指定属性智能选择录制,录播节目按照节目播放量排序。
活动现场直录播系统包括校园文娱活动、学术讲座、辩论赛、综合演练等活动现场的直播与录制存储,实现异地实时、延时观看活动。所述系统视频在录制的同时,上传至视频云平台数据中心,根据视频的级别(公开、秘密、机密、绝密)附加定密属性信息,同时可根据需要,触发录音转文字软件将录音和视频快速地转换成文字,存储于数据库中,用户可以根据权限调取文本内容。
智慧教室直录播系统以智慧教室为支撑,在智能交互音视频环境下,通过对互动教学多方位高清录播控制,将视频上传至视频云平台数据中心,同时可根据需要触发录音转文字软件,将录音和视频快速地转换成文字,存储于数据库中,用户可以根据需要调取文本内容。
视频会议直录播系统专门针对现有视频会议系统,进行扩展升级,将采集录制的会议视频进行直播、上传至视频云平台数据中心,同时可根据需要触发录音转文字软件,将录音和视频快速的转换成文字,存储于数据库中,用户可以根据需要调取文本内容。
图3为媒体直录播系统流程图,网络电视、活动现场、智慧教室、视频会议的视频信号经编码器编码成H.264视频和AAC音频,流媒体服务器将获取到的视频数据封装成rtmp数据报文,发给Flash播放器,完成播放,用户可以通过视频矩阵进行监看,也可以通过PC、移动终端、网络互动电视终端访问Web直播页面进行监看或收看。在直播的同时,可以根据录制计划自动录制直播视频,录制完成自动上传至点播服务器存储矩阵,发布该视频的稿件,添加至Web服务器,用户终端可以访问Web服务器录播页面视频列表,发出视频播放请求,Web服务器根据视频地址向点播服务器调取该视频,以视频流的形式返回至Web点播页面,实现用户点播。
图3 媒体直录播系统流程图
3.媒资管理播控系统
所述系统包括节目编辑系统、视频播控系统、视频资源库、共享虚拟演播室。该系统使得校园视频采编、播控、资源管理、交互、检索、分析、使用更加便捷,满足专业级和普通用户的需求。
节目编辑系统包括专业级协同非编系统和简易型智能编辑软件。专业级协同非编系统用于专业级需求的视频节目协同制作,适用于高标准的专业人员;简易型智能编辑软件,一次性绿色安装,终身使用,任意采集或下载视频资源库的视频资源和素材,编辑成满意的视频内容,完成后通过个性化门户实时输出上传至视频云平台数据中心,发布到相应栏目分享或后期应用,适用于校园普通用户。
视频播控系统包括直播播控和录播播控,直播播控信号源可以来自演播室、教室、会议、活动现场直播输出,录播播控信号源可以来自节目编辑系统直接输出和视频资源库,视频播控系统模块包括视频矩阵、调音台、节目切换台。
视频资源库位于视频云平台,是所述智慧校园视频服务系统的核心,是一切视频活动的汇聚与发散中心。海量视频资源存储于云端数据中心,通过云平台Web服务器访问视频信息,视频信息检索方式基于文本和基于内容并举,即突破传统的基于元数据文本的视频检索方式,既能向用户提供基于颜色、纹理、形状及运动特征等视觉信息的检索,又能提供基于高级语义信息的检索,具有在镜头、场景、情节等不同层次上进行检索的功能,能满足用户基于例子和特征描述的检索要求。[5]
视频资源库多元化分级分类涵盖校园日常工作、学习、文娱、创新活动等的分级分类,视频发布栏目和视频数据存储栏目名称保持一致,因新学科、新课程、新项目和新活动等需要可以自助在资源库相应级别里增加分类,经审核通过可以新建分类栏目。
视频资源库管理后台实现对库资源分级分类管理,节目库和视频库的管理,模板管理,系统关键字、热字敏感字、水印管理,直播管理,CDN管理,评价、网上社区、投票管理以及其它扩展增值应用的管理。主要涉及增加、修改、删除和审核。
视频资源库评价模块针对视频资源的评价,视频资源评价依据用户评价和视频热度按照一定的指标权重分析自动完成。用户评价主要有评价等级和评价用语,评价等级分为四个等级,分别是优秀、良好、一般、差,每个注册用户针对某个视频只能评价一次,系统自动统计评价数据,并且可以图形化显示评价结果。评价用语可以评价一次,也可以追加评价,系统针对某个视频的评价用语自动收集数据,导入文本分析工具,智能进行主观性分析。[6]评价等级和评价用语按照指标权重计算得出用户评价权重。热度由在线播放、下载量、播放进度率和发布时间长度按比例计算得出。短时间内,在线播放与下载量越高,单个视频播放进度越长,反映该视频越受用户的欢迎,资源利用率越高。
视频资源库推送机制,即个性化资源推送,依据用户属性与资源属性的关联与匹配度以及资源的评价指数和热度,提取资源推送给用户。用户属性特征库来源于两方面:一方面是用户注册时填写的用户信息,即用户属性,包括基本信息(用户名、密码、性别、联系方式、Email、地址等)、扩展信息(兴趣爱好、个人经历等)、专业信息(从事专业、研究方向、导师等);另一方面是用户查询资源时,通过对用户查询的文本描述和示例资源特征以及用户行为数据统计分析获得个人行为趋向特征。[7]资源属性特征库:一方面来源于资源的描述性信息,如资源名称、分类信息、发布者、制作者、应用领域、关键字等;另一方面来源于视频资源特征提取,当视频资源更新时,将资源特征与用户特征关联性和匹配度高的新资源推送到用户中心;同时,将评价指数和热度高的视频资源推送至用户中心,供用户观看。
共享虚拟演播室,即校园内用户都可以在用户中心自助申请使用的虚拟演播室,虚拟演播室具有集虚拟演播、录播、直播、制作的全能化采编录播功能,可以完成节目信号切换、字幕叠加、节目播出、信号录制、虚拟布景、流媒体发布全部流程。演播室与节目编辑系统无缝对接,演播信号实现快速直播的同时,编码录制上传至视频云平台数据中心视频资源库,用户可以通过视频资源库前台延时观看。
图4是媒资管理播控系统流程图。节目编辑系统将来自视频资源库、演播室采集视频或其它视频资源素材编辑成节目成品,通过视频播控系统按时间计划进行直播,视频流向视频矩阵、监看用户端和普通用户端。同时将节目成品上传至视频资源库,用户终端可以延时在线访问Web服务器,观看节目。
图4 媒资管理播控系统流程图
4.媒体监控系统
所述系统包括媒体直录播监看系统、校园安防监控系统。所述系统达成媒体直录播、监看更加省心和校园安防的智能监控,监控信息及时推送至相关人员,事件预警更加智能,校园更加安全。
媒体直录播监看系统包括视频服务中心的视频矩阵直录播监看和用户终端视频监看,视频矩阵位于校园视频服务中心,通过矩阵可以监看校园所有正在直录播的N路信号。用户终端登入系统后,根据角色可以监看具有权限级别的N路视频。
安防监控系统包括人脸识别门禁、动态人脸识别对比预警、危险区域隐患事前干预、人体姿态识别干预、空位识别考勤、人脸姿态识别课堂干预、自主学习空位识别提醒、表情和行为识别预防校园暴力预警、人脸识别考试身份验证、烟雾火灾识别报警等。安防监控系统主要利用人工智能技术,对人、事物、环境、设备等进行智能监控,一旦识别有异常,立即启用预警系统,将异常情况图文发送至具有权限的负责人。
校园安防监控系统流程如图5所示,自成一体的异地各校区形成IP监控网络,各校区设置监控服务器、视频矩阵和客户端监看,录制监控视频存放于各地监控服务器,具有安防管理权限人员在主校区通过安防地图,点击异地监控探头,视频信号传输至校园安防监控系统,安防员可以通过视频矩阵或终端监看异地安防视频,校园安防系统依托视频智能分析处理系统,对监控视频进行分析处理,如果出现异常,系统将会智能预警并通过微信或手机短信方式发送至具有安防权限的负责人,同时校园安防监控系统地图中该区域呈现红色预警提示。
图5 校园安防监控系统流程图
安防系统前台主页的核心是分类安防,校园安防分为门禁监控、机房仓库设备监控、机柜布线监控、危险区域监控、人体监控、烟雾火灾识别监控、教室监控,安防管理权限人员登入前台主页,可以选择分类安防,点击某类,呈现校园安防地图。实施例1,点击门禁监控,呈现校园所有门禁监控地图,安防员任意点击某个门禁,可以监看门禁视频,并能智能识别出入门禁的人员信息。实施例2,点击人体监控,呈现校园所有监控探头网络地图,任意点击一个区域探头,可以监看到该区域内人员,并能自动识别人的表情、行为、姿态、唇语,可以进行智能分析,如果异常,地图中该区域呈现红色预警提示,同时会将异常情况图文通过微信或手机短信方式发送至具有安防权限的负责人。
安防系统后台嵌入个性化门户系统,具有安防权限的用户可以在个性化门户系统中设置安防网络视频监控探头的录制存储周期和录制分辨率参数。
安防系统录制视频上传至所述智慧校园视频服务系统视频资源库的一级分类“安防监控”下,该分类设置为对非安防管理用户不可见,即非安防管理用户在统一视频综合服务门户、视频资源库、个性化门户系统都无法浏览到安防视频,同事也搜索不到安防视频。
5.视频智能分析处理系统
所述系统基于校园各类视频大数据,涉及媒体直录播视频、安防监控视频和视频资源库视频的智能分析、处理、检索、推送。所述系统融于整个智慧校园视频服务系统各个模块,包括视频质量分析、用户评价和热度智能分析、视频内容特征分析、分类视频发展态势分析等。视频内容特征分析对视频进行语音、文字、人脸、姿态、物体、场景多维度分析,进行智能识别、智能预警、任务智能派发、输出视频泛标签,提升搜索推荐效果,系统大大提升了校园视频的服务质量和水平。
视频智能分析处理系统融入智慧校园视频服务系统的各个模块,视频智能分析处理数据来源于:①媒体直录播视频、视频资源库视频、媒资播控视频类别、直播发布频度、直播时间、在线播放下载量、评价用语、播放进度比例单个视频用户搜索频度、搜索量等。②各类视频质量属性,如视频大小、格式、分辨率等。③用户数据,包括用户基本信息和扩展信息,单个用户浏览历史、浏览视频量等。④视频内容属性信息,该信息基于视频内容特征分析对视频进行语音、文字、人脸、姿态、物体、场景多维度分析。这些数据采集到数据库中,由视频智能分析处理系统进行智能分析处理,依托分析处理结果,控制各个模块的内容显示和顺序。
6.个性化门户系统
所述系统呈现校园用户相关或关心的个性化信息,个性化视频中心创建对 “我的视频”管理更加自主、高效,视频资源推送更加人性化、更加智能,工作、学习、生活中的视频资源使用体验更佳。
用户登入后:①呈现与用户相关的一些信息,包括收藏的视频、推送的视频、我的评价、消息提醒、我发布的主题、我回复的主题等。②用户有权限的操作,如自助视频录制与上传管理、栏目新建管理、演播室使用申请、投票管理、智能统计分析信息,各模块的系统管理、参数设置与内容管理等,不同角色用户如超级管理员、系统管理员、门户管理员、媒体直录播管理员、媒资播控员、视频资源库管理员、模板设计者、安防管理员、用户管理员、部门管理员、学科管理员、课程管理员、普通注册用户和游客等在个性化门户中的操作内容不同,原则上是智慧校园视频服务系统各个模块的后台管理与前台控制,均按照权限管理系统分配到不同权限用户的个性化门户中进行管理。
7.统一认证用户与权限管理系统
该系统基于校园统一认证用户系统,满足校园用户登入校园网时,一次登入,系统通入。首次登入智慧校园视频服务系统被默认为普通注册用户,进入个性化门户系统设置的所属群组,即角色,由智慧校园视频服务系统用户管理员审核通过后方可具有所属角色的权限。用户管理员可以设置各个群组(角色)对智慧校园视频服务系统各个模块的“增删改查”、参数设置、系统设置、模板设计等操作权限。具有权限的群组成员才能直播收看、在线播放、下载、接收推送视频与消息、调取视音频转文本内容等。不同角色具有不同的权限,不同角色的个性化门户呈现内容不同,操作权限级别不同,主要有超级管理员、系统管理员、门户管理员、媒体直录播管理员、媒资播控员、视频资源库管理员、模板设计者、安防管理员、用户管理员、普通注册用户和游客。
用户管理员可以将某模块或某内容的权限管理流转给其他管理员进行审核与设置,如教务组织活动的某直播内容只允许某校区用户观看,用户管理员将该内容权限流转给教务管理员,教务管理员可以在个性化门户中设置该视频直播观看允许的IP段,以及视频录制的公开属性为限制性(允许的IP段具有权限)。
视频云平台数据中心通过身份认证与访问授权来验证智慧校园用户的合法性,保障了智慧校园及系统、平台、资源、信息的安全性。统一身份认证与授权由智慧校园项目构建,智慧校园视频服务系统基于身份认证与访问授权,建设自身的统一认证用户与权限管理系统。
五、结束语
异地多校区分布式智慧校园视频服务系统是可扩展、易升级、良性循环、动态共建共享的全局性、系统性视频云平台分布式架构。带宽提升、优化的信息分发传输方案以及压缩、编码标准的统一,保证了视频资源的质量与传输速度,保障了校园视频服务的可持续发展。基于智慧校园视频服务系统,将大大提升教育教学、学术科研、思想政治、行政后勤的质量和效率,提升学校公共服务的水平。