融媒体中心智能媒资建设

2022-11-16万振华王吉锋

电视技术 2022年10期

万振华，王吉锋

（余姚市融媒体中心，浙江余姚 315400）

0 引言

余姚市融媒体平台项目以媒体互联网生产为全新理念，基于云原生技术架构，采用先进的云计算技术、大数据技术、人工智能（Artificial Intelligence，AI）技术以及视音频技术，实现高效的策、采、编、审、发、馈、评融媒全业务流程。其中，智能媒资建设作为该项目的重点部分，采用多种AI技术实现传统媒资业务。本文就余姚市融媒体平台建设中的智能媒资部分进行详细说明。

1 智能媒资建设

本次搭建的融媒体云平台智能媒资子系统要求提供全台素材归档、媒资编目、内容检索、内容上传、内容审核以及出库下载等功能[1]。项目建设过程中，为确保安全，要求在办公网环境下，媒资界面只允许进行相关浏览、检索等操作，对上传/下载进行相关权限管理、控制。

智能媒资的总体架构如图1所示。本项目搭建的智能媒资系统基于余姚融媒体中心搭建的智能AI平台。智能AI平台是由云原生架构构建的智能服务二次开发平台，为智能媒资的多种智能化媒体应用快速提供智能算法服务和场景化应用模板[2]。

图1 智能媒资总体架构图

为支持视音频智能分析，智能AI平台在基础硬件方面，针对深度学习用到的主流硬件进行了支持，涵盖了中央处理器（Central Processing Unit，CPU），图形处理器（Graphics Processing Unit，GPU）等；在基础软件方面，支持深度学习的主流框架，如Tensorflow，Pytorch；在算法模型方面，围绕着算法模型如何管好、用好的问题，平台在Linux操作系统之上，采用了Docker及Nvidia-docker的容器化技术，对算法模型进行了隔离使用，避免了多种模型依赖不同版本程序包（如Python，CUDA）的冲突，并且建立算法模型资源消耗属性及注册机制，方便平台针对模型进行统一调配管理；在媒体高效处理方面，对于经常出现的单个文件多种分析的情况，构建了高效的分布式内存共享技术，支持一次解码多次分析，节省了CPU及IO资源，提高了平台整体的吞吐量和分析效率[3]。

在智能AI平台部署方面，智能AI平台的底层是物理机、虚拟机及云端资源；通过Kubernetes和Ray调度，管理底层资源，由Ficus PI（数据管理模块）进行数据驱动；集群和单机两种部署模式对原子能力实现协同部署。同时，AI平台拥有丰富的原子能力和智能场景模板，并支持AI能力及模板的插件化扩展，对外统一提供任务接口。

在智能AI平台能力支持方面，考虑到在媒资管理等真实的业务场景应用中通常是多种AI原子能力组合协同完成的，原子能力虽本身可以在多类场景中进行复用，但处理流程以及数据融合处理的方法各不相同，需要智能场景模板既能够复用现有的众多AI原子能力，又要保证流程的灵活，且可方便自定义。

2 智能媒资功能

本项目打造的媒资系统软件的核心业务功能全部采用浏览器/服务器（Browser/Server，B/S）结构实现，通过浏览器即可实现常规操作，为素材管理要求提供内容支撑，实现数字资源导入、编目、管理、检索及导出等操作。以下将重点说明余姚市融媒体中心智能媒资系统的功能模块。

2.1 检索门户

智能媒资系统检索门户，是整个智能媒资系统的主要呈现页面，作为用户使用的主要业务功能入口，承担数据查询、数据展示及信息呈现等关键性的作用。作为与用户交互的直接界面，本项目设计的媒资检索门户提供便捷的B/S检索，随处可用Chrome浏览器登录访问。利用AI智能平台提供的原子能力，可将系统后台智能分类、聚类的专辑或主题，自动呈现到检索门户中，同时也提供独立的专辑和主题的检索应用，更加有利于提高检索效率，增加资料的利用率[4]。

媒体资产管理系统支持全文检索、二次检索、按字段高级检索及条件过滤等多种检索方式，且不同权限用户在检索结果页面对素材的操作权限不同，支持检索结果不同的排序方式和呈现形式。

2.2 智能编目

智能编目模块采用人工编目与智能编目结合的方式，通过编目工具完成媒资入库过程中的人工标引、著录等任务。智能编目功能可调用AI能力服务，将视音频、音频及图片等内容数据通过适合的AI能力服务，形成适当的机器标签。再通过数据筛选、分析等方式对标签内容进行清洗和处理，最终生成面向检索发布的业务标签体系。智能编目的本质是在标签体系的基础上对媒资进行自动分类，但需注意，编目仍需要符合广电4层级编目的基础标准[5]。

智能编目的具体功能包括智能标签、资源编目、内容表音及编目审校4部分。

智能标签利用AI引擎，调用系统后台的AI服务能力、数据服务能力，将汇聚的视音频素材采用智能识别技术，对视频、音频内容进行标签提取、语音文字转写及敏感人物识别等处理，最终生成结构化的标签信息，同时过滤无用和重复标签，为人工编目提供辅助信息。标签包括人物、时间、地点、内容、自动摘要以及自动分类等内容。

资源编目支持对各专业分库所有类型资源进行编目（包括视频、音频、图片及新媒体稿件等），通过Web页面实现编目工作，支持四层广电标准编目、新媒体编目、素材编目以及其他编目结构等自定义编目字段。编目规范可自定义，同时符合融媒体中心内部编目规则。智能编目还支持根据业务需要自定义编目类、编目属性、分类及编目界面，并支持编目流程自定义，可根据业务需要由媒资专业人员进行配置，实现一编多审的效果。

内容标引结合了自动化编目+人工校正的能力，可以对program层级、story层级进行编辑和修改，将program层级的整段节目自动拆分为片头、开场白以及每一个story层级的主题故事部分。

编目审校基于智能结构化的结果，通过完善内容的相关信息，减少传统编目的人力和时间花费。智能审校可直接在片段识别的基础上进行片段的拆分或者合并，同时，编目审校具备编目审核流程，可根据用户的业务审核要求配置审核流程。

2.3 基础功能

智能媒资的基础功能包括高标清内容上载、高标清音视频质量审核以及近线归档下载分发，与普通媒资管理系统类似。不同点在于视频质量审核环节。除常规技术审核外，智能审核模块可调用AI媒体智能平台的处理能力，对视频画面或者图片中的涉黄、涉暴、涉政等信息进行识别，可自动标注敏感人物并提醒审核人员。分析结果包含敏感信息的具体类型、出现在视频中的片段信息、可信度及建议操作等信息。

该段素材携带的原始基本信息会进行展示，如标题、入库者、入库时间、首播时间、归属部门、所属栏目及所属频道等。该段素材在入库时，将调用AI大数据平台的分析能力，通过相应的分析，实现对涉政、广告、技审分析结果的展示，将有问题的时间段进行说明。

2.4 媒资管理

媒资管理部分负责对智能媒资系统的用户、流程、策略、配置、数据、门户、存储、回收站以及第三方应用进行整体管理，保障智能媒资系统正常运行。其中，用户管理主要包括角色管理、权限管理及部门管理等分支功能，流程管理主要包括流程配置、任务流程管理及调度管理等分支功能，策略管理可对媒资的下载策略、下载审核策略、删除策略、生命周期及归档策略等进行配置；数据汇总支持对媒资业务进行多维度、实时的数据监控和统计分析，用户可根据业务需求自由组合统计表或统计条件，数据汇总模块可面向上层应用提供技术服务支撑实现对资源、业务数据及人员工作量情况等信息的统计，提供无限用户数的统计服务授权；门户管理可对门户展示模块进行配置，支持对专业库的配置管理，包括专业库对应的门户模块、编目配置及归档策略等；存储管理支持对存储空间、存储方式的配置管理，对媒资系统的存储进行统一管理和逻辑划分，并对划分的存储资源池进行管理；回收站管理支持用户对自己权限范围内的媒体资料进行删除，通过媒资管理中心的回收站，可查看删除媒体资料列表并确认对媒体资料是从回收站删除还是恢复，防止误操作；第三方应用管理支持对媒资系统中接入的第三方应用的配置，可进行启停操作，并对创建的新应用进行授权信息设置、工具应用授权设置以及应用扩展性设置等。

3 硬件部署

智能媒资系统作为余姚市融媒体平台的一部分，底层采用了2套新华三万兆交换机+4套新华三千兆交换机搭建基础网络环境，采用3套HPE DL380 Gen10 19寸2U机架式服务器构建智能媒资平台基础功能集群，采用2台HP Z4G4专业图形工作站用于智能媒资系统的上载、审查、下载、超高清素材上下变换等功能，采用1台HPE DL380 Gen10 19寸2U机架式服务器用于媒资归档服务，采用索尼L30M蓝光盘库搭配索尼PDW-U4专业蓝光驱动器以及索尼PFD100TLA专业蓝光盘驱动建设媒资存储介质，采用2套HPE DL380 Gen10 19寸4U机架式服务器用于支持智能AI平台的视频智能分析服务。