基于云数据及人工智能引擎的广播融媒系统设计

杨 维

（作者单位：四川广播电视台）

1 系统设计的目的

四川广播电视台经过多年的建设，广播网络系统数次升级迭代演进，已经建成基础的融媒体业务系统——四川广播融媒体云平台。平台已部署了“云里”“云听”业务系统、“融媒体云移动采编”系统、“微信矩阵”、微信小程序等应用，广播各频率依托不同的系统和应用，各自承担融媒体产品生产发布全流程上的相应工作。

为实现业务系统间的数据可汇聚、可共享、可流转、可分发、可分析，构成融媒体产品的全过程生产发布体系。本项目以广播融媒体云的媒体数据中台为核心，以人工智能（Artificial Intelligence，AI）技术为依托，实现AI引擎服务的基础，将内容资源数字资产化，功能模块服务化。依托人工智能技术，实现音频、视频、图文、文件等多种格式数据的结构化，对用户、内容、行为等数据进行统一的规范化处理[1]，通过多层神经网络深度学习，自动标签、分类、建立关系图谱；提供用户认证、访问鉴权、数据受控、数据分析等功能，以数据支撑广播融媒业务决策和效益分析；依托融媒数据中台，实现自动播报、智能问答等智能化应用。

2 系统总体架构设计

广播融媒体系统的总体架构如图1所示：

图1 广播融媒体系统架构图

2.1 以广播融媒云数据中台为核心

广播融媒云数据中台是融媒体业务建设的核心资产，未来移动互联网以数据为王，广播的融媒体业务升级也应如此。融媒云数据中台汇聚音频、视频、图片、文字等全媒体素材，以及运维数据、用户数据、运营数据、营销数据、内容访问行为与内容触达数据等，并对其进行统一的清洗、分析和计算[2]，分析融媒产品传播效果，帮助融媒生产部门或团队进行业务决策。

2.2 以人工智能引擎为支撑

人工智能引擎为整个广播业务的资源中心，将各种资源都汇聚到媒体大脑，进行自然语言处理（Natural Language Processing，NLP）、神经网络深度学习、语音和人脸识别等技术处理，形成结构化的媒体大脑库，可以实现高效的内容查询、分析、应用。由AI引擎支撑AI播出、AI查询等智能应用。

2.3 助力融媒体业务板块能力提升

建设智能云生产协作系统、智能云发布系统，这两部分业务基础的智能运营系统能帮助业务团队开拓新的盈利模式和商业模式。

3 广播网络系统结构及功能设计

3.1 广播融媒体云平台网络优化

现有融媒体业务系统还不具备接入层的负载均衡能力，在应用高峰时易造成堵塞。而域名直接解析到Web服务器，未设置反向代理隔离内外网IP，安全性需要提高。

可以利用四层和七层负载结合方案，优化广播融媒体云平台的部署架构（见图2），提升广播融媒体云平台的整体安全性和稳定性，同时具备横行扩展能力，能够支撑业务模式的扩展。

图2 广播融媒体云网络部署图

3.2 实现人工智能引擎服务及广播媒体数据中台

广播融媒体云平台经过逐步升级迭代，目前功能相对完善。主要软件即服务（Software as a Service，SaaS）应用包括：移动稿件编审、桌面制作、慢录系统、视频收录、熊猫听听应用程序（Application，App）、小程序、电话收录、视频直播、微信运营等子业务系统。广播各频率和新媒体部依托不同的系统和应用，各自承担融媒体产品生产发布全流程上的相应工作，各业务系统间的数据可汇聚、可共享、可流转、可分发、可分析，构成了融媒体产品的全过程生产发布体系。

本设计依靠AI技术为底层技术支撑实现AI引擎服务，将内容资源数字资产化、功能模块服务化，建设广播融媒体云的业务核心媒体数据中台，同时对融媒体云系统进行业务升级和能力提升，主要包括以下几个方面：

（1）对数据中心的存储能力进行升级，采用利旧方式，对现有存储资源进行整合。

（2）依托AI技术对数字资产进行自动分类、标签、结构化等，实现AI引擎服务。通过数据智能处理引擎使数据中台的数据能被AI识别和理解，实现数据的智能化升级，通过AI引擎服务将图文稿件、音频、视频、用户信息等全媒体资源分析处理，形成广播融媒体数字资产库。

（3）依托媒体数据中台实现应用。在AI引擎的加持下，传统的融媒生产、发布和运营将获得更多新生能力和应用，包括新闻事件脉络梳理和追踪、智能写稿、安全审核、虚拟主播、AI电台、AI顾问、个性推荐、智能营销等智能业务，实现融媒体向智媒体业务升级[4]。

（4）媒体数据中台开放接口规范，以便今后拓展广播融媒体的新业务能力。依靠数据中台，通过调用统一的智能服务应用程序接口（Application Programming Interface，API），在融媒生产、人机交互、智能运行等方面可直接扩展多种业务，如图3所示。

图3 数据中台规划设计图

未来广播融媒体云平台的升级将以广播融媒体数据中台为核心，从以下几个方面进行：AI引擎分析处理能力的升级优化、智能应用的新增和完善。

3.2.1 数据中心存储能力的升级

整合广播现有存储节点资源，包括8个Isilon X200存储节点，采用“N+1”的方式进行备份，可用容量140 T，作为媒体数据中台的存储环境。存储内容包括所有音频资料、视频文件、图文信息等。利用现有的各种采集手段采集汇聚音频慢录、视频收录、爬虫数据、媒资库等数据源数据。支持API对接、手动导入方式进行数据采集。

3.2.2 AI引擎服务及广播媒体数据中台建设

目前，各类素材需要大量的人工进行编目、分类，导致使用者对已保存的大量素材内容了解不够，比如一个音频里面讲到了哪些主题，一个视频里面出现了哪些人物，一篇文章写过哪些新闻事件等。对内容的查询能力不足，比如如何查询到库里所有涉及精神文明建设的文档，它们之间的关系图谱，等等[3]。内容与内容之间的关系也不明确。因此，需要建立AI引擎对这些素材进行智能化处理，将其转变成数字化资产。

广播融媒体业务的发展对提升主流媒体传播力、公信力、影响力和舆论引导力发挥了积极的作用，广播融媒体云平台整合了资源的同时提高了融媒生产的效率。

广播的数字化资产，包括音频、视频、图片、稿件、用户，以及未来可能涉及的商品资产等，经过AI智能引擎的分析处理，自动标签、分类、聚合、索引，通过数据中台的应用能力提供给各个业务系统使用。AI数据中台将各种业务能力微服务化，形成标准的应用模块（见图4），可以供智能业务系统调用[4]。

图4 AI功能模块图

AI引擎服务是广播媒体数据中台的核心，结构化处理所有非结构数据，生成具有智能索引管理的数字资产库。利用AI引擎，对音视频等节目中的人脸、语音、场景等进行内容自动提取和自动编目，将内容不断拆解细化为无穷小的单位并且可标记、可检索的结构化数据，再通过智能算法的调用，实现对海量信息资源的扩展应用，为数据智能化奠定基础。

通过AI引擎服务的支撑，广播媒体数据中台的全媒体数据可以实现以下几种功能：

人脸识别：将预处理后的内容进行人脸识别，提取内容中出现的人物特征信息，以及对应的时码信息；支持自定义人脸库输入。

语音识别：将预处理后的内容进行语音识别，提取内容中出现的所有语音信息，并以文本方式呈现。

场景识别：将预处理后的内容进行物体识别及场景识别，如教室、广场、会议室、车、桥、天空、河流等客观事物。

光学文字识别：将预处理后的内容进行光学文字识别（Optical Character Recognition，OCR），可指定区域（如字幕、主题等）进行识别，还可手动全屏截图识别，识别的结果可保存并导出。

智能编目系统：利用AI引擎，在人脸、语音、场景等方面对广播全媒体素材进行智能提取和编目，形成可供智能检索的结构化数据，同时根据需求完成新的标签定义和自主学习。

可智能检索系统：通过不同维度对历史素材[包括智能引擎结构化的数据（人脸、语音、场景）]进行检索，同时提供综合检索页面，针对多个维度进行组合查询，进一步收敛目标素材（见图5）。

图5 AI智能引擎服务图

3.2.3 依托数据中台，实现智能应用

人工智能已不再是一种趋势，而已成为一种时代特征，渗透到各个领域。智能媒资、智能写稿、智能视频合成、虚拟主播、智能安全审核等人工智能新应用在各类媒体中得到广泛推广，“策、采、编、播、发、审”等全流程通过人工智能技术重新赋能媒体生产已是新趋势。通过人工智能赋能融媒体建设，打破新媒体和传统媒体的边界，包括媒体之间、媒体与用户之间，甚至人与机器之间等，将推动融媒体走向智慧媒体。

AI引擎服务按照具体的业务使用场景分为AI基础能力服务、AI资源检索服务两大业务模块，同时会在原有的平台或系统业务中基于AI基础服务能力形成一些智能化的创新产品以丰富业务功能。

3.2.3.1 AI基础能力服务

（1）提供人脸识别与比对技术，提取相关节目中的主要人物信息，按照提供的人物名单及要求建立人物特征库。根据人物特征库，快速准确地检索出所需节目，并标注相关人物出现的关键帧位置。

（2）提供语音识别技术，提取相关节目中的语音信息，包括口播、唱词等语音信息。提取出的语音信息自动转换成文本信息，提供语音实时校对功能，能对识别有误的地方进行修改与保存。根据文本信息提供全文检索功能，对检索出的相关节目进行准确定位。

（3）提供场景与物体识别技术，提取相关节目中的场景与物体信息，并对识别出的场景与物体进行合理的分类，可根据需求对场景与物体进行选择，过滤无效的信息。通过这些信息可快速准确地检索所需节目，准确定位该场景与物体出现的关键帧。

（4）提供OCR识别技术，提取相关节目中的唱词字幕信息；形成整段内容的文本，并且提供修改、编辑、下载等多种功能，供文稿系统使用。

（5）提供文语互转，以及满足文本向拟人化语音转化需求的人工语音合成技术，打通人机交互闭环；支持自定义音量和语速，提供多种音色，使发音更自然、专业，更符合实际场景需要；增强人机互动体验，提高语音应用的建设效率。

（6）具备自然语言文字处理方面的功能。支持语义自然分析文本。用以进行文本纠错、情感倾向分析、语义观点抽取、对话情绪识别、文章标签或摘要抽取、文章聚类分析等业务构建。

（7）具备结构化处理非结构化数据的功能。支持对从各类媒体资源中智能化提取的非结构化数据进行信息结构化加工，形成可被实际使用的数据信息，比如供检索使用的数据信息。

3.2.3.2 AI资源检索服务

（1）提供统一的AI资源检索服务，呈现综合检索页面。

（2）对台内在各处使用或存储的媒体资源进行信息结构化处理，将完成的特征结果进行聚合、交叉比对、综合匹配、自然语义分析处理，最后形成基本的标签或聚类信息，以及时间、地点、人物等智能标签。这些智能标签信息既可以提供给检索系统作为检索的关键词或索引，也可以通过HTTP接口，把智能标签的信息同步给第三方使用。

（3）对媒体资源进行智能编目形成的编目信息，可以为内容检索提供多维检索条件。

（4）支持全文检索，能快速、准确地基于AI标签库检索到目标文件，并按照多种方式统一呈现。

（5）提供组合查询功能，满足多场景检索。组合查询是在一般查询的基础结果上进行范围收敛的工具，组合查询的各类型之间为“与”的关系，过滤内容则为“非”的关系。例如：需要搜索人物A和人物B共同出现的文件，那就可以输入多个人物的关键词来检索。又如：需要搜索与报道过的人物A有关的口播“加强高端制造科技创新”，既可在人物栏输入“A”，也可在语音栏输入“加强高端制造科技创新”。

（6）智能检索的检索数据源包括智能引擎非结构化的数据（人脸、语音、场景）以及原媒资系统人工编目的数据，可通过多个维度进行组合查询，将编目信息与非结构化数据的关键字进行灵活组合，进一步收敛目标素材。

3.2.3.3 声音智能切片拆条

音频智能切片系统实现对播出的节目自动按栏目进行切片，自动去除栏目中的广告。

音频智能切片系统（见图6）可实现对广播播出后的节目智能切片、自动识别广告并裁剪、内容智能编目、内容管理等功能。

图6 音频智能切片系统架构图

广播播出网：为智能切片提供准确的播后节目单数据，根据时间戳与直播流一一对应，将播出节目日志记录与各频率直播流信号关联起来，实现音频信号的精准切片。

安全网闸：通过网间安全网站将广播播出网节目单数据安全摆渡到广播融媒体云平台播后收录系统，满足安播规定和要求。

播后收录系统：其是音频智能切片系统的管理后台，在管理后台可以实现对广播各频率的直播流管理、频率的节目单管理和切片后的内容管理。直播流管理支持对直播流的添加和删除。频率的节目单支持同步和查看播出网的播后节目单，支持手动编辑节目单。内容管理支持对内容进行检索、排序、复制、移动、导出等操作。

智能服务功能：整个系统需要依托底层的智能服务功能进行工作，由音频慢录和直播流转码提供标准直播流节目，通过智能切片和智能去广告功能将有效节目保留，利用语音识别和智能拆条，每个切片都有详细而精准的标签信息，做到高效查询，快速定位。

智能去广告功能：广播节目中有广告的内容，系统能够自动去除广告，保留纯净的节目内容。

可对接业务系统：系统提供标准的API接口可供其他系统如媒资系统、素材中心、发布系统等，调用使用。

3.2.3.4 视频智能拆条

智能识别分析内容的片段信息，可按主持人、转场等维度自动生成节目层、片段层条目，供用户编目数据使用。针对新闻类节目做到片段层的识别拆分。

支持用户对拆条出来的信息进行合并（或者拆分），形成片段，合并后的片段支持自定义描述、下载与导出，并且能作为检索源。

3.2.3.5 AI虚拟合成节目生产系统

建设广播AI虚拟合成节目生产系统，用于资讯类的内容产品，如路况、股票、气象、航班、应急等节目；实现文稿自动生成音频，无须主播制作录制，提高内容生产效率[5]。

AI虚拟合成节目生产系统，将实现主播声音定制、文稿虚拟声音实时合成、节目自动生成等基本功能。业务流程如下：

融媒生产系统：为AI智能播出提供成品稿件，作为内容的来源。

声音定制：录制和采集主持人声音特征，语料包经神经网络深度学习训练，模拟主持人的音色，生成自然流畅的个性化定制语音库。

AI节目虚拟合成：文字资讯内容调用定制声音，自动生成节目文件，存储到融媒体数据中台，供频率调用。

个性化语音库：管理已经制作好的语音，支持对语音进行修复，支持通过API被其他系统调用语音播出能力。如在直播互动系统中，调用该语音库，根据预设文本内容生成不同风格的互动的语音，供主持人灵活使用。

内容管理：管理已合成的内容，支持对内容查询、重新合成、修改和删除。

3.2.3.6 AI虚拟电台

虚拟电台可以实现由AI主播自动生产节目内容产品，从节目库自动编排节目，云端自动播出，给不同融媒体平台分类提供各种创新内容产品，如图7所示。

图7 AI虚拟电台模式图

AI虚拟电台可以开办众多的音乐文艺节目、企业合办节目、咨询专业节目、商业定制节目等类型化、细分化、窄播类电台产品，自动编排自动播出，高效率低投入，探索新的商业模式。

AI虚拟电台采用全流程化闭环控制，自动采集云端播出的用户访问数，根据不同时间段的用户访问数调整编排策略，不断猜测用户喜好，实现精准的内容播放。

3.2.3.7 AI顾问

依托AI引擎提供AI自动咨询服务，对天气、路况、股票、体育、政策等内容以人工智能机器人方式提供服务。传统媒体时代，广播的主要功能是传播声音信息。而在互联网融媒时代，媒体的职能需要向信息枢纽和服务中心转变，凭借自身作为主流媒体的公信力和信息获取能力，为广大用户提供实实在在、准确无误的资讯咨询服务。因此，依托AI智能引擎，以人工智能机器人方式提供信息咨询服务[6]，对于主流媒体来说应用前景广阔。

目前，国内已有媒体开展一些垂直的服务，如健康类节目，以“微信群+AI”方式开展健康咨询。因此，本项目将在这方面做一些尝试，与业务部门或团队配合，进行深入的商业转化试水。

4 结语

当前，媒体的融媒体系统建设更加注重运营效果，更加依靠云计算、人工智能、大数据等新技术提高生产效率、提高精准触达用户的能力，更加注重用户及数据的积累和分析，更加考虑运营效果以及盈利模式。系统的设计思路应紧跟融媒业务和新技术的发展趋势，来最终提升广播融媒体生产能力。