澎湃新闻视频敏捷化生产系统
2023-09-30赵昀
赵 昀
(上海报业集团 澎湃新闻,上海 200000)
1.背景
在当前社会背景下,我们正见证着信息技术和传播方式的深度转型,其中平台化、移动化和智能化已经成为媒体发展的主要趋势。[1-2]作为一家权威的媒体机构,澎湃新闻则面临着一个重要的挑战,那就是如何适应这些变化,满足用户的需求,提升自身的竞争力。
随着移动互联网和社交媒体的不断发展和普及,新闻视频已成为传播新闻信息的首选方式,也因此受到了大众的广泛欢迎和热烈关注。用户对新闻视频内容的需求持续增长,对内容质量、获取速度以及内容多样性的期望也日益提高。因此,新闻视频制作现在需要更高效、便捷且灵活地采集、传输、编辑和发布视频素材的方式,以适应各种复杂的场景和平台需求。[3-4]
然而,传统的新闻视频制作方式却存在着一系列问题和局限。例如:采集过程中需要使用专业设备和人员,成本高昂且不易调配;传输过程中需要依赖有线或无线网络信号,容易出现信号中断或延迟等问题;编辑过程中需要使用专业软件和硬件设备,操作复杂且不易协同;互动过程中需要使用第三方平台或工具,功能单一且不易控制等。
这些问题导致了新闻视频制作效率低下、质量不稳定、创意不足等问题。为了解决这些问题,澎湃新闻借助4G/5G、云计算等技术和产品集成组建澎湃新闻视频敏捷化生产系统。
2.系统概述
澎湃新闻视频敏捷化生产系统是澎湃新闻为适应新闻视频制作的需求和挑战,利用4G/5G 技术、云计算技术等集成组建的创新的视音频采集制作平台。该平台实现了从采集、传输、发布到互动等场景和流程快速实现,提高了新闻视频制作的效率、质量和稳定性,提高了用户参与度和互动性,为新闻视频采集制作提供了全新的解决方案。系统主要包含以下几个方面的子系统和技术内容。
2.1 4G/5G 采集传输
利用4G/5G 网络,采用4G/5G 背包或手机直播App 实现高清画质、低延迟、稳定可靠的实时音视频采集与传输。设备支持多个网络聚合传输,并可根据网络状况自动调节码率。在实现尽可能低的视频传输的同时,最大程度保障视频传输的质量和稳定性。
2.2 云端制作
使用云端制作系统,配合4G/5G 采集终端或手机直播App 实现轻量、高效以及便捷的实时云端信号接收和制作。
2.3 实时互动
使用云互联产品,可搭配各种采集或接入终端,以及本地或云端制作系统。可方便地实现实时互动同时,进行高质量的信号制作及播出。
2.4 远程制作
上述各系统或产品在实现视频采集传输或制作的同时,互相之间有内部通话,可形成适用于控制等信号传输的VLAN 通道,实现轻量敏捷的远程制作。
通过该系统可轻松实现实时直播、连线直播、远程访谈、实时多方互动等应用场景,提高了新闻视频采集、制作的效率、质量和稳定性,增加了用户参与度和互动性,为新闻视频制作提供了全新的解决方案。
3.系统介绍
3.1 子系统介绍
澎湃新闻视频敏捷化生产系统各子系统具体组成和介绍如下。
3.1.1 4G/5G 采集传输
3.1.1.1 系统组成
此部分整体包含采集传输端和接收解码端和中央管理端三个部分(如图1)。其中采集部分采用TVU One 直播背包以及TVU Anywhere 手机直播App 实现。采集背包可以聚合包括多达10 个4G/5G 网络、一个Wi-Fi、一个有线网络总计12 个链路网络,将来自摄像机或无人机等各种视频信号进行智能动态编码实现低延时、高质量的视频采集回传;手机直播客户端可使用手机自带摄像头或外接专业摄像机进行视频采集,并聚合手机SIM 卡和Wi-Fi 两路信号进行动态编码回传。
图1 4G/5G 采集传输系统框架图示
图2 TVU Producer 云导播界面图示
图3 TVU PartyLine 实时交互层及高质量回传制作层配合图示
图4 IS+传输技术保障信号传输效果
在接收解码端,TVU 背包接收机可以接收合并采集传输端发送的各链路数据并进行解码。解码基带信号输出给电视演播系统或其他相关设备。
中央管控系统可统一访问和管理所有账户的前端采集和后端接收解码设备。随时随地登录监看全部系统内的设备运行状态和进行管控。通过中央管控系统,宏观地对全局进行调控,随时掌握第一手的全局信息。
系统框架图示如下:
系统可实现包括视频采集回传、自动录制、GPS定位和轨迹打点、语音通话、结合BGAN 或数据卫星、结合无人机、中央管控、多路监看、权限管理等功能和应用。
3.1.1.2 技术特性
3.1.1.2.1 智能VBR 编码技术
TVU One 直播背包采用智能VBR 技术,背包可根据实时带宽自动动态调节编码码率。从而更好地适配传输带宽,以保障最佳的实时图像传输质量。[5-7]
3.1.1.2.2 可变FEC 和动态重传技术
TVU One 采用可变FEC 以及动态重传技术,可以很好地适应带宽波动,同时在保证网络延时的基础上更好地适应移动网络的高丢包率,保障图像信号的稳定。[5-7]
3.1.1.2.3 高性能双编码器技术
TVU One 直播背包产品配置了高性能双编码器,在拍摄并采用IS+技术传输的同时,设备会把拍摄影像以高清晰质量格式存储在SSD 中,传输和同步录制互相独立,不受影响。[5-7]
3.1.1.2.4 低延时、高保真
TVU One 直播背包采用TVU 专利的IS+技术,可以同时聚合多个网络链路进行数据传输,来保障数据传输的稳定性。同时配合TVU 高效的压缩编码算法,有效降低点对点传输延时。
3.1.1.2.5 视频传输加密功能
TVU One 传输数据中,拥有自己特有的加密机制。未经授权的接收服务器无法接收视频信号。
3.1.2 云端制作
3.1.2.1 系统组成
云端制作采用TVU Producer 云导播服务,该服务是一款面向广电新媒体、制作团队等可支持多机位的专业导播产品。TVU Producer 云导播可实现内容从信号采集、低延时传输、精确制播,到多平台的信号分发,可应对和满足各种传播需求。TVU Producer 云导播还支持高级音频混音器、竖屏模式制播和分发、多任务协同工作等多项前瞻技术。无论在成本和使用的灵活性上都非常友好。[8]
3.1.2.2 技术特性
3.1.2.2.1 支持横屏、竖屏、横屏竖屏同步直播模式
支持横屏竖屏同步直播回传模式的应用,应对当下兴起的竖屏直播拍摄模式与观众横屏竖屏同步观看模式,实现横竖屏信号源同步直播制作。
3.1.2.2.2 丰富的信号源接入
支持多种格式IP 信号源,包括常见的RTMP、HLS 等IP 流,也支持现在比较流行的SRT 等信号源以及TVU 的ISSP 信号源。此外也可以直接接收TVU采集产品发送的视频源,例如TVU Anywhere 移动终端APP、TVU One 直播背包、TVU MLink 车载直播机的视频源。
3.1.2.2.3 支持多通道信号录制与回放
支持同时录制包括所有信号源以及PGM 输出的视频源。录制的视频可以通过控件进行即时查看和回放。
3.1.2.2.4 互联网直播分发与共享
支持多平台、多协议的信号分发能力。
3.1.2.2.5 使用先进技术,保障高质量回传自作的整体性能和效果
使用TVU 专利技术IS+技术进行高质量信号传输。应对解决公共网络和3G / 4G/5G 网络中的带宽问题和QoS(服务和质量)障碍。
3.1.2.2.6 多路信号同步
使用TVU Timelock 技术实现多路回传信号同步。
3.1.2.2.7 Tally 提示
支持Tally 功能,在手机直播软件终端可以显示当前Tally 状态。
3.1.3 云端互动
3.1.3.1 系统组成
云端互动采用TVU PartyLine 云互联服务,该服务在进行高质量、高保障广播级信号回传及制作的同时增加一个实时交互层(Real Time Interactive Layer -RTIL)。它可以让主持人和嘉宾、制作人员、技术人员等实时交互,实现所有参与者之间的实时通信或者与特定人员的定向通信。同时TVU PartyLine 实时交互层可以和高质量的视音频回传和制作同步结合在一起。满足实时互动同时以完全同步和广播质量的音频和视频制作节目需求。[9-11]
所有PartyLine 参与者都可以通过共享的链接地址访问Partyline 的权限。链接可以从电脑、手机、Pad等各种设备上进行,参与者可以看到返回的PGM 视频或特定返送视频。TVU PartyLine 可以任意搭配多种TVU 的广播级采集及制作设备或系统如TVU One 直播背包、TVU Anywhere 手机直播软件、TVU Producer 云导播等实现实时交流和协同制作的同时,进行高可靠高质量的广播级信号的制作。
TVU PartyLine 实时交互层及高质量回传制作层互相配合实现高低双码率的制作。在实时交互层的所有互动和操作可以帧精确对应在高质量回传制作层。系统还具有回音消除技术以及声音控制按键,可以消除PGM 返回信号的声音干扰或实现不同工作性质人员声音隔离。
3.1.3.2 技术特性
3.1.3.1.1 任何人都可以通过链接轻松加入直播互动环节通过使用主持人提供的链接或会议ID 可轻松使用浏览器加入直播间,也可以使用安装TVU Anywhere 移动终端App 的智能终端加入。
3.1.3.1.2 极低的视音频延迟
视音频交互延时约为300 毫秒,极低的延时极大增强了实时交互的体验效果。
3.1.3.1.3 系统包含实时交互层和高质量回传制作层
系统综合考虑实时交互和高质量信号的需求,包含实时交互层和高质量回传制作层并完美配合。实现实时交互的同时获得高质量的回传信号或实现高质量的节目制作。
3.1.3.1.4 实时交互层同高质量回传制作层视频帧精确对应
系统实时交互层同高质量回传制作层视频帧精确对应。使得在实时交互层的所有交互和操作都可以精确的对应在高质量的回传信号或制作信号上。
3.1.3.1.5 回音消除和声音控制
多方通话和PGM 信号的返送使系统的声音比较复杂,TVU 考虑消音技术使PGM 返回视频声音不会影响正常的协作或访谈声音。此外,系统可以通过声道隔离或声音控制实现不同工作性质人员技术人员和主持人及嘉宾的声音的隔离。
3.1.3.1.6 使用先进技术,保障高质量回传自作的整体性能和效果
使用TVU 专利技术IS+技术进行高质量信号传输。应对解决公共网络和3G / 4G/5G 网络中的带宽问题和QoS(服务和质量)障碍。
3.1.3.1.7 视频返送可实现所有参与者实时查看节目视频源
系统可以将PGM 返送给所有参与者,以便所有参与者实时查看播出效果。
3.2 系统方案特性
3.2.1 先进性
3.2.1.1 使用TVU IS+专利技术保障信号传输
Inverse StatMux (IS)为TVU Networks 拥有的专利技术,通过IS 算法将单路信号分成多路并通过多个通道来传输。也就是说一个视频流可被分隔成小的数据包,这些数据包可以通过所有可用的连接来进行传输。IS 算法同时监控每个连接的带宽,并根据每个连接的可利用率来传输对应数量的数据包。传输数据在接收终端经过排序后重新聚合。[10]
Inverse StatMux Plus (IS+)技术为进一步优化IS 算法后的新专利技术。此技术结合Smart VBR 技术和动态前向纠错(FEC)算法。通过TVU 的Smart VBR(动态编码)技术系统能对一个定好延时的传输进行动态地管理传输码率。通过IS+ FEC 持续监测实时的连接状态,并发送足够数量的提前数据量来保证数据包能被收到而不会产生潜在的丢包,这类似同时预计重传需求。没了重传的需求,使用IS+技术的传输方案能在移动环境中做到低延时的超高清画质的实时传输。[10]
和其他公网传输协议相比IS+技术FEC 的支持和处理更灵活、对丢包率的容忍度更高,以及支持多个链路的捆绑。此外IS+支持先进的Smart VBR,可以对一个定好的延时进行动态地管理传输码率。因此,IS+技术在网络条件较差或者移动过程网络条件不断变化的情况下,将有更好的表现效果。此外,通过多个链路的聚合也可以帮助获取更高的传输速率和更稳定的传输效果。[12]
系统中采集背包、云导播、云互联等产品和服务系统使用TVU IS+技术达到最优的视音频传输。
3.2.1.2 多样化传输网络,多运营商多链路捆绑传输
系统TVU One 直播背包、TVU Anywhere 手机直播软件等最核心的功能即采用移动网络将直播视频流传输到与其配对的接收机或云导播中,设备或软件支持移动、联通、电信、广电等网络;同时还支持Wi-Fi、以太网、热点,保证视频传输稳定、快速。[6]
3.2.1.3 TimeLock 多路同步
使用TVU Timelock 技术实现多路回传信号同步。
上述系统中的TVU 在直播背包、云导播等产品或服务均采用Timelock 技术来保持系统时钟与时钟服务器同步更精确。TVU Timelock 让多个终端利用时间戳校正保持同步。这样增强了多路信号回传节目的效果表现。[10]
3.2.2 可扩展性以及可升级性
本系统软件和硬件平台均具有良好的扩充、扩展能力,方便进行系统升级和更新,适应各种业务的不断发展。
3.2.2.1 可扩展性
可增加系统节点部署,实现系统扩容;可增加单体如背包等设备,实现系统能力的增强。
3.2.2.2 可升级性
支持通过软件升级方式实现系统或设备性能的提升;支持通过软件升级的方式实现系统或设备功能的增加。
3.2.3 安全性
私有协议传输保障传输安全性。本系统内设备采用基于TVU 专利技术IS+技术协议,安全可靠。
多路聚合传输。本系统内传输使用多个链路聚合方式,信号通过多个链路分散传输,并在接收端汇聚处理。传输过程单一链路数据丢失不影响整体安全性。
采用配对或账号方式不暴露公网IP 地址。本系统设备之间以及设备和服务直接采用配对或账号方式,不暴露公网IP 地址,保障在公网上的安全性。
AES 加密。本系统设备传输支持AES 加密传输,提升传输安全性。
3.2.4 易操作易维护
3.2.4.1 一键操作
本系统设备充分考虑现场使用体验,可一键操作开启直播。最大限度地方便前方人员操作。
3.2.4.2 界面简单专业
本系统设备用户界面友好、专业,操作灵活方便,贴近操作者使用习惯。界面支持中英文切换,方便各种应用场景。
3.2.4.3 易维护
本系统建设方案从运行环境、操作系统平台等方面考虑同时结合实际操作,方便后续操作和维护。
3.2.5 开放兼容
高标准化。本系统包括主机系统、网络平台和数据库系统的选型以及应用软件的设计开发均采用开放、成熟的标准和规范。整个系统的所有软件、硬件均符合相关的国际、国内标准。
高兼容性。整个系统采用模块化的设计原则,不同软件、硬件以及平台之间具有良好的兼容性。
3.3 系统技术创新点
澎湃新闻视频敏捷化生产系统充分采用5G、云等关键新技术,有效集成相关技术的各产品或服务。从采集、传输、发布到互动等场景和流程快速实现,提高了新闻视频制作的效率、质量和稳定性,增加了用户参与度和互动性。为新闻视频采集制作提供了全新的解决方案,实现一定创新。从技术角度主要包含:采用5G 网络作为采集传输平台,突破了传统有线或无线网络的限制,实现了高清、低延迟、多点对多点的音视频传输;采用云计算平台作为制作编辑平台,突破了传统设备或软件的限制,实现了在线、协同、跨平台的音视频编辑;采用云互动平台作为内容形式平台,突破了传统单向或双向传播等。
4.应用情况
澎湃新闻视频敏捷化生产系统自上线以来,在各类重大新闻事件中发挥了重要作用。以及成功应用于多个领域和场景,例如:
时政报道:利用5G 采集传输功能,记者可以快速采集并上传现场视频素材,并通过远程连线功能参与直播或录制节目。例如,在2022 年全国“两会”期间,澎湃新闻记者利用5G 技术对“两会”现场进行了全方位的报道,并与多位专家学者进行了远程连线交流。
社会报道:利用远程制作功能,编辑可以在任何地点对视频素材进行剪辑、合成、配音等操作,并通过云制作功能生成适合各种平台的视频内容。例如,在2022 年上海车展期间,澎湃新闻编辑利用5G 技术对车展现场的视频素材进行了快速处理,并发布到各大平台上。
文化报道:利用云互动功能,用户可以通过手机或平板电脑观看并参与文化类节目的互动环节。例如,在2022 年春节期间,澎湃新闻推出了一档名为《春晚说》的文化评论节目,并邀请用户通过5G 技术在线观看并发表评论。
此外也应用在包括进博会全方位报道、长征五号运载火箭发射等众多重大新闻事件为用户提供了丰富多样的新闻视频内容。