视听多媒体技术的新进展

郑世宝

上海交通大学信息技术与电气工程研究院/电子工程系教授

21世纪的信息世界是视听多媒体的世界，人们80%以上的信息是通过视听媒体获得的。首先是视觉媒体，即看的媒体、眼的媒体。如无声电视电影、动画、图片或图文（传真、电子白板）、电视等。70%的信息来自于视觉媒体。接下来是听觉媒体，即听的媒体、耳的媒体。如电话、广播、音乐等。视听多媒体是视觉和听觉的组合媒体。如可视电话、视频会议、黑白或彩色电视、DVD、高清晰度电视、IPTV或流媒体电视、3D电视等。

视听多媒体技术主要包含视频技术、音频技术和多媒体通信技术。视频技术是实现视觉媒体的技术，包括视觉信息的采集、编码、传输、显示和理解等。音频技术是实现听觉媒体的技术，包括听觉信息的拾音、编码、传输、放送和音效工程等。多媒体通信技术是同时实现视觉和听觉的媒体技术，包括音视频同步、传输协议、服务质量QoS等。

此外，视频技术还涉及视觉信息的处理、分析和理解等信息处理理论；音频技术还涉及听觉信息的处理、分析和识别等信息处理理论；多媒体通信技术还涉及有线、无线、卫星或局域网。

下面介绍编码工具和标准的主要进展。从20世纪50年代到现在，视频编码标准已经有了长足的发展。编码效率不断提高。到H.264已经接近极限，没有新的更为智能的技术或结构，编码效率已经很难继续提高。ITU-T与ISO/IEC的JVT组织已经进展到H.265/MPEG-5 HEVC。此外还有JPEG系列标准、SMPTE 标准VC-1（即WMV9），中国有AVS和安防应用的SVAC。

视频编码永恒的努力方向:1）努力提高编码效率，使其率失真性能达到最佳；2）努力提高编码传输稳健性，使其传输可靠性或容错性能达到最佳。

H264/AVS后的编码技术有SVC可伸缩编码、MVC多视角立体编码、HEVC极高效视频编码和SVAC智能视频编码。

H.264 SVC考虑网络视频传输及用户终端条件存在很大差异，如传输带宽不同、终端功耗不同、终端显示能力不同等提出的一种可伸缩编码。H.264 SVC基于H.264核心框架实现了高效的时域、空域、质量的可分级，已纳入H.264标准的一个附录（Annex G）。

H.264 MVC主要应用在领3D视频、自由视点视频、身临其境的电视电话会议等领域。已纳入H.264标准（Annex H）。

最新的标准是HEVC/H.265。实际自H.264诞生后的第二年开始，就一直没有停止H.265版本的建议，直到2010年提出了HEVC，才终于达成一致。HEVC的目标是使压缩效率比H.264提高1倍。高效视频编码（HEVC）已经发布测试模型，它具有两种架构——高效率和低复杂度。针对这两个方面有多的工具被提出来。

国内，AVS之后，一个进展是监控领域专用的视音频编码标准SVAC。这个标准是全国安防标委会与AVS联合推出的。仍然是AVS的编码框架，引入了智能视频监控所需的感兴趣目标或事件的编码。另外一个进展是AVS-3D标准，在AVS基础上引入了立体视频编码。

视听多媒体技术的最新进展，一个是3DTV，市场前景被看好，已经有一些国家在进行试验性广播。但3DTV目前仍然存在一些缺陷，如要戴眼镜，长时间观看会疲劳等，目前针对3DTV对人眼健康的影响仍在进一步研究。另一个是超高清SHV（UHDTV），这方面日本正在大力研发。

智能视频应用技术是当前的一个热点，主要有:图像增强技术，如降噪、去云雾、修复、超分辨率重建等；视频分析与理解技术，包括目标发现（检测）、跟踪与识别，视频语义提取与描述等；视频内容检索与挖掘，主要是视频事件查找和图像挖掘。

21世纪是视觉媒体为主的世纪。现代视频编码理论和技术经历了30年的快速发展，现已相对成熟，一些标准的编码器，很容易通过市场获得，但一些特殊环境、特殊应用场合的视频编码器仍是一个急需解决的问题，如智能监控和深空高动态高清晰度图像编码器、3D编码器和超高清编码器等。另外，视频分析和理解技术将成为今后视觉媒体技术发展的热点，希望引起关注。