H.265关键技术解析和应用

赵金平

摘 要：H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。新标准在编码质量、码流、延时处理以及算法复杂度等方面提出了改进方法，达到最优化设置。本文结合安防实际应用，介绍了新标准在提高压缩效率、提高错误恢复能力、减少时延、减少信道获取时间和随机接入时延、降低复杂度等方面采取的相关技术方法。

关键词：H.265；码流宏块编码

1 综述

社会公共安全产品博览会北京展会刚刚结束，本次展会上，除了较常见的AHD、CVI、TVI、SDI、960H这些监控技术外，4K高清、H.265等相关应用的粉墨登场，给安防行业带来了一股新风。H.265标准自2013年被确认，到现在各大企业发布H.265产品，发展势头日益强劲，究其原因，与现有视频压缩标准H.264无法满足呈现“高清化”发展的需求关系很大，无论现有标准如何闪转腾挪、采用何种优化算法，面对高清视频码流几何倍数增加的现实需求，都显得穷途陌路了，视频编码需要更高效的标准来适应这种视频发展的变化。

H.265标准即高效视频编码（High Efficiency Video Coding）标准，其编码架构与H.264的架构相似，主要包含：帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。

2 安防监控技术领域对编码标准的要求

随着高清化在安防监控中的逐渐普及，720P、1080P等高清晰度视频应用随处可见，甚至很多安防监控厂商已经提出了4K、8K高清视频的解决方案，高清晰度视频内容必然带来传输带宽的高要求。同时，高清晰度视频其编码后的视频数据庞大，对存储的要求大大增加，因此编码过程中压缩比的大幅提高成为新标准的基本需求。

相对于标清，高清视频的像素高，信息量大，图像细节描述更详尽，因此，解码时，尽可能迅速地还原出高清图像的高画质成为解码的关键因素。举个例子，D1标清视频的解码对于H.264标准而言，其实现所需要的硬件资源相对较少，8路D1码流同时解码显示，对普通服务器来说运算量不大，但如果是1080P高清视频码流，普通服务器只能勉强解码显示1路。在大型视频监控平台上，如果高清视频有多路需要同时解码显示，服务器的计算速度、运算量会非常大，因此，下一代视频编解码标准在解码能力上亟待优化。

随着3G/4G无线通信技术的迅猛发展，视频流媒体业务在全球范围内得到普及、发展，安防监控对流媒体业务的需求同样迅速增加。在各种业务类型中，P2P或分布式应用较广泛，监控视频由于其直观性的特点，被各用户终端所钟爱，在不同网络环境下，有不同的需求种类，如局域网中，网络带宽较好，用户对视频质量要求高；而通过手机终端来监控时，由于带宽的限制，视频流畅性被放在首位；因此，下一代编码技术在安防领域的应用，需要有更好的网络适应性和差错健壮性。

3 H.265编码标准的关键技术

新一代视频编码标准HEVC（H.265）仍然属于预测加变换的混合编码框架，但与上一代H.264标准相比，新标准有了革命性的改进，主要体现如下：

（1）编码结构：H.265中，宏块的大小有4x4、8x8、16x16、32x32、64×64等多种，针对图像的细节特点，可以采取不同宏块大小的划分方式，因此，高分辨率的视频内容可压缩空间就更大。同时，相互独立的灵活的编码结构促进了编码效率的提高，编码结构包括编码单元（Coding Unit）、预测单元（Predict Unit）和变换单元（Transform Unit）。如图1所示：

编码单元相当于H.264/AVC中的宏块，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元分开处理，使得变换、预测和编码等处理环节更加灵活，也有利于各个环节划分更加符合视频图像的纹理特征，促进各单元实现各自功能更灵活优化。

（2）RQT（Residual Quad-tree Transform）：RQT是一种自适应变换技术，是对H.264/AVC中ABT（Adaptive Block-size Transform）技术的延伸和扩展。该技术在帧间编码过程中，可实现根据运动补偿块大小的不同，对变换块的大小自适应调整；在帧内编码过程中，可实现根据帧内预测残差特性的不同，对变换块的大小自适应调整。大块变换与小块变换相比较，优势是能够提供更好的能量集中效果，并且在量化后保留更多的图像细节，劣势是，量化后会产生更多的振铃效应。因此，比较将要处理的变换块的特征，自适应地选择变换块大小，如图2所示， 在能量集中、细节保留程度以及图像的振铃效应三个因素中选择折中的效果。

（3）MVP：即运动矢量预测方式；H.265标准增加了侦内预测方向，将预测块的集合由空间域扩展到时间域和空间域两个方向，依据域失真准则进行计算，选择最佳的预测块。使用该方法，可得到平均6.1%的压缩增益，复杂图像的压缩增益甚至能提高到20%。

（4）采样点自适应偏移（Sample Adaptive Offset）：SAO采取的方法是对重建图像进行分类，在分类后的图像像素值中加减偏移量，保证了图像的差异性，减少了失真，提高压缩率，减少码流。

采用SAO后，平均可减少2%～6%的码流，而编解码器性能消耗仅增加了约2%。

（5）并行化设计：芯片架构基本以多核并行为主，H.265引入了Tile、Entropyslice、WPP（WavefrontParallelProcessing）等并行运算思路，使用并行度更高的编码算法，更有利于H.265在多核CPU中高效快速运行。

此外，H.265中还采用了多描述编码、1/8像素插值编码、自适应环路滤波等技术，保证了H.265标准在压缩效率、并行处理能力和网络适应性方面得到极大提升。

4 H.265标准在安防行业的应用

H.265标准继承了H.264标准的一些成功应用技术，并兼容H.264，从 H.264标准在视频应用领域整合了广电、电信、互联网、安防等行业来看， H.265标准未来发展前景一片大好。安防领域高清化是一种趋势，4k高清、超高清等必将成为标准配置，当然，H.265的优势远不止4K高清监控这么简单，举个例子，在平安城市中炙手可热的1080p全高清布控，H.264标准下1080p需要4M以上的码率来保证图像质量，若采用H.265视频压缩标准，则1080p仅需1～2M左右码流。

面对安防监控大蛋糕，国内安防厂商积极参与和推动了H.265视频标准和应用的发展，芯片厂商已经推出了H.265编码算法的SOC，各种应用方案也层出不穷；H.265的产品应用方面，目前国内安防厂家基本都具备了产品化的研发实力，包括以海康威视等企业为代表的厂家都相继推出了支持H.265的产品，可以想象，在可预见的未来，H.265标准必将引领安防技术的主流。

参考文献：

[1]High Efficiency Video Coding

http：//en.wikipedia.org/wiki/High_Efficiency_Video_Coding.

[2]Comparison of the Coding Efficiency of Video Coding Standards — Including High Efficiency Video Coding （HEVC）， Jens-Rainer Ohm， Gary J. Sullivan， etc. IEEE Trans. VOL.22， NO.12， December 2012.

[3]蔡晓霞，崔岩松，邓中亮，常志峰.下一代视频编码标准H.265关键技术[J].北京邮电大学电子工程学院，2012.

摘 要：H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。新标准在编码质量、码流、延时处理以及算法复杂度等方面提出了改进方法，达到最优化设置。本文结合安防实际应用，介绍了新标准在提高压缩效率、提高错误恢复能力、减少时延、减少信道获取时间和随机接入时延、降低复杂度等方面采取的相关技术方法。

关键词：H.265；码流宏块编码

1 综述

社会公共安全产品博览会北京展会刚刚结束，本次展会上，除了较常见的AHD、CVI、TVI、SDI、960H这些监控技术外，4K高清、H.265等相关应用的粉墨登场，给安防行业带来了一股新风。H.265标准自2013年被确认，到现在各大企业发布H.265产品，发展势头日益强劲，究其原因，与现有视频压缩标准H.264无法满足呈现“高清化”发展的需求关系很大，无论现有标准如何闪转腾挪、采用何种优化算法，面对高清视频码流几何倍数增加的现实需求，都显得穷途陌路了，视频编码需要更高效的标准来适应这种视频发展的变化。

H.265标准即高效视频编码（High Efficiency Video Coding）标准，其编码架构与H.264的架构相似，主要包含：帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。

2 安防监控技术领域对编码标准的要求

随着高清化在安防监控中的逐渐普及，720P、1080P等高清晰度视频应用随处可见，甚至很多安防监控厂商已经提出了4K、8K高清视频的解决方案，高清晰度视频内容必然带来传输带宽的高要求。同时，高清晰度视频其编码后的视频数据庞大，对存储的要求大大增加，因此编码过程中压缩比的大幅提高成为新标准的基本需求。

相对于标清，高清视频的像素高，信息量大，图像细节描述更详尽，因此，解码时，尽可能迅速地还原出高清图像的高画质成为解码的关键因素。举个例子，D1标清视频的解码对于H.264标准而言，其实现所需要的硬件资源相对较少，8路D1码流同时解码显示，对普通服务器来说运算量不大，但如果是1080P高清视频码流，普通服务器只能勉强解码显示1路。在大型视频监控平台上，如果高清视频有多路需要同时解码显示，服务器的计算速度、运算量会非常大，因此，下一代视频编解码标准在解码能力上亟待优化。

随着3G/4G无线通信技术的迅猛发展，视频流媒体业务在全球范围内得到普及、发展，安防监控对流媒体业务的需求同样迅速增加。在各种业务类型中，P2P或分布式应用较广泛，监控视频由于其直观性的特点，被各用户终端所钟爱，在不同网络环境下，有不同的需求种类，如局域网中，网络带宽较好，用户对视频质量要求高；而通过手机终端来监控时，由于带宽的限制，视频流畅性被放在首位；因此，下一代编码技术在安防领域的应用，需要有更好的网络适应性和差错健壮性。

3 H.265编码标准的关键技术

新一代视频编码标准HEVC（H.265）仍然属于预测加变换的混合编码框架，但与上一代H.264标准相比，新标准有了革命性的改进，主要体现如下：

（1）编码结构：H.265中，宏块的大小有4x4、8x8、16x16、32x32、64×64等多种，针对图像的细节特点，可以采取不同宏块大小的划分方式，因此，高分辨率的视频内容可压缩空间就更大。同时，相互独立的灵活的编码结构促进了编码效率的提高，编码结构包括编码单元（Coding Unit）、预测单元（Predict Unit）和变换单元（Transform Unit）。如图1所示：

编码单元相当于H.264/AVC中的宏块，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元分开处理，使得变换、预测和编码等处理环节更加灵活，也有利于各个环节划分更加符合视频图像的纹理特征，促进各单元实现各自功能更灵活优化。

（2）RQT（Residual Quad-tree Transform）：RQT是一种自适应变换技术，是对H.264/AVC中ABT（Adaptive Block-size Transform）技术的延伸和扩展。该技术在帧间编码过程中，可实现根据运动补偿块大小的不同，对变换块的大小自适应调整；在帧内编码过程中，可实现根据帧内预测残差特性的不同，对变换块的大小自适应调整。大块变换与小块变换相比较，优势是能够提供更好的能量集中效果，并且在量化后保留更多的图像细节，劣势是，量化后会产生更多的振铃效应。因此，比较将要处理的变换块的特征，自适应地选择变换块大小，如图2所示， 在能量集中、细节保留程度以及图像的振铃效应三个因素中选择折中的效果。

（3）MVP：即运动矢量预测方式；H.265标准增加了侦内预测方向，将预测块的集合由空间域扩展到时间域和空间域两个方向，依据域失真准则进行计算，选择最佳的预测块。使用该方法，可得到平均6.1%的压缩增益，复杂图像的压缩增益甚至能提高到20%。

（4）采样点自适应偏移（Sample Adaptive Offset）：SAO采取的方法是对重建图像进行分类，在分类后的图像像素值中加减偏移量，保证了图像的差异性，减少了失真，提高压缩率，减少码流。

采用SAO后，平均可减少2%～6%的码流，而编解码器性能消耗仅增加了约2%。

（5）并行化设计：芯片架构基本以多核并行为主，H.265引入了Tile、Entropyslice、WPP（WavefrontParallelProcessing）等并行运算思路，使用并行度更高的编码算法，更有利于H.265在多核CPU中高效快速运行。

此外，H.265中还采用了多描述编码、1/8像素插值编码、自适应环路滤波等技术，保证了H.265标准在压缩效率、并行处理能力和网络适应性方面得到极大提升。

4 H.265标准在安防行业的应用

H.265标准继承了H.264标准的一些成功应用技术，并兼容H.264，从 H.264标准在视频应用领域整合了广电、电信、互联网、安防等行业来看， H.265标准未来发展前景一片大好。安防领域高清化是一种趋势，4k高清、超高清等必将成为标准配置，当然，H.265的优势远不止4K高清监控这么简单，举个例子，在平安城市中炙手可热的1080p全高清布控，H.264标准下1080p需要4M以上的码率来保证图像质量，若采用H.265视频压缩标准，则1080p仅需1～2M左右码流。

面对安防监控大蛋糕，国内安防厂商积极参与和推动了H.265视频标准和应用的发展，芯片厂商已经推出了H.265编码算法的SOC，各种应用方案也层出不穷；H.265的产品应用方面，目前国内安防厂家基本都具备了产品化的研发实力，包括以海康威视等企业为代表的厂家都相继推出了支持H.265的产品，可以想象，在可预见的未来，H.265标准必将引领安防技术的主流。

参考文献：

[1]High Efficiency Video Coding

http：//en.wikipedia.org/wiki/High_Efficiency_Video_Coding.

[2]Comparison of the Coding Efficiency of Video Coding Standards — Including High Efficiency Video Coding （HEVC）， Jens-Rainer Ohm， Gary J. Sullivan， etc. IEEE Trans. VOL.22， NO.12， December 2012.

[3]蔡晓霞，崔岩松，邓中亮，常志峰.下一代视频编码标准H.265关键技术[J].北京邮电大学电子工程学院，2012.

摘 要：H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。新标准在编码质量、码流、延时处理以及算法复杂度等方面提出了改进方法，达到最优化设置。本文结合安防实际应用，介绍了新标准在提高压缩效率、提高错误恢复能力、减少时延、减少信道获取时间和随机接入时延、降低复杂度等方面采取的相关技术方法。

关键词：H.265；码流宏块编码

1 综述

社会公共安全产品博览会北京展会刚刚结束，本次展会上，除了较常见的AHD、CVI、TVI、SDI、960H这些监控技术外，4K高清、H.265等相关应用的粉墨登场，给安防行业带来了一股新风。H.265标准自2013年被确认，到现在各大企业发布H.265产品，发展势头日益强劲，究其原因，与现有视频压缩标准H.264无法满足呈现“高清化”发展的需求关系很大，无论现有标准如何闪转腾挪、采用何种优化算法，面对高清视频码流几何倍数增加的现实需求，都显得穷途陌路了，视频编码需要更高效的标准来适应这种视频发展的变化。

H.265标准即高效视频编码（High Efficiency Video Coding）标准，其编码架构与H.264的架构相似，主要包含：帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。

2 安防监控技术领域对编码标准的要求

随着高清化在安防监控中的逐渐普及，720P、1080P等高清晰度视频应用随处可见，甚至很多安防监控厂商已经提出了4K、8K高清视频的解决方案，高清晰度视频内容必然带来传输带宽的高要求。同时，高清晰度视频其编码后的视频数据庞大，对存储的要求大大增加，因此编码过程中压缩比的大幅提高成为新标准的基本需求。

相对于标清，高清视频的像素高，信息量大，图像细节描述更详尽，因此，解码时，尽可能迅速地还原出高清图像的高画质成为解码的关键因素。举个例子，D1标清视频的解码对于H.264标准而言，其实现所需要的硬件资源相对较少，8路D1码流同时解码显示，对普通服务器来说运算量不大，但如果是1080P高清视频码流，普通服务器只能勉强解码显示1路。在大型视频监控平台上，如果高清视频有多路需要同时解码显示，服务器的计算速度、运算量会非常大，因此，下一代视频编解码标准在解码能力上亟待优化。

随着3G/4G无线通信技术的迅猛发展，视频流媒体业务在全球范围内得到普及、发展，安防监控对流媒体业务的需求同样迅速增加。在各种业务类型中，P2P或分布式应用较广泛，监控视频由于其直观性的特点，被各用户终端所钟爱，在不同网络环境下，有不同的需求种类，如局域网中，网络带宽较好，用户对视频质量要求高；而通过手机终端来监控时，由于带宽的限制，视频流畅性被放在首位；因此，下一代编码技术在安防领域的应用，需要有更好的网络适应性和差错健壮性。

3 H.265编码标准的关键技术

新一代视频编码标准HEVC（H.265）仍然属于预测加变换的混合编码框架，但与上一代H.264标准相比，新标准有了革命性的改进，主要体现如下：

（1）编码结构：H.265中，宏块的大小有4x4、8x8、16x16、32x32、64×64等多种，针对图像的细节特点，可以采取不同宏块大小的划分方式，因此，高分辨率的视频内容可压缩空间就更大。同时，相互独立的灵活的编码结构促进了编码效率的提高，编码结构包括编码单元（Coding Unit）、预测单元（Predict Unit）和变换单元（Transform Unit）。如图1所示：

编码单元相当于H.264/AVC中的宏块，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元分开处理，使得变换、预测和编码等处理环节更加灵活，也有利于各个环节划分更加符合视频图像的纹理特征，促进各单元实现各自功能更灵活优化。

（2）RQT（Residual Quad-tree Transform）：RQT是一种自适应变换技术，是对H.264/AVC中ABT（Adaptive Block-size Transform）技术的延伸和扩展。该技术在帧间编码过程中，可实现根据运动补偿块大小的不同，对变换块的大小自适应调整；在帧内编码过程中，可实现根据帧内预测残差特性的不同，对变换块的大小自适应调整。大块变换与小块变换相比较，优势是能够提供更好的能量集中效果，并且在量化后保留更多的图像细节，劣势是，量化后会产生更多的振铃效应。因此，比较将要处理的变换块的特征，自适应地选择变换块大小，如图2所示， 在能量集中、细节保留程度以及图像的振铃效应三个因素中选择折中的效果。

（3）MVP：即运动矢量预测方式；H.265标准增加了侦内预测方向，将预测块的集合由空间域扩展到时间域和空间域两个方向，依据域失真准则进行计算，选择最佳的预测块。使用该方法，可得到平均6.1%的压缩增益，复杂图像的压缩增益甚至能提高到20%。

（4）采样点自适应偏移（Sample Adaptive Offset）：SAO采取的方法是对重建图像进行分类，在分类后的图像像素值中加减偏移量，保证了图像的差异性，减少了失真，提高压缩率，减少码流。

采用SAO后，平均可减少2%～6%的码流，而编解码器性能消耗仅增加了约2%。

（5）并行化设计：芯片架构基本以多核并行为主，H.265引入了Tile、Entropyslice、WPP（WavefrontParallelProcessing）等并行运算思路，使用并行度更高的编码算法，更有利于H.265在多核CPU中高效快速运行。

此外，H.265中还采用了多描述编码、1/8像素插值编码、自适应环路滤波等技术，保证了H.265标准在压缩效率、并行处理能力和网络适应性方面得到极大提升。

4 H.265标准在安防行业的应用

H.265标准继承了H.264标准的一些成功应用技术，并兼容H.264，从 H.264标准在视频应用领域整合了广电、电信、互联网、安防等行业来看， H.265标准未来发展前景一片大好。安防领域高清化是一种趋势，4k高清、超高清等必将成为标准配置，当然，H.265的优势远不止4K高清监控这么简单，举个例子，在平安城市中炙手可热的1080p全高清布控，H.264标准下1080p需要4M以上的码率来保证图像质量，若采用H.265视频压缩标准，则1080p仅需1～2M左右码流。

面对安防监控大蛋糕，国内安防厂商积极参与和推动了H.265视频标准和应用的发展，芯片厂商已经推出了H.265编码算法的SOC，各种应用方案也层出不穷；H.265的产品应用方面，目前国内安防厂家基本都具备了产品化的研发实力，包括以海康威视等企业为代表的厂家都相继推出了支持H.265的产品，可以想象，在可预见的未来，H.265标准必将引领安防技术的主流。

参考文献：

[1]High Efficiency Video Coding

http：//en.wikipedia.org/wiki/High_Efficiency_Video_Coding.

[2]Comparison of the Coding Efficiency of Video Coding Standards — Including High Efficiency Video Coding （HEVC）， Jens-Rainer Ohm， Gary J. Sullivan， etc. IEEE Trans. VOL.22， NO.12， December 2012.

[3]蔡晓霞，崔岩松，邓中亮，常志峰.下一代视频编码标准H.265关键技术[J].北京邮电大学电子工程学院，2012.