结合视觉感知的对象基嵌入式图像编码中的码率控制方法

李动节，朱仲杰，王玉儿

（1. 浙江万里学院 宁波市DSP重点实验室，浙江 宁波 315100；2. 郑州大学 物理工程学院，河南 郑州 450001）

1 引言

嵌入式编码能够实现一次压缩，而解压重建出多幅不同质量和分辨率要求的图像，近年来受到广泛关注，是当前图像编码领域的一个研究热点。其中，EBCOT算法是最新的一种基于小波变换的嵌入式图像编码方法[1,2]。它具有较高的压缩效率并支持 SNR可伸缩性和分辨率可伸缩性编码。EBCOT算法一般包括2个阶段：T1编码和T2编码。 在T1阶段，主要完成小波变换、位平面建模和自适应二进制算术编码。在T2阶段，根据给定码率基于率失真优化理论对压缩码流进行优化截取和重新组装以得到最终压缩码流。但传统EBCOT算法是以码块为基本编码单元，对图像内所有码块采用相同的编码策略，没有考虑图像中不同对象的视觉感知特性。然而，一般来说，图像中不同对象对人眼的视觉重要性是不相同的，在实际应用中，观察者常常只对图像的某些或某类对象感兴趣。例如，在医学研究中，医生只对病理特征对象感兴趣；在遥感图像分析中，观察者只对特定目标感兴趣等。因此，在图像编码中，如果考虑人的视觉感知特性，将图像分割成具有不同视觉兴趣的对象，以视觉对象为编码单元，对不同视觉对象采用不同的编码策略进行独立编码，就可以提高编码后重构图像的主观视觉感效果。

同时，在实际应用中，由于受存储空间和传输带宽的限制，往往要在给定码率下对图像进行编码和传输。因此，码率控制是图像编码中的一个关键问题。传统 EBCOT算法采用压缩后率失真优化（PCRD）算法对T1编码后的码流进行优化截取和重装[3,4]。但PCRD算法存储量和计算量比较大，系统实时性差。因此，许多学者针对这方面进行研究，提出了一些改进方法，主要包括：基于率失真斜率模型的算法[5]、基于预测的实时截断算法[6,7]、基于动态调整的控制算法[8,9]等。这些算法在减少编码计算量和存储量方面有一定的贡献，但它们仍然是基于块基的码率控制算法，没有考虑人的视觉感知特性和图像重要对象的优先编码和传输问题，不能应用于对象基的编码算法。

本文在分析EBCOT算法的特点和人眼视觉特性的基础上，提出一种面向对象基嵌入式编码的码率控制算法。算法首先基于平均熵理论估计各视觉对象的重要性并确定编码优先级，依据优先级对视觉对象进行编码，得到各自独立的码流。最后，以小波子带为码率控制单元，在给定码率下以对对象码流进行优化截取和重装。实验结果表明，所提算法可以对不同重要对象进行差异化编码和传输，与基于PCRD算法的码率控制方法相比，新算法能提高重构图像的整体视觉效果。

2 对象基嵌入式图像编码

本文首先提出了对象基嵌入式图像编码方案（EOCOT）。该方案将图像分割成具有不同视觉兴趣的对象，对不同视觉对象进行独立编码，生成各自独立的码流。EOCOT算法系统框架如图1所示。算法首先将原图像分割为不同的视觉对象Oi(i= 1,2,3,…,n)，然后对图像进行 DC变换和三级离散小波变换（DWT），得到各视觉对象在各子带内的小波系数分布。接下来以每个视觉对象为基本编码单元，按照分辨率由低到高的顺序依次对各子带内所有视觉对象进行独立位平面建模和二进制算术编码，得到各个对象的嵌入式码流。最后根据给定码率、对象优先级等参数指标对所有对象压缩码流进行优化截取和重新组装，得到给定码率下的最终压缩码流。

3 结合视觉感知的对象基码率控制新算法

在实际应用中，由于受存储空间和传输带宽的限制，往往要在给定码率下对图像进行编码和传输。因此，码率控制是图像编码中的一个关键问题。本文基于EOCOT算法的特点，结合人眼视觉感知特性，提出一种新的嵌入式码率控制算法。算法基于平均熵理论估计各视觉对象的重要性和编码优先级，依据优先级对视觉对象进行编码和码率控制，实现重要对象的优先编码和传输，从而提高重建图像的质量。算法的具体流程如图2所示。整个算法可以分为预处理、子带目标码率分配、熵编码和率失真优化截取4个主要步骤。对每个主要步骤简介如下。

图1 EOCOT系统

1) 预处理

在预处理阶段，首先将图像分割成不同的视觉对象Oi(i= 1 ,2,3,… ,n)。本文使用语义对象分割算法进行分割[10]。然后，基于平均熵理论对视觉对象进行平均熵估计以确定其编码优先级。

图2 码率控制算法流程

视觉生理学和视觉心理学的研究成果显示，图像编码中的主要人眼视觉特性包括[11]：人眼对图像平滑区信息的失真比较敏感；人眼对图像边缘区信息的失真很敏感；人眼对图像纹理区信息的失真不敏感。而图像的平滑区、边缘区、纹理区的敏感程度与其信息熵紧密相关。因此，各视觉对象的重要性可以通过分析其信息熵来确定。理论上，信息熵可以根据香农定理进行精确计算，但计算量大。在实际中通常采用近似方法进行熵估计，比较实用的熵估计方法有2种[12]：一种是基于预测模板的熵估计法，一种是基于边缘检测的熵估计法。前者是在图像域加一个预测模板，对像素预测值与原值进行差值，然后用累加的差值表示图像的熵值大小，该方法运算量小，适合实时操作。后者是在边缘检测的基础上进行熵估计，检测出的边缘越丰富，其图像熵就越大。该方法运算量也很大，不宜实时操作。所以本文采用第一种方法，预测公式为

其中，xm,n为图像域内点[m,n]处的像素值，为点[m+ 1 ,n+ 1 ]处的预测像素值。如果预测的像素为图像的第一行或第一列，预测值为前一个像素点的值。此时，对象的平均熵为

其中，M为对象iO包含的像素点数。整个图像的平均熵为

令iOP表示对象iO的优先级，由式(4)给出：

2) 子带目标码率分配

为了给子带分配目标码率，首先计算小波子带重要性权值 []W j：

其中，j为子带标号，N为图像所有像素点集合，xm,n为点[m,n]的像素值。然后，基于图像总目标码率Rtarget，预分配当前子带的目标码率：

3) 熵编码

对子带分配目标码率后，对子带内的视觉对象按照优先级依次进行位平面建模和二进制算术编码，并确定候选截取点集合。对每个视觉对象，按照从最高位平面到最低位平面的顺序进行位平面建模。在每个位平面内依次按照重要性传播通道、幅值细化通道和清除通道的顺序进行扫描编码。为减少对非编码对象区域零位的编码，只对编码对象的位置信息掩模图内的系数进行扫描编码。在进行通道编码时，每编码一个系数，查失真估计表得到该位的编码失真增量[13]，累加通道内的所有系数的失真增量得到该通道失真增量。

位平面建模后只是得到每个小波系数比特的上下文和二进制比特符号，并没有实现压缩。要实现压缩必须对二进制符号及其上下文进行进一步的熵编码。本文以对象通道为单位进行算术编码。完成一个对象的所有通道编码后，采用只剔除当前奇异点的方法确定候选截取点集合[14]，同时存储率失真斜率。

4) 率失真优化截取

设子带j内对象Oi在T1编码产生的内嵌比特流的码率截止到,ni是某个截取点，则子带j内总的码率为

设对象Oi的系数在恢复图像中产生的失真为，同时假设对象小波系数的失真测度是加性的，即

其中，Dj为子带j的失真大小。通常失真可以用加权均方差（MSE）进行计算：

其中，[m,n]为重建的视觉对象的系数值，为子带j的加权系数。

其中，λ为拉格朗日乘子。率失真优化截取的关键是寻找一个合适的λ使得式（10）最小，并满足本文采用二分法寻找最佳斜率门限子带内所有对象的率失真斜率不小于的编码通道码字被包含进最终码流，而其余编码通道的码字则被丢弃。完成一个子带编码和最终码流截取后，以子带为单位存储对象最优截断码流。然后，进行下一个未编码子带的编码和优化截取，直到完成整幅图像所有子带的编码。最终码流按子带分辨率从低频到高频，按优先级由高到低对对象码流依次存储。最低分辨率子带码流出现在结果码流的起始部分。在子带内，视觉对象的码流按优先级大小排序，最高优先级的对象码流出现在子带码流的起始部分。

4 实验结果

为验证本文算法的可行性和有效性，基于VC6.0软件平台，进行了仿真测试，并与PCRD算法结果进行对比分析。测试图像从 Google图像库中随机搜索得到，离散小波变换采用三级双正交9/7小波。实验中重点分析不同码率下图像的重构质量，采用信噪比增量指标，定义如下：其中， 1psnr为PCRD算法下重构图像的峰值信噪比， 2psnr为本文算法重构图像的峰值信噪比。

图3 图像Cell在不同压缩比下PCRD算法重构图像

图4 图像Cell在不同压缩比下用本文算法重构图像

图5 PCRD算法下Flower中重要视觉对象在不同压缩比下的编码重建结果

图6 本文算法下Flower中重要视觉对象在不同压缩比下的编码重建结果

表1 部分测试图像的重建图像质量对比实验结果

表2 部分重要视觉对象重构图像质量对比结果

5 结束语

在分析研究现有块基嵌入式编码码率算法的基础上，结合人眼视觉感知特性，提出一种面向对象基嵌入式编码的码率控制算法。算法以视觉对象为基本编解码单元，可以根据视觉重要性对不同重要的视觉对象进行差异化编码，可以优先编码和传输重要视觉对象。算法可以在给定码率下对图像进行精确地码率控制，与传统的 PCRD码率控制算法相比，新算法能提高重构图像的整体视觉效果。

[1] ZHU W W, LIU L Z. Optimization of the EBCOT algorithm in JPEG 2000[J]. Computer Applications, 2008, 28(6):210-212.

[2] TAUBMAN D. High performance scalable image compression with EBCOT[J]. IEEE Transactions on Image Processing, 2000, 9(7):1158-1170.

[3] HSIN H C, SUNG T Y. A simple rate distortion estimation for embedded block coding[A]. Proceedings of the 9th WSEAS International Conference on Multimedia Systems & Signal Processing[C]. Wisconsin, USA, 2009.43-48.

[4] TAUBMAN D, MARCELLIN M. JPEG 2000:Image Compression Fundamentals, Standards and Practice[M]. Massachusetts, USA: Kluwer Academic Publishers, 2002.

[5] VIKRAM K N, VASUDEAVN V, SRINIVASAN S. Rate-distortion estimation for fast JPEG 2000 compression at low bit-rates[J]. Electronics Letters, 2005, 41(1):16-18.

[6] AMINGOU A, FATEMI O. A novel efficient rate control algorithm for hardware implementation in JPEG 2000[A]. Proceedings of the International Conference on Acoustics Speech and Signal Processing[C].Philadelphia, PA, USA, 2005.21-24.

[7] 徐勇, 徐智勇, 赵汝进等. JPEG 2000的一种编码前码率分配算法[J].光电工程, 2008, 35(10):81-85.XU Y, XU Z Y, ZHAO R J,et al. Pre-coding RDO rate allocation algorithm for JPEG 2000[J]. Opto-Electronic Engineering, 2008, 35(10):81-85.

[8] 郑启枣,刘鹏. 基于线性预测的动态阈值 JPEG 2000 码率控制算法[J]. 浙江大学学报(工学版), 2008, 42(8):1335-1339.ZHENG Q Z, LIU P. Dynamic threshold JPEG 2000 rate control algorithm based on linear prediction[J]. Journal of Zhejiang University(Engineering Science), 2008, 42(8):1335-1339.

[9] YEUN G Y M, AUO C. Efficient rate control for JPEG 2000 image coding[J]. IEEE Transactions on Circuits and System, Video Technology, 2005, 15(3):335-344.

[10] ZHU Z J, WANG Y E, JIANG G Y. Statistical image modeling for semantic segmentation [J]. IEEE Trans on Consumer Electronics，2010, 56(2): 777-782.

[11] 王向阳, 杨红颖. 基于人眼视觉特性的快速图像编码算法[J]. 软件学报, 2003, 14(11):1964-1970.WANG X Y, YANG H Y. A fast image coding algorithm based on human visual system[J]. Journal of Software, 2003, 14(11):1964-1970.

[12] 孔繁锵, 李云松, 王柯俨等. 基于码率预分配的JPEG 2000自适应率控制算法[J]. 电子与信息学报, 2009, 31(1): 66-70.KONG F Q, LI Y S, WANG K Y,et al. An adaptive rate control algorithm for JPEG 2000 based on rate pre-allocation[J]. Journal of Electronics & Information Technology, 2009, 31(1): 66-70.

[13] 易爱清. JPEG 2000中码率控制算法研究及硬件实现[D]. 西安: 西安理工大学, 2008.YI A Q. Research on Rrate-Control Algorithm and Hardware Realization for JPEG 2000[D]. Xi’an: Xi’an University of Technology , 2008.

[14] 王菊花. JPEG 2000中MQ算术编译码器的研究[J].空间电子技术,2003, 1:27-38.WANG J H. Research on MQ arithmetic encoder and decoder for JPEG 2000[J]. Space Electronic Technology, 2003, 1:27-38.