面向数字驱动近眼显示器的位平面压缩技术

季 渊， 宋远胜， 陈远生， 陈文栋， 穆廷洲

(上海大学 微电子研究与开发中心，上海 200444)

1 引 言

近眼显示设备主要由微显示器、传感器和控制电路构成。有机发光二极管( Organic Light Emitting Diode，OLED) 微显示器功耗低，工作温度范围宽，对比度高，响应速度快，受到越来越高的重视。OLED微显示器有数字和模拟两种驱动方式，数字驱动方式通过改变亮暗时间长度来产生灰度，其产生的图像噪声低、画面质量高、灰度等级高、色彩丰富，因此在近眼显示领域中更受青睐。为进一步提升用户体验，近眼显示设备要求微显示器应具备更高的分辨率和刷新率[1]，同时整个设备应尽量小型化，轻量化，便于佩戴。高分辨率和高刷新率意味着海量的数据将被传输和存储[2]，单纯硬件加速的方式已经越来越难以满足应用需求。消除冗余，对视频数据进行编码压缩以提升传输和存储效率的方法被广泛采用[3-4]。然而，传统的视频编码方式在实际应用于数字驱动微显示器的过程中，接收端需要将一帧视频数据全部解码存储，然后按比特位拆分后才能进行扫描显示。这极大地消耗了存储空间，同时增加了接收端硬件复杂度和面积开销，与近眼显示设备小型化、轻量化的需求相矛盾。

针对这一问题，结合数字驱动微显示器子场扫描法按位平面子空间扫描显示的特点[5-6]，本文采用位平面压缩方式设计数字驱动微显示器控制器。在编码前对图像数据按比特位拆分，将拆分后的位平面数据进行编码传输。接收端只需解码对应位平面子空间数据存储用于扫描显示，即基于位平面的视频压缩方案更符合数字驱动微显示器的工作方式，接收端存储面积开销可大幅削减。本文建立了恰可察失真(Just Noticeable Difference, JND ) 阈值到位平面的映射关系，并将其应用于位平面运动估计的匹配过程，在符合人类视觉系统(Human Visual System, HVS)的基础上提升压缩效率。考虑到近眼显示设备超高刷新率的特点，使运动估计的搜索范围根据刷新率自适应，简化了菱形搜索法，提高了编码效率。最后，将各个位平面频率差异和人眼临界频率相结合，设定匹配阈值进一步消除冗余。本文使用现场可编程门阵列(Field Programmable Gate Array, FPGA)搭建系统，验证了方案的可行性和有效性。该方案可为数字驱动近眼显示器编解码模块的设计起到一定参考作用。

2 位平面运动估计

运动估计[7]可有效消除冗余，因此被广泛应用于视频压缩算法中。本文将运动估计运用于位平面压缩，针对近眼显示设备的特点，对运动估计的匹配准则、搜索范围和残差部分做出改进。

2.1 匹配准则

人类视觉系统对于图像的感知是非均匀和非线性的,不被察觉的图像信息即是视觉冗余。消除视觉冗余需要对HVS进行研究，研究者们使用JND模型来模拟HVS的主要特性，最终得到人眼的最低视觉门限阈值。当变化值低于阈值时，人眼将无法觉察出该变化。由于JND模型能较为准确地估计视觉冗余，因此该模型被广泛应用到许多感知图像/视频处理系统中，如图像或视频压缩、感知质量评价、水印、超分辨率等方面[8-11]。

JND模型最后得出的是人眼不可察觉的失真阈值，而在基于位平面的编码过程中，需要的是人眼不可察觉的位平面阈值。因此，本文将阈值一一映射到位平面中，建立了JND模型到位平面的映射关系，如图1所示。

图1 JND阈值到位平面的映射Fig.1 JND threshold to bit plane mapping

图2展示了JND阈值拆分成位平面阈值矩阵的过程。4×4的方阵存储着16个像素点的JND阈值，首先根据所建立的映射关系，求出在人眼不可察觉的情况下最大可改变的位平面的范围，然后建立各个位平面JND阈值矩阵。矩阵元素为“1”，表示可改变该位平面的值，人眼不能察觉。矩阵元素为“0”，表示不可改变该位置的值。最后，得出的位平面JND阈值用于位平面运动估计的匹配准则，如公式(1)所示，S为匹配点数，A为待匹配块，B为匹配块，C为待匹配块对应的位平面JND阈值矩阵。

(1)

图2 JND阈值矩阵拆分成子矩阵Fig.2 JND threshold matrix split into sub-matrices

2.2 搜索范围

在近眼显示应用领域，微显示器的刷新率和分辨率越来越高。在高刷新率的显示器中依然采用传统的菱形搜索法[12]会使搜索范围过大，造成编码冗余。如图3所示，当刷新率为30 Hz时，圆S在相邻两帧移动距离为l。当刷新率为60 Hz时，圆S在相邻两帧的移动距离为1/2l。当刷新率为90 Hz时，圆S在相邻两帧的移动距离为1/3l。当刷新率为120 Hz时，圆S在相邻两帧的移动距离仅为1/4l。

图3 不同刷新率下物体运动的距离Fig.3 Moving distance of the object at different refresh rates

随着刷新率的成倍提高，物体在相邻两帧的移动范围成倍缩小。为消除眩晕感，近眼显示应用刷新率一般可达120 Hz[13]，所以搜索范围较传统搜索范围可按比例缩小1/4。这时如果还采用多步搜索，并不会显著提升匹配成功率，反而会造成编码冗余。因此，本文根据刷新率自适应搜索范围，对刷新率高达120 Hz及以上的情况，对菱形搜索法搜索范围内的各个矩阵块直接编码以节约码字，提升编码效率。

2.3 匹配阈值

发送端运动估计得出运动矢量和残差值之后，接收端会以此进行运动补偿。并不是所有的残差值都需要传输，残差值中同样存在冗余。本文设定匹配阈值以表征冗余度，在阈值内的残差并不传输，超出阈值的残差熵编码后发送给接收端。

图4 Spiderman位平面频谱图Fig.4 Spiderman bit-plane spectrogram

图4为Spiderman各个位平面频谱图。可以看出，图片的高位平面总是富含图像轮廓等低频信息，低位平面则以图像细节和噪声等高频信息为主。文献[1]介绍了人眼临界频率与偏心率的关系，如图5所示。视点中心处人眼的临界频率最大，随着偏心率的增加，人眼临界频率向两边急剧衰减。即非视点区域的高频信息，人眼难以察觉[14]。

图5 人眼临界频率与偏心率的关系Fig.5 Relationship between critical frequency of human eye and eccentricity

有鉴于此，以图像细节和噪声等高频信息为主的低位平面，随着偏心率的增加，匹配阈值应适当降低。即在利用公式(1)进行匹配的过程中，视点中心各个矩阵宏块的残差值都应发送给接收端。随着偏心率的增加，匹配点数小于匹配阈值的残差值发送给接收端，大于匹配阈值的匹配点数不需发送给接收端。图6为本文建立的位平面匹配阈值与偏心率的关系。

图6 位平面匹配阈值与偏心率的关系Fig.6 Relationship between the matching threshold of bit-plane and the eccentricity

3 硬件实现

基于提出的位平面压缩方案，本文以FPGA为核心进行了各个模块的IP核设计，控制器主要由帧缓存、运动估计、编码、解码和显示5部分构成，采用流水线设计，如图7所示。

图7 基于位平面编码的数字驱动微显示器控制器设计Fig.7 Design of digital drive microdisplay controller based on bit-plane coding

帧缓存模块主要准备好当前帧、参考帧，由JND模型计算的当前帧的各个像素点的JND阈值数据。JND模型的计算包含大量的卷积和乘除法，对于结果取值范围有限的计算，可将结果存储为查找表。不适于存储于查找表的，可采用线性拟合的方式进行计算。本文则是预先用软件方式算出JND阈值数据存储在RAM中以供使用。

图8 硬件测试平台Fig.8 Hardware test platform

运动估计的过程采用搜索范围内所有匹配块并行匹配的方式以满足时序要求，3个模块同时计算并得出结果，由编码模块判断选取对应匹配方式的结果编码后进行发送。接收端根据扫描显示的时序要求，依次取出对应的码字逐块还原位平面的数据，接收端存有用于熵编码解码的查找表。扫描显示模块采用子场扫描法。图8展示了本文使用的硬件测试平台。

4 实验结果分析

4.1 图像质量评价

本文使用Matlab对所提出的位平面压缩方案进行软件实现，以方便实验数据统计。图9为6张解码后的视频图像与原图像的对比图，左边为该帧原图，右边为解码后的图像。根据人眼主观质量评价，解码后的图片与原图并无明显差异。

图9 图像质量对比，左边为原图，右边为解码后的图像。Fig.9 Image quality comparison, the left is the original image, the right is the decoded image.

为进一步验证所提方法的图像质量，本文使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度(Structural Similarity， SSIM)进行客观质量评价。平均PSNR经大量实验统计结果为22.810 3 dB，部分统计数据如图10所示。PSNR值较低说明所提算法对视频帧的实际改动较大，解码后的图像与原图像在客观数值方面有着明显差异。然而，JND模型能有效提升图片在人眼观察下的噪声容限，因此PSNR并不能准确衡量人眼条件下的客观图像质量[15]。

SSIM是基于结构相似度的客观图像质量评价方法[16]，通过计算图像亮度，对比度和结构的相似性来度量图像质量的好坏，SSIM值越接近1，则图像的质量就越好。通过统计计算，本文提出的算法解码后的图像与原图像平均SSIM值为0.946 6，反映出本文提出的算法解码后的图像质量较好，符合人眼的直观感受，如图11所示。

图10 PSNR值条形统计图Fig.10 PSNR bar graph

图11 SSIM值条形统计图Fig.11 SSIM bar graph

另一方面，PSNR和SSIM值的差异是引入JND模型后会出现的固有现象[15]，这也恰好反映所提算法JND模型到位平面的映射关系是正确有效的，所以才会使两种评价方式产生截然不同的结果，使固有现象得以复现。

4.2 压缩比

本文提出的编码方式，视频数据不同，压缩效率不同。因此，本文抽取8段视频片段对所提出算法统计压缩比，结果统计在图12中。由图可得，本文提出的算法平均压缩比为9.328 8，证明该算法可有效对视频数据进行压缩，缓解数据传输的压力。

图12 压缩比条形统计图Fig.12 Bar chart of compression ratio

5 结 论

本文根据数字驱动微显示器按位平面子空间扫描的特点，采用位平面压缩策略，提出了一种基于位平面运动估计的视频压缩方案。通过将JND阈值映射至位平面来指导位平面运动估计，有效提升了匹配成功率，进而提高了压缩效率。针对近眼显示设备的特点，改进了运动估计的搜索范围，使搜索范围根据刷新率自适应，进一步提高编码效率。最后，结合人眼临界频率和位平面的关系设定匹配阈值，在保证图像质量的前提下消除残差中的冗余。基于所提出的方案，设计了数字驱动微显示器控制器并搭建系统验证设计。实验结果表明，提出的算法解码后的图像质量较好，SSIM值为0.946 6，符合人眼的直观感受和近眼显示设备的实际要求。平均压缩比为9.328 8，能有效降低数据传输量和接收端硬件存储面积开销。基于位平面压缩的数字驱动微显示器控制器满足近眼显示设备对于高分辨率、高刷新率和设备轻量化的要求，对数字驱动近眼显示设备编解码模块设计有一定借鉴意义。