基于超像素的硅基OLED 微显示器数字驱动成像质量研究

季渊，陈鸿港，陈宝良，张引，许怡晴

（1 上海大学 微电子研究与开发中心，上海 200072）

（2 上海大学 机电工程与自动化学院，上海 200072）

0 引言

随着新型显示技术的发展和元宇宙概念的持续升温，近眼显示设备受到了越来越多的关注。以微显示器为基础的近眼显示设备，开始大量应用于虚拟现实（Virtual Reality，VR）和增强现实（Augmented Reality，AR）领域［1-2］。其中硅基有机发光二极管（Organic Light-emitting Diode，OLED）微显示器具有面积小、亮度高、响应速度快、色域广、分辨率高等优点［3］，被广泛应用到头戴式近眼显示设备。传统的硅基微显示器多采用模拟驱动方式［4］，通过控制电压大小调节像素灰度，但受到DAC 转化速度和精度的限制，难以满足高分辨率高刷新率的需求。数字驱动［5］方式采用脉冲宽度调制（Pulse Width Modulation， PWM）法，利用人眼的积分特性，通过改变像素亮暗时间，使人眼感知到不同的灰度级。数字驱动凭借切换速度快、稳定性高、噪声低等优点，得到广泛关注。

由于数字驱动型微显示器多采用寻址显示分离子场（Address and Display Separated，ADS）法［6］，发光子场在一帧时间内分布不连续，显示运动画面时，人眼能观察到明显的亮条纹，研究者们把这一现象称为动态假轮廓（Dynamic False Contour，DFC）。为了改善这一问题，周筱媛等提出集中式门控脉宽调制（Centralized Gated PWM，CGPWM）法［7］，通过将PWM 周期中的小数子场固定于周期的中间的方法降低DFC 现象，由于扫描方式没有改变，DFC 的优化效果有一定局限； HUANG J F 等提出的自适应非对称抖动区域法［8］，在DFC 严重的区域对显示灰度值进行非对称抖动，从而模糊化DFC 现象，但需要消耗大量的电路资源进行实时处理；SVILAINIS L 提出一种运动补偿法［9］，通过估算每帧图像各个像素的运动矢量，插值出符合人眼积分的灰度，由于受到运动估算的准确度和计算量的影响，此方案难以得到实际应用。同时高分辨率和高刷新率导致海量的数据输出，不仅需要消耗大量的电路资源，且对电路性能的要求极高。目前针对数字驱动的扫描方式有子场法［10］和原子扫描［11］等，但对高分辨率、高刷新率显示仍有很大负担。

本文将超像素技术与数字驱动相结合，对微显示器成像质量进行研究，并结合超像素技术设计一款微显示控制器，用以驱动分辨率为2 048×2 048 的全彩数字驱动型硅基OLED 微显示器，证明所提扫描方式的可行性。

1 超像素的数字驱动成像

分辨率和刷新率是衡量微显示器成像质量的直观参数，而随着分辨率和刷新率的提升，数据传输带宽急剧增加，给像素驱动电路造成极大负担。除此之外，显示运动画面时的DFC 现象严重影响人眼的观看体验。本文将超像素技术与数字驱动结合，建立超像素模型，对超像素扫描策略进行成像质量研究，同时通过分析DFC 产生机理，对超像素扫描方式下的动态显示进行DFC 评估。

1.1 超像素技术

超像素的建立是依靠两帧较低分辨率的图像显示过程中快速切换，当切换频率远超人眼能感知的临界闪烁频率时，由于两帧图像显示存在空间错位，人眼会把两帧较低分辨率的图像识别为一帧较高分辨率的图像。

应用于硅基OLED 微显示器的超像素结构如图1（a），超像素由四个子像素组成。两个超像素之间存在一个子像素的重叠（图1（b）），显示过程中分时被两个超像素所控制。图中黑色实线为Frame0，红色实线为Frame1，蓝色部分为被两个超像素共同驱动的子像素。图1（c）是一个由超像素组成的分辨率为3×3 的超像素显示结构图，把6×6 分辨率的子像素划分为3×3 分辨率的超像素，Frame0、Frame1 所需数据量仅为原来的25%。当采用超像素扫描策略显示时，受Frame0 和Frame1 共同驱动的影响，人眼感知超像素中子像素的显示信息各不相同，使得主观感知分辨率与子像素分辨率相同，而相对于传统扫描方式传输所需6×6分辨率的像素数据，超像素扫描策略可以降低50%的数据量。

图1 超像素的形成Fig.1 Formation of super pixel

相对于模拟驱动像素电路使用电容存储电荷，驱动流经OLED 的电流大小显示不同灰度级的方式，数字驱动采用SRAM 存储0、1 逻辑电平值，用以控制OLED 驱动管的开关时间。图2（a）为根据超像素特性所设计的单个超像素的像素驱动电路，M1～M6 组成一个SRAM 作为信号存储单元，并同时控制四个OLED的亮灭，图2（b）为其对应的版图。

图2（c）为分辨率为2×2 的数字驱动型超像素电路结构，S0 表示Frame0 的SRAM，S1 表示Frame1 的SRAM，其中深蓝色部分表示被S0 和S1 共同驱动的子像素。

1.2 基于人眼积分特性的超像素建模

超像素显示需要基于子像素的结构，将输入的图像分割成两子帧图像。当两子帧图像在微显示器上交替显示时，由于Frame0 和Frame1 在行列像素驱动电路上均存在一个子像素的空间偏移，人眼感知的图像不再是单一子帧的图像信息，而是经过两子帧融合后的图像。

对输入图像做超像素处理，流程如图3。首先把输入图像数据按超像素结构进行划分，然后从每个超像素中提取两个特征子像素值P0、P1 表征此超像素，其中P0 组成的图像称为偶帧，P1 组成的图像称为奇帧。由于超像素电路结构中Frame0 和Frame1 在主对角线方向存在一个子像素的偏移，考虑到P0、P1 在超像素中的相对位置关系，在选取过程中也基于这种电路结构，即P0 为偶行偶列像素数据，P1 为奇行奇列像素数据。由图3可知超像素的建立与原图像分辨率无关，因此超像素扫描策略可以适用于任何分辨率的图像显示。

图3 图像的超像素处理流程Fig3 Super pixel processing flow of image

从四个像素中抽取两个特征像素时，像素数据的丢失导致图像轮廓信息模糊。为提高抽取奇帧、偶帧的图像质量，需要对输入图像进行预处理，从而使图像边缘区域以及灰度发生重大跳变区域的像素数据在做特征像素抽取时能被很好地保留下来。

图4 为超像素模型，首先对原始图像进行预处理，像素数据经过平滑核卷积处理后抽取奇行奇列、偶行偶列分别组成两帧分辨率为原来四分之一的子图像，然后按照超像素的像素结构进行行列扩展，将一个像素数据扩展成四个子像素来代表一个超像素。最后根据人眼积分特性，对于奇帧、偶帧分时控制的像素灰度，人眼所观测到的灰度值是两子帧时间上的积分，可表示为式中，k表示在一个显示周期内子帧显示所占用的时间比例，Gray(i)表示偶帧像素的灰度值，Gray(j)表示奇帧的像素灰度值，Gray表示人眼实际观测到的像素灰度。根据实验测得，k等于0.5，即两子帧显示时间相同时，人眼识别的图像更接近原始图像。

图4 超像素模型Fig.4 Model of super pixel

1.3 超像素动态假轮廓

数字驱动型微显示器利用人眼的积分特性，通过PWM 控制屏幕的亮灭时间使人眼感受到不同的灰度级。当显示运动画面时，人眼在帧与帧切换时持续积分，感受到的不再是画面的实际亮度。以8 bit灰度级为例，每bit权值对应为128∶64∶32∶16∶8∶4∶2∶1。图5为数字驱动型微显示器DFC 形成原理，当显示静态图像时，人眼感受到的像素灰度级与显示灰度级一致；当显示动态图像时，人眼会对第二帧显示亮度持续积分，若第一帧灰度为127，第二帧灰度为128，人眼实际感受到的最高亮度远高于128级灰度，此时能够观测到明显的亮条纹。

气缸10的动作通过换向阀7来实现，调节速度控制阀8,9改变活塞的速度。压力传感器11,12采集气缸两腔的压力变化，气缸活塞的位移通过位移传感器13测量，各传感器的数据通过数据采集卡采集。

图5 DFC 形成原理Fig.5 Formation principle of DFC

DFC 是ADS 法扫描过程中子场权值代表的实际灰度在显示周期内分布不均匀引起的，子场权值代表的灰度级越高，产生的DFC 现象越严重。超像素扫描方式下，每子帧图像在显示器上显示的时间仅占灰度周期的二分之一，子帧图像的子场权值为实际灰度值的二分之一。图6 为基于超像素的人眼积分过程，以5bit 灰度级、四子帧显示为例，SF0～SF4 为每bit 对应的子场，图中黑色箭头为积分的结束点。人眼感知到的第一个灰度级为从子帧0 SF0 到子帧1 SF4 的积分，以此类推，感知到的最后一个灰度级为从子帧2 SF0到子帧3 SF4 的积分。

图6 人眼对子帧子场的积分过程Fig.6 The integration process of human eye to subframe subfield

由图6 可知，针对超像素的DFC 评估，需要对两子帧图像进行积分。结合动态积分法［12］可得

可进一步扩展为

式中，dmax、dmin分别为图6 所示的积分结果的最大值和最小值，i、j、k、z为第0 子帧到第3 子帧的灰度值表示第一帧的实际灰度级表示第二帧的实际灰度级。由于DFC 出现在灰度变化平滑的区域，以256级灰度为例，若两灰度级差距大于20 灰度级，人眼很难观察到DFC 现象，式（4）、（5）中i、j、k、z任意两灰度的灰度差小于20 灰度级。

考虑到人眼存在视觉阈值，即图像数据在一定范围内变化时人眼很难察觉，研究者把这个阈值称为恰可察觉失真（Just Noticeable Distortion，JND）［13］。在动态积分法的基础上，文献［14］结合JND 提出一种JND积分法来评估DFC 问题，其表达式为

式中，JNDth表示和两灰度间人眼不可察觉失真的阈值。

本文结合JND 积分法对超像素的DFC 进行评估，如式（7）所示，首先根据积分法计算出两灰度之间的Tmax和Tmin，再经过JND 模型计算出两灰度之间的JNDth，然后判断Tmax和Tmin是否超过JNDth。若超过，说明两灰度间产生的DFC 能够被人眼观测到，否则说明产生的DFC 干扰不影响实际观测体验。

2 微显示控制器

图7 控制器系统框图Fig.7 Block diagram of controller system

其主要包括超像素处理模块、数据缓存模块、数据处理模块、扫描控制模块以及IIC 寄存器。图8 为超像素处理模块框图，首先把输入的像素数据进行RGB 分离并存储到对应通道的行缓冲器；然后选择4×4 的平滑核对三个通道的数据做卷积处理，并把处理完的数据合并成24 bit 像素数据；最后把提取的奇帧、偶帧数据存入相应的行缓冲器中。数据缓存模块用于控制DDR3 缓存奇帧、偶帧数据。本文采用数字驱动型硅基OLED 微显示器作为实验对象，需要使用PWM 激励进行调制，数据处理模块把灰度数据转变成驱动微显示器的PWM 数据，根据数据传输位宽进行位平面拼接，并按照微显示器内部驱动电路逻辑输出相应的像素数据，最终与扫描控制模块生成的时序控制信号通过LVDS 接口同步传输到硅基OLED 微显示器。

图8 超像素处理模块框图Fig.8 Block diagram of super pixel processing module

图9为使用昀光微电子公司设计生产的FPGA 驱动板作为硬件验证平台，内置Xilinx Kintex-7 FPGA和DDR3。硬件系统主要包括输入视频源、微显示控制器和硅基OLED 微显示器三部分。视频源由计算机生成，通过HDMI 接口输入到FPGA，经过FPGA 内部的微显示控制器处理后，传输到分辨率为2 048×2 048 的全彩硅基OLED 微显示器，驱动屏幕显示视频图像。

图9 硬件测试平台Fig.9 Test platform of hardware

3 实验结果分析

3.1 图像质量分析

针对所提扫描策略，对经过超像素模型处理后的图像进行图像质量分析，图10（b）和（c）为显示所需的偶帧、奇帧图像，图10（d）为模拟人眼积分效果生成的超像素图像。从图10 中的细节对比可以看出，当一帧图像按照超像素的方式抽取两子帧分辨率为原图四分之一的图像，通过超像素扫描方式进行显示时，可以保留更多的图像细节，显示效果接近原始图像。

图10 超像素模型仿真图像Fig.10 Simulation image of super pixel model

为量化超像素图像与原图的差异，利用峰值信噪比PSNR 和结构相似度SSIM 对超像素模型生成的图像进行量化分析。PSNR 越大说明图像噪声越小，一般认为PSNR 大于30 dB 时表示图像质量良好。SSIM通过亮度、对比度和结构对两张图片进行比较，取值范围为0 到1 之间，值越大表示与原图相似度越高。

表1 为利用超像素模型对Kodak 标准影像库［15］部分图像数据集仿真对应的PSNR 和SSIM，其中超像素图像的平均PSNR 约为34.086 dB，平均SSIM 约为0.942。通过比较可以看出，超像素扫描策略人眼实际感知的图像质量与原图无明显差异，此扫描策略为进一步提高微显示器分辨率和刷新率提供了一种有效解决方案。

表1 超像素模型处理的图像的PSNR 以及SSIM 比较Table 1 The PSNR and SSIM comparison of image processed by super pixel model

3.2 不同扫描方式下DFC 结果对比

图11（a）～（c）分别为19 子场、CGPWM、超像素扫描方式下的DFC 仿真结果。从左到右依次为DFC 仿真图、JNDTmax在图像坐标系下的分布图及其统计直方图。其中JNDTmax数值越小表明人眼积分效应所感知到的图像越接近实际图像，即DFC 现象越不明显。由统计直方图可以看出，相比于19 子场和CGPWM 法，超像素扫描策略下JNDTmax的数值及出现频次上均有明显降低，人眼观测到的最大亮度与图像实际亮度的误差主要集中在3～8 灰度级。

图11 不同扫描方式下的DFCFig.11 DFC under different scanning modes

表2 为利用JND 积分法计算不同扫描方式下Kodak 标准影像库［15］图像的JNDTmax，通过对比可以看出超像素扫描策略下图像各像素不可察觉到DFC 的概率约为93.3%，且JNDTmax不超过8 灰度的概率约为99.3%，与19 子场、CGPWM 扫描方式相比，超像素扫描策略能有效改善显示动态画面的DFC 问题，符合人眼感知效果。

表2 不同扫描方式JND 积分结果（%）Table 2 JND integration results of different scanning methods（%）

4 结论

本文将超像素技术与数字驱动硅基OLED 微显示器相结合，从图像质量和DFC 等方面对超像素扫描策略下微显示器的成像质量进行分析。通过MATLAB 建立超像素模型，结合并扩展JND 积分法对超像素处理的图像进行DFC 评估。仿真分析结果表明，超像素扫描策略在分辨率主观感知不变的条件下，数据传输带宽减少50%。数据量的降低，为进一步提高微显示器分辨率、刷新率提供一种有效方案。同时，JNDTmax等于0 和不超过8 的概率分别约为93.3%和99.3%，DFC 现象得到有效改善，显示效果符合人眼观测感受。并根据超像素扫描策略设计一款扫描控制器，成功驱动分辨率为2 048×2 048 的全彩数字驱动型硅基OLED 微显示器，证明了所提扫描策略的可行性。