机器视觉在COB LED显示模组墨色采集、分类、排序中的应用

李百松，曹 慧*，徐子程，程宏斌,2，汪 洋,2，郑喜凤,2

(1.长春希达电子技术有限公司，吉林 长春 130103；2.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

1 引 言

LED显示屏通用规范SJ/T 11141-2017中规定最高对比度为：在一定环境照度下，LED显示屏最大亮度和背景亮度的比。因此为了提高对比度，行业内针对LED显示屏的底色通常采用多种工艺处理，使黑屏状态时显示为黑色，即墨色。常规的一面集成封装(Chip on Board，COB)LED显示屏是由多块同一生产批次的COB LED显示模组拼装而成，由于原材料和生产工艺不能做到绝对的一致性，会造成COB LED显示模组间墨色不一致的现象。进一步研究发现，阵列模组的墨色一致性是由印刷线路板(Printed circuit board，PCB)的镀金厚度、镀层均匀性、内层线路映射、阻焊层墨色以及后续LED显示模组铣平面、模压封装及封装层掺杂材料等交叉影响造成的。

续 表

在发射中心、指挥大厅等高端应用场所，对COB LED显示屏的质量和主观感受要求很高，因此确保一面COB LED显示屏的墨色效果非常重要。根据COB LED阵列模组产生墨色不均匀的原因，在提出产品高对比度的设计方案与工艺技术的有效控制方案，降低阵列模组黑场时表面亮度的同时，需要提高阵列模组表面颜色的一致性。

2 墨色采集、分类、排序的原理

COB LED显示模组的墨色并非单一颜色而是多种材料或者工艺影响的混合颜色，如果分离出墨色中各种肉眼清晰分辨的单一颜色，即可通过不同COB LED显示模组之间对应单一颜色的浓度差异表示墨色差异。单一颜色在混合颜色中的占比称为颜色浓度。而通过利用单一颜色物质只能反射对应颜色的原理，即可分离出单一颜色浓度值。

如图1所示，通过不同颜色光源进行打光反射至相机采集，即可分离出COB LED显示模组内墨色的各种单一颜色浓度。根据多种单一颜色的浓度进一步进行显示模组墨色分类或者排序，通过这种原理进行墨色采集可有效实现墨色的分析与处理。

图1 墨色采集原理示意图Fig.1 Schematic diagram of ink collection principle

一维墨色的分类原理为：将同一墨色档次的COB LED显示模组分为同一类，这样进行搭建COB LED显示屏即可实现墨色无差异，均保持同一档次。经过实际测验，同一生产批次的COB LED显示模组的墨色分类等级较多，不能达到充分利用的效果，会造成较多的产品库存积压，因此需要一种方法可以充分使用所有COB LED显示模组。本文采用二维墨色排序算法，其原理为：根据视觉的渐变性，即相邻的两个COB LED显示模组墨色如果差异不大即不影响视觉直观感受，需在二维的COB LED显示屏上建立坐标系，将所有模块进行横纵排序，使其具备二维渐变效果，这样整个COB LED显示屏的墨色可以符合人眼视觉的直观感受。图2、图3分别是墨色排序前和排序后示意图。

图2 墨色排序前示意图Fig.2 Schematic diagram of ink colors before sorting

图3 墨色排序后示意图Fig.3 Schematic diagram of ink colors after sorting

3 系统应用设计

墨色采集、分类、排序方案设计如图4所示，由相机模块、光源模块、算法处理模块构成。按照顺序切换不同颜色的光源，操作相机进行采集，返回相应颜色浓度的数值，将所有采集到的颜色浓度值通过算法处理转换为墨色，再通过排序或者分类算法处理输出不同等级墨色的COB LED显示模组的对应安装位置，即可实现安装符合视觉感受的COB LED显示屏。

图4 系统方案设计Fig.4 Design of system scheme

3.1 硬件设计

由于如单一纯白光源等无法采集显示模组表面多个颜色浓度值，因此本文采用具备8个光谱的环形光源。环形光源光照更均匀，能够更好地突出特征值以便数据处理及分析。采用8 bit的Basler黑白相机，光源与相机的物理安装关系如图5所示，采用中心法线重合的安装方式。

图5 光源与相机安装示意图Fig.5 Diagram of light source and camera installation

机器视觉技术是通过光学非接触的传感器自动获取并解释处理一个真实物体的图像，以获取所需信息用于控制机器运动[1]。本文采用机器视觉技术，通过相机采集图像。图像储存在相机的RAM空间缓存区中，通过提取缓存区数据获得COB LED显示模组的墨色信息[2]。

本方法中采用的镜头为16 mm镜头，采集区域为30 mm×30 mm。所以为了保证视场，相机与被测COB LED显示模组的最佳距离为100 mm，光源距离被测模组的最佳距离为70 mm。为了减少采集噪声，需要降低光源与COB LED显示模组的距离，因此采用常规的低角度光源，LED灯珠的轴心与水平面夹角为30°。在该距离下观测清晰，特征显著，噪声较小[3-4]。

多光谱光源的波长直接影响采集到的墨色准确性。因为墨色肉眼可见，所以选取波长大约在400～700 nm之间。目前市场上能找到光谱最多的光源只有8个光谱，选择8光谱的光源波长如表1所示。

表1 光的波长及参数表Tab.1 Wavelength and parameters of light

3.2 软件设计

软件设计主要分为两部分：第一部分为图像采集模块，实现与相机通讯，控制相机曝光时间及曝光，通过访问相机RAM存储区获取数据流，将数据流转变为可处理的8 bit整数数组，控制多光谱光源，调节光源亮度，切换光源颜色。第二部分为算法处理模块，包括将数据流转换的8 bit数组进行数据分割，提取替换异常索引值，通过文件存储进行数据永久性保存[5]。满足触发条件之后触发算法处理模块，生成COB LED显示模组序号，实现墨色排序、分类操作。墨色采集及计算流程如图6所示。

图6 程序运行流程图Fig.6 Flow chart of program operation

根据程序运行流程，相机启动程序配置作为启动引导程序，相机硬件接口分为TCP、USB、cameraLink接口等，分别对应不同调用方法。本文使用TCP接口(预先设置计算机网络巨型帧)通过Labview软件开发平台驱动相机。

多光谱光源的调用接口也分为TCP接口与RS232串口。本文采用RS232串口作为接口，通过Labview软件开发平台设计串口驱动程序。串口编辑流程如图7所示，相关调用SDK指令描述文件如表2所示。

图7 RS232串口编辑流程Fig.7 RS232 serial port editing process

表2 多光谱光源SDK描述文件相关指令Tab.2 Relative instructions of SDK description file for multispectral light source

在使用该接口时，通过如图8可以看出通讯数据是由1 bit的起始位、8 bit的数据位和1 bit的停止位构成。RS232数据传输时序图如图8所示。

图8 RS232数据传输时序图Fig.8 Diagram of RS232 data transmission sequence

通过8个光谱的光源，得到的采集同批次COB LED模组的8种单一颜色浓度，大概率无法实现工程化墨色分类，因此采用加权平均的方式对8种颜色浓度进行归一化处理，处理后的墨色值表示每个模组的颜色浓度[6-7]。通过实验总结墨色差异化的范围区间为5，两块COB LED模组的墨色值相差在5以内可以归类为一类墨色，相差在5以上不归为一类。按照切换一种颜色采集一张图片的顺序可以获得多张图片数据，在采集同时将图片数据流提取转换为8 bit二维数组，根据公式(1)计算出单一光谱光源照射下采集到数组均值L，其中m、n为数组宽度，i、j为数组索引值。

.

(1)

LED显示屏应用在不同的环境光下，显示表面反射的光特征值不同，因此采用在8种不同环境光照情况下的加权平均方法，如公式(2)所示。在得出单一颜色下数组均值L后，计算出8种颜色加权后的均值P，墨色分类后按照均值二维排序方法将墨色相近的模块安装一起，即可实现同一类别的COB LED显示模组无明显色差[8-9]。

(2)

其中:ωi为在不同光谱下显示模块的加权权值，Li是不同光谱下的墨色均值，i=1,2,…,8。

墨色采集、分类后，采用二维排序方法对同一类墨色的显示模组进行二维排序。具体算法流程为：

(1)提取亮度值，设有F个亮度值P1,P2,…PF；

(2)设矩阵A为1×F的矩阵，将F个亮度值P1,P2,…PF按顺序放入矩阵A中，则有公式(3)：

A=[P1,P2,…PF].

(3)

(3)设公式(4)中矩阵B为m×n的空矩阵，其中m×n=F，则有：

.

(4)

(4)将公式(4)中矩阵B分为m+n-1个一维矩阵C(i)，其中i=1,2,…m+n-1。

(5)将公式(4)中矩阵B中元素位置的行列数之和相等的元素位置信息分别放入不同的公式(5)的一维矩阵C中，且满足：

C(i)=[B(j,k)]，

(5)

其中:j=1,2,…,m,k=1,2,…,n,j+k=i+1。

(6)将公式(5)中各个C中的元素按照公式(4)中B的行数递增的顺序排列，则有公式(6)：

(6)

(7)将公式(6)中所有的一维矩阵C(i)按照i从小到大的顺序放入新的矩阵D中，则有公式(7)：

D=[B(1,1),B(1,2),B(2,1)…B(m,n)].

(7)

(8)将公式(3)中A中元素与公式(7)和公式(4)中B矩阵的位置信息一一对应，将公式(3)中A矩阵的所有元素填入公式(4)中的B矩阵中，完成公式(3)中一维矩阵A斜向排入公式(4)中B矩阵，即：

(8)

通过公式(2)～(8)即可完成所有亮度值从左上角位置横向向右、纵向向下、斜向向右下均匀递增的排序。通过该种算法可以实现所有COB LED显示模组能够被充分利用，并可达到人眼视觉墨色一致性较好的显示效果。当同一批次的COB LED显示模组墨色差异不大时，渐变效果不明显；但是当同一批次的COB LED显示模组墨色差异较大时，先分类再二维排序，整屏渐变效果会比较明显，分类少时在显示屏局部会出现阶梯渐变线[10]。

通过Labview软件开发的相机、光源控制及图像采集程序模块如图9所示，墨色排序算法程序模块如图10所示。

图9 相机、光源控制及图像采集程序模块。Fig.9 Program of camera,light source control and image acquisition.

图10 墨色排序算法程序模块Fig.10 Program of black sorting algorithm

4 测试分析结果

在照度小于5 lx的暗室环境下，准备100块同一生产批次、外型尺寸为152.4 mm×114.3 mm、点间距为1.27 mm的COB LED显示模组。分别将100块模组进行0～100编号，此编号与软件编号对应，即表示每个模组都有唯一的墨色值。将模组固定在快速安装夹具上面，此夹具平行于光源与相机，此时对设备进行供电，通过软件检测相机、光源是否正常启动。打开软件进行预览，检测成像清晰程度及图像是否有大量超过饱和的像素点，如果成像不清晰适当调节焦距。光源的亮度越高则温度越高，当亮度设定值恒定时，随着时间的变化，温度逐渐升高，影响光源的亮度，所以为了保证光源亮度的稳定性，需要将光源亮度最大程度地降低，当光源亮度低时，通过调节光圈增加近光量来保证图像的亮度。本实验采用的是8 bit灰白相机，为了减少噪声的同时提高特征值，需要调节光圈和光源，以保证每种颜色打光相机采集的最高灰度值为200～210。完成准备工作后，开始进行墨色采集，单击采集按钮，可以观测到光源开始顺序切换，切换的同时进行快速拍摄，当所有光源切换完成及拍摄完成，即对此块COB LED显示模组完成墨色采集及记录，换下一块模块，继续采集记录。

图11 COB LED显示模组墨色采集平台(包含相机、光源)Fig.11 Platform of COB LED display module ink collection (including camera and light source)

图12 COB LED显示模组墨色采集及排序平台软件Fig.12 Software of COB LED display module ink collection platform

当完成所有模组的采集，操作软件完成自动排序，该排序完成的二维数组具有对角线渐变的结果，即二维数组顺序，如表3所示。

表3 墨色排序部分图表Tab.3 Chart of ink sorting

按照编号进行COB LED显示屏安装，可发现整屏墨色效果显著提升，如图13、图14所示。

图13 COB LED显示模组排序前效果Fig.13 Effect of COB LED display module before sorting

图14 COB LED显示模组二维排序后效果Fig.14 Installation results of COB LED display module after sorting

5 结 论

在目前LED显示屏像素密度越来越高、拼接面积越来越大的情况下，保证墨色一致性难度极大。本文介绍了COB LED显示模组的墨色采集、分类、排序的原理、设计、及测试结果，提出了一种行业内全新的保证墨色一致性的方法，既保证了墨色的一致性又避免了因墨色问题造成的产品库存积压，同时可以自动采集、分类、排序，满足了生产制造中自动化流水线的要求。该设计方法灵活方便，节约人工成本、生产制造成本，易于操作，在实际COB LED产品墨色提升上有很大的应用价值。