基于PWM占空比的印刷量子点图像信息识读

池稼轩，曹鹏，王明飞

图文信息技术

基于PWM占空比的印刷量子点图像信息识读

池稼轩，曹鹏，王明飞

（北京印刷学院 高端印刷装备信号与信息处理北京市重点实验室，北京 102600）

针对目前PQP点阵数据的识读算法准确率较低速度较慢的问题，为了加快该信息隐藏与印刷防伪方法的推广应用，文中设计一种基于PWM占空比判据的PQP快速识读算法。首先对采集到的PQP图像在非校正条件下，利用脉冲宽度调制（PWM）和最小占空比寻优方法，估算其点阵图像的栅格角度，然后根据所求得的栅格角度参照PQP点阵图像，分别计算横纵2个方向的极大值序列，之后对该序列进行二次差分和自适应阈值判决以绘制PQP点阵数据识读栅格，最后以方形螺旋线指向顺序索引网格内各位置特征值来识读PQP点阵数据信息。通过仿真和实验测试得出，当打印分辨率为600 dpi时，PQP图像信息的识读时间和误码率分别控制在0.5 s和±5%以内。在非校正、无参考和盲同步信息等不确定条件下，实现了对PQP点阵图像的信息提取。

印刷量子点；脉冲宽度调制；占空比；信息隐藏

半色调颜色是根据特定的二元模式沉积不同面积原色墨水生成的打印物表面的光谱反射率，基于半色调技术和图像空间信息进行数字调制与信息隐藏[1]，具有信息容量大和抗复制能力强的特性，其印刷的最小成像单元—半色调网点，因其不可再分被称为印刷量子点（Printed-Quantum-Point，PQP）。经过调制生成的PQP点阵数据是一种伪随机半色调网点噪声图像[2]。为了保证PQP图像的低可见性、高可检测性和数据的安全性，通常需要将PQP边长控制在40～60 μm内，并且要求点阵数据分布尽可能随机化。随着成本低廉的印刷技术的推广，印刷品和商品标签防伪需求的增长，印刷PQP信息防伪技术作为一种新型数字半色调防伪技术，可广泛应用于商品溯源和数字版权保护。

之后文中结合Robert等[3]提出的一种蓝通道点标签数据隐藏算法，利用蓝色通道的低视觉灵敏度结合红绿通道背景进行像素点调制以植入点阵信息。这种点阵图像如果采用常规的图像识读算法，往往会因图像校正等处理过程引起PQP图像畸变，导致识读误码率上升，制约了它的推广应用。

为了提取拍摄所得PQP点阵图像中以单元格行列形式的隐藏数据信息，在处理PQP点阵图像之前需要选定靠近图像边角的4个顶点位置以截取一个包含足够数量PQP的矩形识别区域。Dita等[4]依靠一种查找和发现模式确定边缘位置和控制点坐标，之后利用反球面矩阵变换重新定位PQP模块，该算法能够消除球面失真对识读的影响。Sun等[5]在确定控制点位置后利用自适应阈值Hough变换确定相位参数以旋转校正，并提取校正图像的凸起轮廓，之后利用4个边角位置以逆透视变换重新确定PQP的位置，并结合动态追踪计算二值矩阵。该算法具有简单和快速特点，并且它采用的二次霍夫变换方法能够有效减少耗时，但是无法处理背景复杂的拍摄图像。Kruchinin[6]以恒定半径的内切圆截取和遍历图像计算相似性，然后使用等高线搜索函数确定点位置并恢复残缺PQP，其识别准确率高但是相当耗时。Gao等[7]提出了一种基于Gaussian函数的Laplace变换方法计算点域面积，之后利用改进的固定阈值Bernsen二值算法和形态学处理动态判定PQP点簇位置，该处理过程易受到图像纹理干扰且处理有效性较低。图像边缘也可能存在残缺或满溢的PQP从而对边缘检测产生不利影响。为减弱复杂背景纹理对图像二值处理的干扰，Zhang等[8]首先利用无监督神经网络对每幅输入图像进行预评分，之后以计算损失排名的方式进行网络训练，最后导入峰值项以微调排名并检测PQP点阵特征。Sadovnikov等[9]先对规则点阵进行二维傅里叶变换仿真，之后进行频域正则性检测，以及采用空间域全局或局部灰度处理来补全图案中缺失的PQP。PQP点阵识别技术在商标防伪、生物医药和社会公益等方面有着广泛应用前景。Mcquin等[10]首先使用图像分析器检测细胞的大小、形状、强度和纹理等形态学特征，然后对人体组织二维切面图应用图像分割和特征提取给不同功能细胞渲染不同颜色。Khanam等[11]首先利用中值滤波和形态学预处理图像，然后用霍夫变换求出各盲文单元的最大水平和垂直距离，最后绘制差分直方图对特征提取和校正后的PQP点簇聚类以判别盲文字符。

由于采用不同的识读技术，PQP阅读器[12]对读取特定焦距或相位的代码有特殊要求。大多数PQP阅读器因受它内部光学器件和内置PQP识读算法的限制，在处理拍摄的复杂背景图片过程中不可避免地受到高斯白噪声或者椒盐噪声的影响，存在由于拍摄距离和PQP点阵维度不同导致的失真现象。继续研究发现，通过PWM[13]算法可以降低图像维度，基于聚类原理[14]归纳改进的二值算法和形态学方法[15]能够快速提取图像特征，在参考最大标准差算法[16]的基础上结合占空比[17]最小寻优方法可以准确估计图像偏移程度，利用傅里叶变换[18]能够计算出PQP相邻行列的间隔长度。由于在PQP矩阵编码后进行交织置乱，运用文中算法不需标定特殊拍摄区域，只要获取任意位置且维度符合解码要求的PQP矩阵。该算法需要根据信息植入方法不同变更二值处理对象，仿真实验使用Matlab和C语言编程。

1 PQP图像处理流程

如图1所示，首先对分离RGB彩色通道后的图像使用局部阈值分割算法进行二值处理，然后采用脉冲宽度调制（PWM）结合占空比方法求出偏移相位，之后以该参数在非校正条件下对图像积分，并绘制网格将图像划分为四边形小区域，最后再用方形螺旋线法判定每个区域PQP信息。

图1 PQP点阵图像信息识读流程

1.1 蓝通道量子点信息隐藏

蓝通道信息隐藏算法在分离彩色通道之后需要判断PQP与需要复合图像背景是否重合，不重合部分蓝通道像素灰度保持不变，重合部分与选定阈值进行门限判别，如果大于该值就置为最小像素值，反之则置为最大值。在此过程中红色和绿色通道与背景灰度是相同的，以帮助保持图像原始视觉效果和保证蓝色通道的可检测性，植入PQP后的商标图和提取蓝通道归一化之后的图像分别见图2a—b。为了最大限度降低图像背景对PQP阅读器的干扰，实际拍摄选取商标空白区域见图2c—d。

图2 植入量子点的商标及其空白区域的彩色和蓝通道图像

1.2 量子点阵图像预处理

首先分离PQP阅读器拍摄RGB图像的通道，之后对每个通道的二维图像利用空间域内高斯核移动滤波器提高图像中点阵可见性，其表达式见式（1）。

(1)

式中：为核像素标准差。

然后采用频域内低通滤波和保留零频方法去除加性噪声和保留PQP轮廓。最后利用形态学开运算和中值滤波方法分离连通PQP和消除离散椒盐噪声。

1.3 基于形态学特征的二值化算法

根据Niblack算法和Sauvola算法的阈值计算原理，由背景与处理对象之间的局部均值和标准差2个参数归纳出局部阈值二值化算法的阈值计算式见式（2）。

(2)

(3)

式中：为偏差系数。

利用局部阈值二值化快速算法处理蓝通道图像的仿真结果见图3a。可以看出由于实际拍摄过程中图像质量会受光照条件影响，位于图像边缘的PQP也会因为散焦而模糊，即直接以蓝通道图作为对象进行二值化会导致PQP出现粘连或缺失。此时考虑到彩色通道PQP显示像素值均可以近似为浅黄色与背景色的线性叠加，即可以根据红色和蓝色像素通道的线性和差分特性分段计算参量，之后对叠加参量的蓝通道图像进行局部阈值二值化处理，处理结果见图3b。

图3 不同PQP点阵图像二值化结果

1.4 PQP图像栅格角度估算

1.4.1 最小占空比角度寻优

为了最小化图像畸变对斜率计算的影响，文中选择穿过图像中心点且斜率为0的直线，代回直线方程可求出，求得的方程可表示为。以上述直线为基准，构造方程上下界分别为下列直线方程的连续含参直线组，遍历的范围进行最小值寻优，其中为图像维度。

(4)

1.4.2 广域二分与邻近可变分度钟摆算法

不同旋转方向和偏移相位图像在遍历各角度后计算出的占空比相位曲线见图4，根据波形幅度线性搬移的特点，结合以的初始角度范围多次连续二分求出的占空比均值，可拟合出分割阈值的表达式见式（5）。

(5)

从图4可以看出在主波束之外存在不同谷值的次波束，为了避免局部极小值对最小值寻优过程的干扰，可以将角度遍历范围适度缩小以计算粗略角度0和精确小分度范围，其中为最后一次二分求出的相邻序列元素角度差。

采用近邻可变分度钟摆算法处理时先以一个稍小于的分度计算占空比差值，根据其正负关系不同选择不同时针方向，继续调制占空比曲线并不断缩小分度以求出满足精度要求的实际角度。其中0为需求精度，为占空比序列，输入为，输出为精确角度1，该算法的具体流程如下。

8. END WHILE

11. END WHILE

12.ELSE

19. END WHILE

22. END WHILE

23.ENDIF

以峰值幅度的一半为阈值分割曲线，之后通过横方向位于同一条直线上所有位置特征均值与纵方向该值的乘积绘制的三维图见图5—7。

图4 不同旋转方向和偏移相位的占空比曲线

图5 位置幅值曲线

图6 阈值分割后的位置占空比填充图

1.5 仿射变换法

通过对PQP质心坐标序列的傅里叶变换确定横纵方向的最小晶格长度，以它作为矩阵仿射变换和后文增删截距序列的依据。

1.5.1 横纵方向最小晶格长度

利用基于轮廓跟踪的连通域标记算法可以对各PQP（包括噪点）所在区域进行编号和快速划分，并保持图像整体空间结构不变。现假设D是连通域标号后第个分段点的对应区域，可以推导出第个连通域的水平质心表达式见式（6）。

(6)

同理可以推导出垂直方向的质心表达式见式（7）。

(7)

图8 局部放大的不同方向和斜率的PQP点阵

分离质心横纵坐标矩阵得到2个一维序列E和E，使其每个元素减去标号最小的坐标所对应的数值，并对E和E作采样点数分别为256和512的离散傅里叶变换，仿真结果见图9a—b。由于包含这些点的矩形晶格的单位长度与fmax或fmax以及对应的N或N有关，因此得出横纵方向晶格单位长度R和R的计算式见式（8）。

(8)

由图9c—d可看出在采样点数过少和单位脉冲调制波m过大时均无法计算峰值对应横坐标即基频max，因此针对不同图像的PQP分布情况应该合理调整采样点数、单位脉冲调制波m和频率范围m。

1.5.2 仿射变换生成二值矩阵

对坐标序列E和E分别除以单位长度R和R，并将最小坐标的序号置为1，之后使其他元素都减去最小坐标对应数值，按列合并序列可得到归一化矩阵以及其中最大元素Fm和Fm。仿射变换生成维度为[Fm,Fm]的恢复PQP点阵0，尺寸放大为原来2倍的观测矩阵t和局部失真放大图分别见图10。

由图10a与图10b对比发现整体PQP空间分布相似，但存在不含有PQP行列被删除和边缘部分PQP未识读的问题。图10c与图10d对比可以看出二值图中同属于一行的PQP被分隔在相邻行，说明直接使用矩阵仿射变换方法造成识读结果拓扑结构失真。

图9 不同参数下质心横纵坐标幅频图

图10 二值化、仿射变换结果以及失真示意图

1.6 点阵图像栅格化

表1 不同方向斜率积分截止位置

Tab.1 Slope integral cut-off position in different directions

由于直接仿射变换导致严重失真且已知由连通域函数求得的PQP总数，因此考虑使用PWM调制方法遍历维度为1的局部图像以累加求和，并计算极大值序列G，之后提出一种以最小晶格长度R、图像位置1和参数0的截距元素增删算法，以它处理G可得到横向网格绘制序列H，同理依据纵向特征值0、4和R可以得到纵向网格序列H。其中为初始坐标，G为极大值序列，H为横向网格绘制序列，该算法的具体流程如下。

9. ELSE

11. ENDIF

13.END WHILE

1.7 栅格内PQP识别

阿基米德螺旋线的直角坐标公式可以表示为：

(9)

式中：1为起始点与极坐标中心的距离；2为控制螺线间的螺距。由式（9）可知，与成正比关系。

在直角坐标系下利用极坐标系与直角坐标的转换法则，极坐标公式可以被改写为：

(10)

以原点为中心，d2=0.05条件下绘制的阿基米德螺旋线，见图11a，保持螺旋线的自旋方向不变，假设由PQP识别网格确定的单PQP识别区域中心位置为。自设计的方形螺旋线见图11b，代表一种以为维度范围的小区域像素索引顺序，采用该算法能够有效避免相邻PQP干扰导致的重复识别问题。

图11 不同类型螺旋线示意图

Fig.11 Schematic diagram of different types of spiral lines

基于方形螺旋线识别算法，文中设计了一种以直代曲提升识别有效性的方法，其中为步长，为序列长度，为边数，为识别截止区域维度，输入为，输出为精确角度1，该算法的具体流程如下。

8. CASE 1 THEN

11. BREAK

12. CASE 2 THEN

15. BREAK

16. CASE 3 THEN

19. BREAK

20. DEFAULT

23. BREAK

24. END SWITCH

28.END WHILE

2 实验结果

2.1 无背景噪声干扰条件下的信息识读

在含有高斯椒盐等噪声情况下遍历H和H序列相交形成的每个类平行四边形单量子点识别区域，结合空间位置关系和量子点总数进行最大面积寻优可以精确得到二值矩阵0，结合图12a—b中虚线所示的像素积分极小值序列，可以将识别区域缩小为原来倍（实心方块区域），求得二值矩阵1见式（11）。

(11)

式中：为量子点存在性二值判决，1表示该区域有量子点，0表示没有；和分别为H和H的序列元素数。

假设单一的量子点连通区域为，4条直线构成识别区域，由图12c所示可确定包含量子点矩形虚拟网格范围和量子点质心相对位置关系为。在二值化过程可以较好去噪的情况下，如图12d所示，绘制穿过量子点质心的识别网格，此时可得出和的逻辑关系为。图12e显示的是尺寸为12 dpi方形螺旋线的截止区域，实际识别过程中以为截止距离和为识别起始点，通过逆时针方向逐像素判定其位置特征值是否大于门限，并在找到一定数量的高亮像素时则认为该小区域存在量子点，如果像素位置超出截止区域则认为无量子点，数值可以根据图像二值化质量和识别区域面积选取，在无噪声条件下可设为1，识别得到的二值观测矩阵见图12f。

图12 无背景噪声干扰条件下PQP识读流程及结果

2.2 叠加背景噪声条件下的信息识读

首先使用“理光PRO C7100X”印刷机打印植入PQP点阵信息的彩色图像作为拍摄模板，通过华为P9手机调整不同角度拍摄30张不同图片，然后随机选取其中间隔为4°～5°的不同旋转方向（顺逆时针各4张）的图片，最后运用文中算法在非校正条件下进行量子点信息识读，其原图、灰度特征图、二值图、质心网格图、识别区域图和识别观测阵列对应的算法处理结果和识别出的精确偏移角度（顺时针为正）分别见图13—18。

图13 手机拍摄得到的原图

图14 处理彩色通道得到的灰度特征

图15 局部阈值二值化处理结果

图16 穿过量子点质心的识别网格

3 结果分析

图17 分割识别区域后的量子点图像

图18 二值量子点阵识别结果

采用的离散傅里叶方法结合改进局部阈值二值化算法能够在保证可靠性同时提升有效性。采用Niblack、Sauvola算法和文中设计的改进Sauvola二值化算法处理蓝通道图像，并采用定分度逐像素遍历和最大公约数区域计算2种模式的处理时长，见表2。以相同内容分别植入1×1、2×2和4×4维度的PQP，并拍摄得到分辨率分别为400×400、800×800和1 600×1 600的背景图像，运用文中算法可以满足不同终端显示精度要求。

图19 角度误码率散点图

表2 不同二值算法及其模式的处理时间

Tab.2 Different binary algorithms and processing duration under their modes

4 结语

文中针对传统PQP识读设备处理有效性和可靠性较低的问题，设计了一种提取偏移角度较大或者PQP点阵密度较高情况下的图像信息提取算法，该算法利用局部阈值二值化和PWM结合邻近直线簇积分方法来划分量子点识别区域，并使用方型螺旋线顺序索引检测法识读PQP信息，具有处理准确性高且处理效率满足移动应用需求的优势。实验结果表明，该算法鲁棒性好，能够配合后续算法进行信息解码识读，但傅里叶变换确定的步长需要人为调整参数，采用中位数作为阈值又会在一定程度降低可靠性，后期工作将考虑使用深度学习算法自适应调整参数和确定阈值。

[1] 王育军, 曹鹏. 基于印刷量子点的多重组合信息可靠性编解码算法[J]. 包装工程, 2021, 42(19): 192-203.

WANG Yu-jun, CAO Peng. Reliability Encoding and Decoding Algorithm of Multiple Combination Information Based on Printed Quantum Dots[J]. Packaging Engineering, 2021, 42(19): 192-203.

[2] ZHONG Zhi-yan, HU Yue-ming. Feature Extraction Method of Halftone Images Based on Pixel Aggregation Descriptor[J].Multimedia Tools and Applications, 2020, 79(11/12): 7763-7781.

[3] ULICHNEY R, GAUBATZ M. Hiding Data in the Blue Channel[J]. Electronic Imaging, 2020, 79(11/12): 198.

[4] DITA I, OTESTEANU M, QUINT F. A Scanning Method for Industrial Data Matrix Codes Marked on Spherical Surfaces[C]// Proceedings of the 11th, 2012, 12: 38-42.

[5] SUN H, UYSALTURK M. Invisible Data Matrix Detection with Smart Phone Using Geometric Correction and Hough Transform[C]// Optical Pattern Recognition, International Society for Optics and Photonics, 2016, 9845: 98450.

[6] KRUCHININ A. Industrial Datamatrix Barcode Recognition for An Arbitrary Camera Angle And Rotation/Kruchinin Ayu[J]. Computer Optics, 2014, 38(4): 865—870.

[7] GAO T, KASABOV N. A Method Used for Dotted Data Matrix Image Processing[J]. Journal of Computational Methods in Sciences and Engineering, 2015, 15(4): 685-693.

[8] ZHANG L, RUSINKIEWICZ S. Learning to Detect Features in Texture Images[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 6325-6333.

[9] SADOVNIKOV A, VARTIAINEN J, KÄMÄRÄINEN J, et al. Detection of Irregularities in Regular Dot Patterns[C]// MVA, 2005: 380-383.

[10] MCQUIN C, GOODMAN A, CHERNYSHEV V, et al. CellProfiler 3.0: Next-Generation Image Processing for Biology[J]. STAR Protocols, 2018, 16(7): 2005970.

[11] KHANAM Z, USMANI A. Optical Braille Recognition Using Circular Hough Transform[EB/OL]. (2021–07– 02). http://arxiv.org/abs/2107.00993.

[12] LIU Y, HAN F, LI F, et al. Inkjet-Printed Unclonable Quantum Dot Fluorescent Anti-Counterfeiting Labels with Artificial Intelligence Authentication[J]. Nat Commun, 2019, 10(1): 2409.

[13] YANG J, KONG Y, WANG Z, et al. 24.4 Sandwich-RAM: An Energy-Efficient In-Memory BWN Architecture with Pulse-Width Modulation[C]// 2019 IEEE International Solid-State Circuits Conference-(ISSCC), 2019: 394-396.

[14] BERA S K, GHOSH S, BHOWMIK S, et al. A Non-Parametric Binarization Method Based on Ensemble of Clustering Algorithms[J]. Multimedia Tools and Applications, 2021, 80(5): 7653-7673.

[15] LIU Zhen-feng, FENG Jian, WANG Jin-feng. Resource-Constrained Innovation Method for Sustainability: Application of Morphological Analysis and TRIZ Inventive Principles[J]. Sustainability, 2020, 12(3): 917.

[16] XIE Ning, HU Ji, CHEN Jun-jie, et al. Detection of Information Hiding at Anti-Copying 2D Barcodes[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(1): 437-450.

[17] KONDRATH N, KAZIMIERCZUK M K. Comparison of Wide and High-Frequency Duty-Ratio-to-Inductor- Current Transfer Functions of DC-DC PWM Buck Converter in CCM[J]. IEEE Trans Industrial Electronics, 2012, 59(1): 641-643.

[18] ZHUANG Jing-shun, LI Mi, PU Yun-qiao, et al. Observation of Potential Contaminants in Processed Biomass Using Fourier Transform Infrared Spectroscopy[J]. Applied Sciences, 2020, 10(12): 43-45.

Image Information Reading of PQP Based on PWM Duty Cycle

CHI Jia-xuan, CAO Peng, WANG Ming-fei

(Beijing Key Laboratory of Signal and Information Processing for High-end Printing Equipment, Beijing Institute of Graphic Communication, Beijing 102600, China)

The work aims to design a PQP fast reading algorithm based on PWM duty cycle criterion, speed up the popularization and application of this information hiding and printing anti-counterfeiting method and solve the low accuracy and slow speed of PQP lattice data reading algorithm. First, the pulse width modulation (PWM) and the minimum duty cycle optimization method were adopted to estimate the grid angle of the acquired PQP image under non-correction conditions. Then, the maximum value sequence in the horizontal and vertical directions were calculated respectively based on the obtained grid angle with reference to the PQP dot matrix image. Next, the second difference and adaptive threshold judgment on the sequence were performed to draw the PQP dot matrix data reading grid. Finally, characteristic value of each position in the sequential index network pointed by the square spiral line was used to read the PQP dot matrix data information. Through simulation and experimental tests, when the printing resolution was 600 dpi, the reading time and bit error rate of PQP image infor­mation were controlled within 0.5 s and ±5%, respectively. The information extraction of PQP dot matrix image is realized under the uncertain conditions of uncorrected, unreferenced and blind synchronization information.

printed quantum point (PQP);pulse width modulation (PWM); duty cycle; information hiding

TN911.3

A

1001-3563(2022)13-0282-14

10.19554/j.cnki.1001-3563.2022.13.036

2021–11–03

国家自然科学基金面上项目（61972042）；北京市基金–市教委联合项目（KZ202010015023）；北京印刷学院校级项目（Ef202001）

池稼轩（1998—），男，北京印刷学院硕士生，主攻数字防伪与智能识别。

曹鹏（1969—），男，博士，北京印刷学院教授，主要研究方向为ICT与印刷技术交叉创新。

责任编辑：曾钰婵