基于图像识别的非接触式微阵列点样仪控制系统

何 阳，尤 晖，郑常宝

(1.安徽大学电气工程及其自动化学院，安徽合肥 230601；2.；中国科学院合肥智能机械研究所，安徽合肥 230031；3.安徽大学工业节能与电能质量控制协同创新中心，安徽合肥 230601)

0 引言

微阵列芯片在基因检测等领域有着广泛的应用，对于芯片的质量，非接触式微阵列点样仪起到了至关重要的作用[1]。在制备芯片的过程中，点样喷头通过挤压或振动的方式来激发液滴喷射[2]，将样品以微液滴的形态喷射到芯片表面，但现有的非接触式点样仪在长时间连续点样后期会出现液滴大小不均匀的问题[3]，本文结合图像识别技术设计了一种非接触式微阵列点样控制监测系统。该系统通过LabVIEW软件控制摄像头进行液滴图像的采集，并调用MATLAB对图像进行在线处理，通过背景差法结合Sobel算子对图像中液滴进行边缘检测，再标签化处理并提取微阵列中各液滴的面积、周长、弧度等特征构造数据库进行BP神经网络识别，并搭建了相应的硬件试验平台用以测试。试验表明，所设计的系统具有良好的点样和识别效果，能识别出不符合标准的微阵列液滴，并可根据实际需求适当补偿液滴大小，使长时间连续点样后期液滴趋于稳定。

1 点样仪系统总体结构设计

图1 点样仪结构原理示意图

设计的非接触式点样仪控制系统如图1所示，系统由步进电机运动控制、点样喷头驱动电路、摄像头模块、通信模块及电源模块等部分组成。操作人员可在上位机中利用LabVIEW软件设计的人机交互界面控制点样仪平台，通过串口通信将运动参数传递给下位机，下位机STM32控制2部两相混合式步进电机为点样头提供传动装置，点样喷头在引动到指定位置后，由下位机控制点样喷头产生液滴。最后，通过摄像头捕捉微阵列液滴图像，以监测液滴喷发效果。

2 系统硬件设计

2.1 控制器模块

系统控制器采用STM32芯片为核心，主要完成的功能有：与上位机进行数据通讯、控制摄像头模块、控制步进电机运动、激发点样喷头等，控制电路的硬件框架图如图2所示。

图2 控制电路的硬件框架

2.2 非接触式点样头工作原理及其驱动电路

为实现微阵列点样，点样喷头采用多个喷发单元集成的方式[4]，点样喷头的结构如图3所示。

图3 点样喷头的结构图

喷头的激发装置是由弹性薄片在两面对称粘贴极化方向相反的2片压电陶瓷晶片组成。在工作时，通过点样头驱动电路对左右两片压电陶瓷交替施加脉冲电压，由于逆压电效应，两晶片会在脉冲电压作用下交替伸长和缩短，产生冲击波。当冲击波传递至喷孔处时，在喷孔处将产生一个液柱并发生缩颈，从而与喷孔断开，形成液滴。点样液的物理性质、点样头喷孔内径、压电陶瓷的驱动电压、驱动频率等参数都会对点样过程造成影响。韦伯系数可用于判定液滴能否从喷孔处成功脱落[5]：

12

(1)

式中：ρ为液体密度；d为点样头喷孔内径；v为点样针末端液体流速；r为液体表面张力系数。

式(1)中，v由压电陶瓷的驱动电压幅值决定，将会在下文的实验中进行研究。为了满足实际应用的需要，为压电陶瓷双晶片提供90～150 V的电压，系统采用OP27和PA08搭建前级驱动电路和后级放大电路，以实现可编程增益功率放大的作用，直接由MCU控制调节功率放大器的增益，以调节喷发液滴的大小。

2.3 摄像头模块

系统选择松下CMOS图像传感器JT-1600B构建摄像头模块，其USB接口便于图像快速上传给PC机处理。

3 液滴识别系统软件设计

在软件部分,系统通过LabVIEW实现对USB摄像头的控制进行液滴图像采集，为了弥补LabVIEW图像处理算法的局限性，在LabVIEW中调用了MATLAB Script函数,通过MATLAB对图像进行在线处理。点样仪液滴的监测程序由图像采集和处理、液滴特征提取和神经网络识别这几部分组成，具体实现的流程图如图4所示。

图4 液滴识别流补偿流程图

3.1 图像预处理

采集到的液滴图像需要进行预处理，以便进行后续的特征提取，图像的预处理包括：图像灰度化、滤波去噪、锐化增强等。通过摄像头采集到的彩色图像所需存储容量大，计算复杂，因此需要把采集的彩色图像转换成灰度图像，如图5(a)所示；对于图像中的噪声问题采用中值滤波的方法进行处理，这是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，经反复对比后采用3×3的模板进行中值滤波，将模板中心点用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。中值滤波对于滤除图像中的椒盐噪声非常有效[6]，去噪后的图像如图5(b)所示。

为了突出液滴的边缘和轮廓信息，去噪后的图像采用反锐化掩模的方法对图像进行锐化处理，它是一种常用的图像锐化方法，能有效地提高图像中高频成分，使去噪后的模糊图像变得清晰且轮廓分明，其数学表达式如下：

g(x,y)=f(x,y)+C[f(x,y)-f′(x,y)]

(2)

式中：f(x,y)为原始图像；f′(x,y)为经过中值滤波后的模糊图像；g(x,y)为经过反锐化掩膜算法处理后的图像；C为比例系数，经反复测试后C值取2.35，锐化后的结果如图5(c)所示。

(a)灰度图像 (b)去噪后图像 (c)锐化后图像图5 预处理后的微阵列液滴图像

3.2 目标分割

预处理后利用阈值分割结合边缘检测的方式对图像进行目标分割，根据液滴与背景灰度值的差别选取阈值,对去噪、增强对比度后的图像进行二值化处理，分割出目标后，由于原始图像中灰度分布不均匀和光照等的影响，可能在目标液滴中会出现空洞或个别边缘处出现断裂情况等，如图6(a)所示，因此要对图像进行边缘检测以弥补断裂的边缘部分。采用Sobel算子进行边缘检测，它是最重要的微分算子之一，可以降低边缘模糊程度。利用Sobel算子进行边缘检测的结果如图6(b)所示，可以清晰地看到液滴的边缘。再利用OR运算结合二值化处理和边缘信息，去除断边，利用数学形态学重新填充一下图像中的洞，最终处理后的图像如图6(c)所示。

(a)二值化图像 (b)边缘检测图像(c)OR运算填充后图像图6 目标分割后图像

3.3 背景差分

在液滴识别的过程中难免会有由于背景中的干扰而造成的识别误差，故引入了背景差分法初步排除在背景中的干扰因素。本文通过帧间差法来实现背景差分的功能[8]，即在微阵列液滴未滴落前捕获背景图像，再等到液滴滴落后捕获液滴图像，通过两者的帧间差分图像，以差分出目标微阵列液滴，其数学表达式如下：

(3)

式中：fm(x,y,t)为背景差前图像；fn(x,y,t)为背景图像；fi(x,y,t)为背景差后的二值图像；X为设定阈值，为了使背景对目标液滴带来的影响降低到最小，这里X经多次验证后取0.55。

背景差分图像如图7所示。

(a)背景差前图像 (b)背景图像 (c)背景差后图像图7 背景差分图像

3.4 特征提取

经过前面几个步骤的处理以后，液滴和背景已经很明显地被区分开来，但由于点样后期各喷发单元自身稳定性等原因，微阵列中各液滴的大小会有所变化，故需要对各个液滴经行特征提取，以区分不满足要求的液滴。先对图像进行标签化处理，将不同液滴赋予不同的标号以方便后续提取每个液滴各自特征，包括面积特征、周长特征、弧度特征。经过标签化处理的液滴图像在各自区域有着不同的标签号，统计各自区域内标号的像素数量即可得到液滴的面积特征；计算出物体轮廓线上的像素数可得到周长特征，但由于斜方向上数字化图形特有的误差，故以二倍量加以补充；弧度是在面积和周长的基础上测量的特征量；通过弧度的计算，可以将图中大液滴有效地识别出来，标签化处理后的图像(为方便区分填充了不同颜色)如图8所示。

图8 标签化处理后图像

经图像识别处理后的3种情况下液滴的特征参数如表1所示，可以看出只有当单个液滴面积在300～600；周长在80～120、弧度在0.55～0.65时，才满足微阵列液滴标准，并由此建立了液滴数据库，为后期识别试验做相应准备。

表1 液滴特征参数

3.5 BP神经网络识别

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络[9]，近些年来，其在图像识别领域得到越来越广泛的应用。它是一种按误差反向传播训练的多层前馈网络，在本系统中采用3层网络对液滴图像进行识别，主要是将标准液滴与不符合要求的大液滴和小液滴区分开来。具体流程如下：

(1)确定输入层的个数m=3，即液滴图像的特征参数(IN1，IN2，IN3)，其中IN1为面积参数；IN2为周长参数；IN3为弧度参数。

(2)确定输出层的个数n=3，即液滴识别输出值O∈[0,1]，O∈[0,0.25]为“小液滴”；O∈[0.75,1]为“大液滴”；O∈[0.25,0.75]为“标准液滴”。

(3)通过式(4)确定隐藏节点个数。

(4)

式中：h为隐藏层节点数；m为输入层的个数；n为输出层的个数；a为1～10之间的常数。

通过仿真对比得到当隐藏层节点数为12时，效果最好。

(4)将连接权值Wji和Wki置为(-1，1)之间的随机数。

(5)信息正向传递时将IN1、IN2、IN3输入，通过连接权值Wji得到隐含层的输入：

(6)同理，输出层的输入为

并通过输出层传递函数(Sigmoid函数)，即

(5)

可得到输出层的输出为

Y(k)=f[nex2(k)]

(7)BP网络的反向传播。输出层的实际输出为Y(k)，期望输出为O(k)，样本模型的均方差为

(6)

求输出层和隐含层的学习误差dk和dj，调整权值Wji和Wki，循环上述步骤(5)到(7)，直至满足目标误差0.01。

(8)利用上面训练得到的权值对新数据进行检验，输出识别结果。

4 实验及分析

为了验证系统设计的可行性，使用前期搭建的实验平台验证该系统的点样性能，如图9所示。

图9 点样仪样机实物图

本文测试了不同幅值的脉冲波对生成液滴产生的影响。实验采用4个独立的点样喷头，喷孔孔径为150 μm，在信号频率为1 Hz、脉宽为50 ms的脉冲信号，电压幅值的变化范围为90～150 V的条件下分别进行多次试验，实验结果取平均值如图10所示。

图10 驱动电压的幅度对液滴体积的影响

根据实验结果分析可得，脉冲电压幅值会影响生成液滴的大小，电压需要达到一个特定的阈值后，才会有液滴生成，且随着电压增大，液滴的增大是呈阶梯状的，在实际点样中可以根据所需液滴体积大小调节电压幅值。

本文对所搭建的图像识别系统进行了相关测试，经过200幅液滴图像的训练样本训练，使BP神经网络的识别正确率接近100%，并通过训练曲线可以看出该曲线收敛，说明训练成功，可以用来进行微阵列液滴的监测，BP网络训练仿真曲线图如图11所示。

图11 BP网络训练仿真曲线

根据研究得出的电压脉冲幅值对液滴大小的影响，对点样后期液滴变小、不均匀等情况进行了电压补偿，每次监测到液滴变小时提高10 V供电电压，并对系统做了对照试验，即有图像识别补偿系统后和无补偿系统前的差别对比。连续500次点样，并每间隔10次对微阵列液滴进行图像捕获，用接触角测量仪从侧面观测并计算其液滴大小，并统计微阵列液滴图像中满足要求液滴的个数，试验结果如图12所示。

图12 连续点样实验结果

5 结束语

本文研制了一种基于图像识别的非接触式微阵列点样控制系统，解决了现有非接触式微阵列点样仪在长时间连续点样后期液滴体积变小，大小不均匀等问题，该系统可驱动由压电陶瓷双晶片组成的储液腔式点样喷头根据实际需求产生体积为2～10 nL的微阵列液滴，并可通过图像识别技术对点样后期不符合标准的微阵列液滴进行识别并适当补偿，使长时间连续点样后期液滴趋于稳定，使点样后期不到60%的液滴合格率，到达94%以上，满足实际应用的要求，对非接触式微阵列点样仪的自动化研究具有借鉴意义。