双线阵CCD青豆在线筛选系统设计

吴陈陈 王永强 周聪玲

(天津科技大学机械工程学院，天津 300222)

青豆残次品主要特征为表面霉变形成的明显色差，或者严重破损成非球形的颗粒。人工筛选方式耗时耗力, 容易产生错检、漏检且检测标准难以统一。随着机器视觉检测技术在农产品自动检测中的广泛应用[1-2]，崔欣等[3]利用灰度阈值法提出了一种基于机器视觉对破损玉米种粒进行检测的方法；吴杰[4]利用机器视觉设计了圣女果分级分选机构，实现了圣女果的等级分级；邓立苗等[5]设计了基于机器视觉的马铃薯自动分级系统。但针对青豆残次品的在线筛选，尤其是针对青豆双面缺陷进行在线筛选技术的研究尚未见报道。

文章拟利用机器视觉检测技术，研究设计基于双线阵CCD的青豆在线筛选系统。通过硬件系统对青豆进行分列排序，软件系统获取青豆的完整图像，利用多线程图像处理方法，通过提取青豆颗粒的颜色特征和形状特征检测出残次品并生成剔除编码，驱动控制装置并完成剔除，旨在为青豆的自动化筛选提供依据。

1 系统结构与工作原理

1.1 系统结构

系统结构主要包含硬件系统与软件系统两部分(图1)。硬件系统由机械结构与控制系统组成；软件系统由残次品剔除信息编码，多线程与图像特征识别方法组成。

1.2 工作原理

实际应用中，为保证青豆筛选效率，对硬件系统和软件系统进行设计，青豆先通过带有导槽的振动筛板实现初步整理，在进入分列导向机构后被分割成若干单列，呈瀑布式有序下落至图像采集区域。通过分布在下落青豆前后两面不同高度上的两套线阵CCD视觉采集系统分别获取青豆的正、反面图像，并实时完成基于颜色和形状特征的在线检测，通过控制系统驱动剔除喷嘴筛选出残次品青豆，其工作原理如图2所示。

图1 系统结构图Figure 1 System structure diagram

2 硬件系统设计

青豆筛选系统的硬件系统设计主要包含机械结构和控制系统两部分(图3)，机械结构主要通过对系统振动送料机构、分列导向机构、图像采集机构和剔除机构进行设计以实现预期功能，控制系统主要通过控制多通道高压气流喷嘴完成剔除动作，实现残次品青豆的在线筛选。

2.1 机械结构设计

硬件系统的机械结构设计主要是对分列导向机构与图像采集机构进行设计。分列导向机构(图4)由分路漏斗和若干条分流导向轨道组成，分路漏斗将青豆进行有序分流，通过该漏斗下方的分流通道依次排出，并随导向轨道呈瀑布式有序下落通过图像采集区。其中，导向轨道内设计有微小凸起，同列青豆能在导轨内进行一定程度的分离。

图像采集机构分布在下落青豆的前后两面，且安装在不同高度上。该机构包括两台线阵CCD传感器、线性光源、背景板和对射式光电开关(图5)，当青豆经轨道下落至图像采集区时触发相机采集青豆的正反两面图像。

1. 电磁阀 2. 单片机 3. PC机 4. 背面相机 5. 背面连体喷嘴 6. 高压气泵 7. 正面连体喷嘴 8. 正面相机 9. 光电开关 10. 导向轨道图2 系统工作原理Figure 2 Working principle of the system

1. 振动入料筛板 2. 分路漏斗 3. 分流导向轨道 4. 正面图像背景板 5. 正面连体剔除喷嘴 6. 背面线性光源 7. 背面线阵CCD 8. 右废料收集导槽 9. 合格品收集箱 10. 右残次品收集箱 11. 气源 12. 左废料收集导槽 13. 连体式电磁阀 14. 背面连体剔除喷嘴 15. 背面图像背景板 16. 废料收集导槽 17. 对射式光电传感器 18. 正面线性光源 19. 正面线阵CCD图3 硬件系统整体结构图Figure 3 Overall structure diagram

1. 分路漏斗 2. 若干条分流导向轨道图4 分列导向机构Figure 4 Sorting mechanism

2.2 线阵相机选型

线阵相机的选型主要是对相机分辨率M、采样频率k和镜头焦距f进行选择[6]。系统检测的青豆平均直径d=10 mm，一张采集图片包含一行n列下落青豆，设计图像采集工作区域宽度D=400 mm，单粒青豆在图像中反映像素个数P=40。按式(1)计算分辨率M。

1. 背面图像背景板 2. 背面连体剔除喷嘴 3. 背面线性光源 4. 背面线阵CCD 5. 正面连体剔除喷嘴 6. 对射式光电开关 7. 正面图像背景板 8. 正面线性光源 9. 正面线阵相机图5 双线阵CCD图像采集装置Figure 5 Image acquisition system

(1)

式中：

D——图像采集工作区域宽度，mm；

P——单粒青豆反映像素个数；

d——青豆直径，mm；

M——相机分辨率。

系统设定的下落青豆检测位置距离分流导槽出口h=300 mm，可按式(2)计算青豆的运动速度v。

(2)

式中：

g——重力加速度，m/s2；

h——检测位置距离青豆下落点的高度，m；

v——青豆下落速度，m/s。

根据式(2)可知青豆下落速度v，据此可计算出线阵相机所需行频k。

(3)

式中：

v——青豆下落速度，m/s；

M——相机分辨率；

D——图像采集工作区域宽度，m；

k——相机行频，Hz。

相机至青豆掉落位置距离L=350 mm，根据式(1)～式(3)可确定相机的CCD芯片尺寸S。已知拍摄图像的总宽D=400 mm，从而根据三角成像的基本原理按式(4)获得镜头焦距f。

(4)

式中：

L——相机至青豆掉落位置的工作距离，mm；

S——相机的芯片尺寸，mm；

D——图像采集工作区域宽度，mm；

f——焦距，mm。

根据式(1)～式(4)即可确定相机型号。系统选用大恒公司的LA-GC-02K05B-00-R相机，焦距f=18 mm的镜头。

2.3 控制系统设计

控制系统(图6)主要由单片机、继电器、电磁阀等元件组成，每个电磁阀口与继电器相连，受单片机控制。经图像处理后，PC将特征识别结果以特殊信息编码格式发送至下位单片机，单片机对其进行解码，并控制对应位置的电磁阀阀口打开，利用高压气流完成剔除。每一路继电器模块控制对应电磁阀，完成单通道的残次品剔除工作，其工作流程如图7所示。

图6 控制系统电路示意图Figure 6 Circuit diagram of control system

3 软件系统设计

系统的软件功能主要是对残次品的剔除信息进行编码，多线程和图像特征识别方法进行设计。系统开始运行后，利用多线程方法提高系统运行效率，通过图像特征识别方法检测残次青豆，并以特殊信息编码格式发送至下位单片机控制电磁阀完成剔除动作。软件结构图如图8 所示，其数据流图如图9所示。

3.1 残次品剔除信息编码

试验设定合格青豆信息码为“0”，非合格青豆信息码为“1”，对应所连接喷嘴的高压气流管路中的电磁阀门“开”与“关”，即可实现剔除。以16路分流导向轨道为例。信息码可由16位二进制数生成，也可表示为十六进制数，如图10所示。软件系统通过串口通讯[7]将该信息编码发送至下位单片机中即可完成剔除操作。

3.2 多线程技术

系统利用多线程处理技术来满足图像采集处理的实时性要求[8]。利用递归的内存访问方法在系统内部先开辟一定数量的内存空间用于存储数据，利用时间差的方式，使采集线程与处理线程依次访问内存，交错读写数据完成实时处理[9]。具体编程方法为：在系统内部开辟K个不同的存储空间，开始图像采集后，按时间顺序将采集到的数据放入该空间，并对其进行标记；当数据量达到K+1时，再返回至内存1内重新开始写入数据；同时，数据处理线程也同步运行，按标记顺序依次处理标记内存内存储的数据，待处理后对该空间进行清空，用于后续的数据存储。利用两个线程间的时间差对K块内存数据进行处理，如图11所示。

图7 单通道剔除工作流程Figure 7 Single channel culling workflow

图8 软件结构图Figure 8 Software structure diagram

3.3 残次品青豆特征识别

青豆产品如图12所示，分为合格青豆、腐坏青豆及破损青豆[10]。

青豆残次品特征或为颜色特征，或为形状特征，二者有一即判定为残次品，分别对两种特征进行检测，获得包含青豆颜色特征检测信息的数组A与包含青豆形状特征检测信息的数组B，并将其对应元素进行或运算计入数组C，形成剔除编码发送至下位单片机完成剔除。特征识别流程如图13所示。

图9 数据流图Figure 9 Data flow diagram

图10 青豆残次品剔除信息编码Figure 10 Information coding conversion

图12 青豆类型Figure 12 Green bean type

3.3.1 颜色特征识别方法 将采集到的图像进行RGB通道分离并转为灰度图以便于特征识别[11]。由图14可知，合格青豆为绿色，在G通道下合格青豆和非合格青豆的颜色区别较为明显，R空间与B空间下对二者的颜色特征区别表现较差。因此，选用G分量对图像进行处理，提取灰度特征。

提取G通道下的完整青豆图像，并将该图像分割成若干个小窗口，每个窗口只能容纳单粒的完整青豆，如图15 所示。

利用灰度直方图确定阈值获取单粒青豆的二值图像，如图16所示。计算单粒青豆的黑色像素占比[12]。试验结果表明，腐坏青豆黑色像素数量占比>10%，由此可区分出腐败青豆。将非合格品位置编码设置为“1”，其他设置为“0”，计入数组A。颜色特征识别流程如图17所示。

3.3.2 形状特征识别方法 选择圆形度Cr作为青豆形状特征的判断依据[13]。圆形度Cr指青豆投影与标准圆形的接近程度。

(5)

式中：

S——青豆面积，mm2；

C——青豆周长，mm；

Cr——圆形度值。

图13 特征识别流程图Figure 13 Feature recognition flowchart

图14 RGB通道下的青豆处理效果Figure 14 The effect of green beans under the RGB channel

图15 青豆单粒化分割示意图Figure 15 Green bean single granulation flow chart

图16 图像二值化Figure 16 Binary image

图17 颜色特征检测流程图Figure 17 Color feature detection flow chart

形状特征识别流程如图18所示。经试验统计，将圆形度>0.6的青豆判定为合格品，如图19所示，参数均值见表1。将破损青豆位置编码设置为“1”，合格品位置编码设置为“0”，计入数组B。

4 实验验证

选取20 000粒青豆(10 000粒合格青豆，5 000粒腐败青豆与5 000粒破损青豆)分别进行筛选试验，对合格青豆进行颜色特征和形状特征筛选，对破损青豆仅进行形状特征筛选，对腐败青豆仅进行颜色特征筛选，其数据统计如图20所示。由图20可知，系统对合格青豆的检测未发生错误，对外观残次的破损青豆筛选准确率>99%，对颜色异常的腐败青豆检测准确率>98%。

由表2可知，混合后的20 000粒青豆的检测准确率>98%，误差产生的主要原因是青豆在下落过程中自身旋转对提取其形状特征有影响；外界光线的变化不利于青豆颜色特征的提取。通过对硬件系统进行完善，可进一步提升系统筛选的准确率。

图18 形状特征检测流程图Figure 18 Shape feature detection flow chart

图19 合格青豆与破损青豆轮廓对比Figure 19 Contrast between qualified green beans and damaged green beans

表1 合格青豆和破损青豆形状参数均值

表2 试验结果

图20 合格青豆与残次青豆试验数据统计图Figure 20 Statistical graph of experimental data of qualified green beans and defective green beans

5 结论

设计了青豆在线筛选系统，利用错位安装的双线阵CCD相机实时采集多通道自由下落青豆的双面图像，实现了对青豆颗粒的全方位检测，解决了现有自动检测设备只能进行单面检测的问题，有效提高了检测装备的筛选精度。针对残次品青豆所开发的颜色以及形状特征检测算法简便、实用性强、处理效率更高。系统图像处理算法中，基于各类青豆样本统计特征得到的阈值受样本数量的影响，其鲁棒性还有待增强，以及在生产实际运行过程中进一步提高软硬件的稳定性。