机器视觉油炸鱼豆腐外观缺陷识别与剔除系统

路丹丹，王永强，詹海翔，颜 飞，曹深深，韩文龙，全洪涛

(天津科技大学机械工程学院，天津 300222)

鱼豆腐是以海水鱼鱼糜或淡水鱼鱼糜为原料，经过一系列加工制成的一种深加工食品，因其形状酷似豆腐，故而得名．鱼豆腐的加工工艺过程包括配料、加热蒸制、分切成块和油炸等工序．在对产品进行油炸的过程中，如果油的温度控制不当，或者产品投放不均匀等，便会产生产品外观颜色“过深”或“过浅”的问题．此外，个别产品的形状不规则，也属于外观质量不佳．目前，在产品生产中主要采用人工方式对上述不合格品进行挑选和剔除，不仅效率低，而且分拣剔除的标准不统一，在增加企业的生产成本的同时也不利于对产品的质量的标准化．

目前，机器视觉技术已经被广泛应用在国内外各个行业[1–3]的自动检测中，在食品生产领域[4–5]也有了长足的发展，利用机器视觉技术对油炸鱼豆腐的颜色和形状进行检测和识别，国内也有了相关研究[6]．本文设计了试验系统，利用机器视觉技术对油炸鱼豆腐产品的颜色和形状特征进行检测和识别，根据检测结果自动剔除不合格品．

1 检测原理

系统首先采集产品的图像，对图像进行分析处理，提取颜色特征和形状特征，并以此作为判据，判断产品的外观质量是否合格．特征检测流程如图 1所示．

图1 特征检测流程Fig. 1 Flow chart of feature detection

1.1 颜色特征提取

在 RGB颜色空间中，图像中任意一点的颜色值都由红、绿、蓝三色组合得到[7]．在进行颜色特征提取时，可以将彩色图像中的R、G、B三分量分别提取出来，并以灰度图像形式单独显示，如图2所示．

图2 R、G、B分量的灰度图Fig. 2 R，G，B gray image

通过比较可知，在以 B分量作为灰度值的图像中，目标图像与背景的明暗对比差异最大，故采用 B分量作为颜色特征参数，即

即使是颜色均匀的产品，在图像中各像素点的B分量值也不会完全相同，在此采用 B分量均值来判定是否合格．

在求 B分量均值时，首先需要区分图像中的前景图像与背景图像，设 T为区分前景图像与背景图像的阈值，则灰度值在[0，T–1]区间内的即为鱼豆腐产品的图像[8]，此区间内B分量的均值为

式中：N为灰度值在[0，T–1]区间内像素点的总个数；nj为灰度值为j的像素点个数．

阈值 T采用最大类间方差法(OTSU)求取[9]，原理如下：假设图像中有 nj个灰度值为 j的像素点，所有像素点的灰度值均在范围为[0，H–1]中，则图像中像素点的总数为

灰度值为j的像素点出现的频率为

假设存在灰度值T，使T在[0，H–1]区间内依次取值，则彩色图像中的像素点根据 T分成 X和 Y两类，X类中所有像素点的灰度值在[0，T–1]区间，Y类中所有像素点的灰度值在[T，H–1]区间中，则X和Y两类像素点出现的概率分别为

X与Y两类像素点的平均灰度分别为

则整幅图像的平均灰度

两类像素点的总方差为

T在[0，H–1]区间内依次取值，可使两类像素点的总方差最大的阈值T便是区分前景图像与背景图像的最佳分割阈值[10]．

在求得前景图像的 B分量均值后，将其与区分合格品与不合格品的阈值 T1进行对比，即可判断产品是否合格．求取阈值T1的方法是，对若干产品的图像进行灰度化处理后进行统计，得到合格品的 B分量均值集合和不合格品的 B分量均值集 合．从合格 品 集 合中选取最小值，从不合格品集合中选取最大值，两者的平均值即为阈值T1，即

将产品图像的 B分量均值与1T比较，若大于1T则为合格品，否则为不合格品．

1.2 形状特征提取

采用目标区域图像的面积和矩形度作为形状特征．首先将根据式(1)得到的灰度图像二值化处理：

在二值化处理后的图像 f(i，j)中，白色区域所有像素点的个数称为目标区域图像面积，记为 A．矩形度是指目标区域与最小外接矩形之间相似的程度，最大值为1，其数学模型为

式中：L为目标区域的最小外接矩形的长度；W 为目标区域的最小外接矩形的宽度[11]．

由于目标区域的边界形状不规则，选用旋转法求取目标区域的最小外接矩形[12]：首先以当前姿态目标区域的 4 个边界坐标点(xmax，y1)、(xmin，y2)、(x1，ymin)、(x2，ymax)建立一个外接矩形，求外接矩形面积A0，然后使目标图像旋转角度 θ，用同样的方法求当前外接矩形面积 A1，直至旋转 360°后，比较所求得所有的外接矩形面积，其中面积最小的即为目标图像的最小外接矩形[13]．综合考虑软件系统的处理速度和计算精度要求，取 θ＝10°．图像的最小外接矩形如图3所示．

图3 最小外接矩形Fig. 3 Minimum enclosing rectangle of image

2 系统结构设计

2.1 系统构成

外观缺陷识别与剔除系统与鱼豆腐的油炸生产线相连接，对生产线上炸制完毕后的产品进行检测．系统主要由振动上料装置、防重叠和防粘连的分列装置、图像采集装置和剔除装置构成．图 4为该系统的结构示意图．

图4 系统结构示意图Fig. 4 Diagram of the system

振动上料装置主要由传送带和振动上料机组成，产品沿传送带送入振动上料机构中，通过振动上料机构的振动将生产线输出的粘连成堆的产品分散开，以便于后续装置对产品的分离排序．

防重叠和防粘连装置利用门型框架、分列装置以及两条差速传送带来完成产品的有序排列．其中，门型框架可将一级传送带上重叠在上层的产品阻挡下来，使其保持单层分布，门型框架的高度可根据产品调节；同时，分列装置可将呈无序状态的产品按列形成有序的排列．差速传送带利用先慢后快的两条传送带之间的速度差将前后靠在一起的产品拉开一定的距离，以便之后的图像采集装置采集单粒产品的图像，为后续不合格品的分拣剔除奠定基础．

图像采集装置由对射式光电传感器、单片机、工业相机、镜头、光源和灯箱组成．当产品进入图像采集区域时，触发对射式光电传感器发送信号至单片机，单片机控制相机进行单次图像采集，相机将采集到的图片传输至计算机，并且在计算机中对采集到的图像进行分析处理，判断产品是否合格．其中，灯箱为采集图像提供避光的环境，以减少其他外界光源的干扰，灯箱的内壁喷涂哑光涂料以减少反射．

剔除装置为多个独立的执行机构，与产品的分列相对应，每个剔除装置由电磁铁和滑道构成．单片机接收上位机给出的单列、单粒产品识别结果所生成的信息码，在不合格品到达剔除机构时，控制相应列的电磁铁驱动具有翻转功能的滑道产生翻转动作，剔除残次品．剔除装置简图如图5所示．

图5 剔除装置简图Fig. 5 Diagram of the removing device

2.2 照明光源的设计

系统中的照明光源对采集到的图像质量有较大影响．本系统针对产品的表面特征进行检测，因此选择正光照射的方式，以充分显现其表面特征．LED光源相比其他光源单个光源体积小，工作寿命长，价格低，实验效果良好，因此选择环形 LED光源．相机置于环形光源中央，与光源处于同一水平面内，此种方式可以达到无阴影、足够亮度的要求．

2.3 剔除信息码

上位机经图像处理后传输给下位单片机完成针对每列不合格品剔除动作的控制码称为信息码．本系统将产品分成5列检测，对于每一列采集处理窗口内的单粒产品检测，合格用“0”表示，不合格用“1”表示；当前窗口内各列中没有产品也用“0”表示．根据此原则，信息码为 5位二进制编码，每一位分别代表对应列的检测结果信息．例如 01101，表示其中 3列的当前产品为不合格品，需要剔除，其他两列为合格或者没有产品．

3 实 验

人工挑选出合格品和不合格品两类产品，再将不合格品分为颜色不合格、形状不合格、颜色和形状都不合格3类，4类产品每类各150个，共600个样本，测试系统的可靠性．先分别对每类产品进行检测，再将 4类产品混合后进行检测．实验中，相机分辨率为130万像素，一级传送带的速度为 0.03,m/s，二级传送带的速度为0.09,m/s．实验结果见表1．

从表1可以看出：系统对各类产品的检测正确率均在 96%,以上，对混合产品的检测正确率在 98%,以上，表明本系统可以应用于油炸鱼豆腐的外观质量检测与剔除．本次实验中对合格品的检测准确率最低，对颜色和形状都不合格品检测准确率最高．检测受传送带速度、产品表面反射光线及产品自身颜色不均匀等因素影响，可能出现检测误差，当可辨识的特征较明显时，检测准确度更高，当传送带速度较高时会发生翻转动作不及时而漏剔除，应根据实际情况限定最高传送带速度．

表1 实验结果Tab. 1 Results of the experiment

4 结 语

本文提出了一套基于机器视觉对油炸鱼豆腐产品外观质量检测与剔除的试验系统．通过对产品外观颜色和形状的检验，判断各列产品是否合格，通过信息码控制电磁阀驱动翻板旋转，从而实现对不合格产品的剔除动作．

［1］ 桂卫华，阳春华，徐德刚，等. 基于机器视觉的矿物浮选过程监控技术研究进展[J]. 自动化学报，2013，39(11)：1879–1888.

［2］ 胡炼，罗锡文，曾山，等. 基于机器视觉的株间机械除草装置的作物识别与定位方法[J]. 农业工程学报，2013，29(10)：2–18.

［3］ Heiskanen V，Marjanen K，Kallio P. Machine vision based measurement of dynamic contact angles in microchannel flows[J]. Journal of Bionic Engineering，2008，5(4)：282–290.

［4］ 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自动分级方法[J]. 农业工程学报，2012，28(7)：178–183.

［5］ 赵茂程，候文军. 我国基于机器视觉的水果自动分级技术及研究进展[J]. 包装与食品机械，2007，25(5)：5–8.

［6］ 周聪玲，宋振国，王永强，等. 油炸鱼豆腐外观质量检测方法研究[J]. 粮油加工，2015(3)：46–50.

［7］ 张兰凤，郭丹. 利用 Matlab软件对医学彩色图像的空间转换[J]. 科技创新与应用，2015(29)：43.

［8］ 陈蕴，陈松. 基于动态范围调整的指纹图像增强方法[J]. 计算机工程与应用，2015，51(8)：183–188.

［9］ 朱齐丹，荆丽秋，毕荣生，等. 最小误差阈值分割法的改进算法[J]. 光电工程，2015，37(7)：107–113.

［10］ 杨力，李东新. 基于遗传算法的图像阈值分割的研究[J]. 信息技术，2015(11)：116–120.

［11］ 孙丽媛，杨鸿玉，王汝梅. 图像形状匹配及特征识别在铁矿石熔点检测中的应用研究[J]. 工业控制计算机，2010，23(6)：31–32.

［12］ 卢蓉，范勇，陈念年，等. 一种提取目标图像最小外接矩形的快速算法[J]. 计算机工程，2010，36(21)：178–180.

［13］ 李洋，李岳阳. 一种快速提取植物叶片最小外接矩形的算法[J]. 江南大学学报：自然科学版，2015，14(3)：273–277.