FPGA图像处理系统在棉种分选中的应用实现

刘艳丽 余淑华 杜鸿运 王世璞

(天津光学精密机械研究所，天津 300384)



FPGA图像处理系统在棉种分选中的应用实现

刘艳丽 余淑华 杜鸿运 王世璞

(天津光学精密机械研究所，天津 300384)

为满足新疆脱绒棉种对外观品质如红种、破碎棉种、开口棉种及瘪籽异型的检测分选要求，以FPGA为核心处理器构建棉种图像处理系统的硬件平台。具体通过建立样品图像的HSV色彩空间模型，分析正常种、红种在色相H、饱和度S特征量的差异，以及破碎粒、开口粒在色度H的差异。同时建立面积-外围周长比因子及相应的不合格品分离度量参数，进一步通过阈值分割算法实现对异色、破碎、开口物料的判定。试验结果表明，该方法对棉种中的不合格品识别率达99%，为进一步完善种子类外观品质检测提供了理论依据。

FPGA 图像处理 HSV色彩空间 阈值分割 棉种分选

0 引言

优质棉种是先进技术的载体，是新疆生产建设兵团推广精量播种技术和发展精准农业的基础。近年来，新疆棉种的成熟度明显降低，发芽率较低，外观呈红褐色的脱绒棉种(红种)所占的比例增大，而棉种在加工过程中经过轧花机、剥绒机、离心滚筒、提升机、抛光机等工序，造成了棉种的大量破损。红种和破碎棉种将严重影响棉种的质量，明显降低棉种的发芽率，阻碍了精量播种技术的发展。而由于红种颜色差异作为一个分选的定性指标，人工评判很难达到统一的评判原则。目前市场上主流的棉种色选机分选精度较低，尤其对破裂、裂口的识别分选效果有限。本文针对原料中红种、破碎、去皮、裂口等的加工分选需求，建立基于FPGA硬件平台的嵌入式高速图像处理平台，完成 HSV彩色空间模型的搭建，并利用对色相、饱和度、亮度分量的具体分析，实现对红种、碎种、开口粒的图像判定，为进一步提高棉种精选设备的外观品质检测提供了理论依据[1-2]。

1 系统检测方案及原理

棉种分选系统利用光电原理，采用高速线阵CCD相机把高速流动的物料信息转换成RGB彩色图片数据信息，并利用FPGA图像处理平台，通过实时分析瑕疵产品与正常产品表现出的特征数据差异确定剔除规则，实现对不合格品的分选。以新疆棉种为例，不合格品与合格品差异分为颜色差异与形状差异两类。颜色差异主要体现在针对不成熟红种的特征识别上，利用红种与正常种对光线吸收与反射强度的不同，采用CCD光电传感器将光信号转换成电信号，并传送到图像处理系统，通过数字信号处理系统实现异色判定分析。形状差异缺陷主要针对破碎、开口等不正常形状，由于这些表面缺陷都表现为棉种表面存在较亮的区域，因此在算法分析上与异色识别具有一定的互通性。处理平台针对彩色线阵CCD数据格式的RGB空间分量对颜色描述不符合人们对颜色感受的特点，以及每个分量的特征与物料外部信息的相关性，提出了建立物料的HSV色选空间模型。通过对棉种图像在HSV空间向量特性的分析，采用色相H、饱和度S作为种子颜色判定的特征向量，实现红种的判定。而对形状缺陷包括破碎、开口等不正常形状，采用色相H作为输入向量，通过利用阈值分析及面积-周长比作为特征量分析，实现判定规则[3-4]。

2 硬件平台

测试系统相机采用东芝CCD彩色线阵相机,其核心感光芯片为TCD2566，5340×4像素，支持高达40 MHz的像素时钟，采样行频10.5 kHz,光源采用白光LED，色温5 000 K,聚光设计，物料检测线照度超过20 000 lux，双面检测。测试样品为新陆早32号，原料中异色率10%～15%，破碎及开口率5%～10%。通过CAMLINK 电缆将FPGA图像处理平台与采样相机连接，实现RGB彩色成像数据及控制指令的传输。因此，硬件设计处理平台包括Camera link 接口模块、SRAM 外部数据缓存模块、FPGA核心处理模块以及执行和通信接口控制单元等。Camera link通信接口采用LVDS差分传输保证图像数据传输的带宽及稳定性，SRAM外部数据缓存模块采用乒乓存储机制解决嵌入式图像的采集及存储问题，FPGA核心处理模块采用硬件处理算法架构，实现物料特征信号的分析及控制操作。FPGA图像处理系统硬件架构实现框图如图1所示[5-6]。

图1 FPGA处理平台系统框图

Camera Link信号包括图像数据信号、相机控制信号及异步串行通信信号3部分。图像数据信号由24位彩色图像数据和4位图像数据同步信号组成，利用28位Channel Link芯片DS90CR286实现，FPGA通过其端口的28位数据信号和1位时钟信号实现线阵相机图像的采集。

相机控制信号包含4路LVDS信号，由DS90LV031实现FPGA控制指令对相机的操作。异步串行通信信号用于相机和FPGA图像处理平台的串行通信，由DS90LV049实现。Camera Link原理如图2所示。

图2 Camera Link 原理图

SRAM 外部数据缓存模块作为图像数据输入和输出的高速缓存，系统采用两片ZBT SRAM进行乒乓数据采集。ZBT SRAM为系统提供最大的吞吐量及系统带宽，不存在总线延迟，利用FPGA内部时钟管理模块产生控制时钟。具体操作为：当FPGA接收到CAMLINK图像数据时，将该数据根据FPGA内部地址控制器存储于外部SRAM1中，待指定行数接收完毕后，向FPGA处理单元传送。同时，把后续行数据暂存于SRAM2中，等待后续行数接收完成发送到处理单元，依次循环。测试用CCD相机像素5 340×3,单通道行频达到10.5 kHz,数据通量1.2 GB/s，ZBT SRAM在250 MHz的操作频率下，最大数据流通量可达4.5 GB/s,足够满足系统数据存取速度需求。

FPGA核心处理模块控制芯片采用EP4CE30F23C6N,片上资源包括594 kB片上SRAM，28 848个逻辑单元，1 803个LABS，时钟处理频率可达200 MHz。FPGA作为主控制器实现数据处理平台与相机的数据传输、控制及通信等任务；将Camera link接口传来的图像数据采用乒乓操作的方式，暂存于外部SRAM中，在预定的时间将数据输入到图像处理单元;由图像处理单元通过对采样数据的HSV空间转换、阀值分割等算法实现物料外部特征的判定，并发出控制指令控制相应的执行机构剔除动作[7]。

3 软件平台

FPGA图像处理平台的基本功能包括CCD相机图像数据的读取、相机控制，图像数据的高速缓存，图像空间的转换，特征提取，阈值分割及剔除指令的控制等。棉种图像信号的处理流程如图3所示。

图3 棉种图像信号处理流程图

系统处理平台启动CCD检测相机工作后，首先采用乒乓操作对CCD视频数据进行高速读取缓存;然后对进入处理通道的数据进行预处理滤除背景及杂散波;下一步对RGB格式数据进行HSV空间转换，在HSV彩色空间下，利用H、S分量建立颜色特征向量模型，实现原料中红种的识别；同时利用H分量二值化分析实现特征区域面积、周长的提取，利用预先建立的形状模型库实现破碎、开口、瘪籽等异形的提取；最后将特征向量综合到执行控制器完成不合格品的剔除控制[8-9]。

3.1 颜色特征信息提取

由于彩色线阵CCD输出红色R、绿色G、蓝色B分量间的不独立性，使得在进行图像处理时会造成各个属性间的串扰，影响分选结果；HSV空间模型基于视觉原理建立，能符合人们的视觉习惯。尤其针对色选系统的颜色判定中，色度属性H能准确地反映颜色种类，对外界光照条件的变化灵敏程度低，对同一颜色属性物体，具有较稳定和较窄的数值变化范围，且可同时借助饱和度S作为辅助判定条件，能很好地实现棉种分选系统中对不成熟红种的识别。HSV颜色空间模型如图4所示，为六棱锥体，其中色相H用圆锥中心轴角度表示，即所处光谱颜色的位置，范围从0～360°，红、绿、蓝分别间隔120°，互补色分别相差180°，即红色对应角度0°，绿色对应角度120°，蓝色对应角度240°；饱和度S用圆锥横截面的圆心到该点距离表示；明度V用圆锥横截面圆心到顶点的距离表示。RGB空间图像到HSV 颜色空间转换公式如下[10]。

图4 HSV空间模型

(1)

G'=G/255

(2)

B'=B/255

(3)

Cmax=max[R',G',B']

(4)

Cmin=min[R',G',B']

(5)

Δ=Cmax-Cmin

(6)

(7)

(8)

V=Cmax

(9)

式中：R,G,B分别为CCD相机输出的RGB通道像素值；H∈(0°,360°)，是角度的色相角；S∈(0,1)为饱和度；V∈(0,1)为亮度；Cmax为亮度最大值；Cmin为亮度最小值。

本文对脱绒棉种部分样品图像在Matlab下进行了RGB到HSV的颜色空间转化，并同时给出了RGB空间对应的直立方图及HSV空间对应直立方图进行对比，如图5所示。由图5可以明显看出，HSV空间在色度及图像分析上具有明显优势。其中，横坐标依次对应灰度值及相关HSV值，纵坐标为相应的计数值。从HSV转换结果可以看出，正常棉种A与红种B在色度H的区别比较明显，因此可以将H作为主要特征向量，S作为辅助向量来实现物料中红种的判别。

我们也可以在HSV空间通过形状模型算法,实现破碎、裂口、掉皮等种子的判别。

图5 物料RGB和HSV直立方图效果比对图

由于在FPGA的硬件图像处理平台下， FPGA作为一个二进制数字系统使用角度计算存在不便性，因此，设计采用2的幂表示60°(如64)来简化乘法运算。考虑到用硬件语言完成HSV空间转换，除必须通过差值计算得到H、S算式中的分子外，还需要用多路复用器来选择分母中的最大最小量，而更重要的复杂度是用来归一化色度和饱和度的两个除法器。本文中我们直接调用ALTER 自身提供的硬件除法器IP核来实现，以减少资源的损耗；在计算色度偏移量时，最大像素为红色时，色轮被旋转以使得0色度与品红色对应保存求模归一化。因此，色度偏移量可按照如下公式计算：

偏移量 = 256×Bmax+128×Gmax+64

(10)

经过HSV颜色空间转换后，下一步就需要对像素点的颜色进行判定，检测目标像素是否符合次品颜色要求；本文采用基于HSV空间的阈值分割法实现颜色特征的判断。假如有N个像素点：P1，P2，P3,....,Pn分别代表出现的N种颜色的各分量范围，理想情况下，它们的交集为空。但在实际应用中，由于相机成像质量及物料下落中光照角度的变化，每种颜色的阈值往往不是一个定值，为避免误判每个分量由两个阈值Pa,Pi界定，位于阈值之间的值可判定为该颜色;在HSV模型中对应的每个像素点使用6个阈值：Ha,Hi,Sa,Si,Va,Vi,识别某种特征颜色设定阈值应满足：

Hi≤Hn≤HaSi≤Sn≤SaVi≤Vn≤Va

满足上述条件则判定为该颜色。而在系统具体实现中，我们仅选取H、S特征量足以实现颜色判定。

3.2 形状信息提取

破碎及裂口棉种最基本的特征体现在边缘长度急剧的变化，而对应面积变化甚小，尤其裂口棉种，在边缘长度急剧增加的情况下，有效面积基本不变或反向减小。因此，在破碎、裂口棉种的检测中，可采用特征区域的面积-周长平方比作为一特征参数定义为圆弧度。通过对实验样品中合格种子及开口种子的特征参数的提取，发现合格种子的圆弧度集中在0.72～0.78之间，破碎、开口棉种的圆弧度集中在0.5～0.6之间，存在明显差异，因此可以作为一有效特征参数。在FPGA硬件处理平台上，有效面积的计算可通过在HSV空间对H分量的背景分割阈值化后对像素个数的累加计算获得，边缘长度的获取看似相对复杂。本文中，我们充分利用FPGA的并行性及流水线处理方法，利用线阵CCD行扫描优势，仅仅通过物料连通区域的判定，利用线阵CCD在单粒棉种行扫描断点像素个数的判定计算获得。线阵CCD行扫面模拟图如图6所示，左侧为正常棉种，右侧为裂口棉种。

图6 正常棉种与裂口棉种行扫描模拟图

边缘长度计算公式如下：

(11)

式中：Si为单行扫描遇到连通区域断点的次数。连通区域断点的判定可以通过有效特征区域内是否有N×N个连续像素值为非物料像素值确定，可以简化为阈值化后的脉冲个数计算。如图6为行扫描对应的完整种子与裂口种子模拟图，其中白线部分表示裂口区。由于裂口处内核的外露导致裂口处相对像素值会有明显的梯度变化，因此我们利用种子边缘及裂口处都同时存在像素值的梯度变化现象，将存在较大梯度变化的像素个数累加和作为圆弧度对应的边缘周长。

体现在硬件编程语言可以通过信号二值化后边沿脉冲计数的方式实现，如：

Always@(edgelim_corposedgeacle)

Begin

Fig.1if(acle)Cnt_l<= 1'b0;

elseCnt_l<=Cnt_l+ 1'b1;

end

其中，lim_c表示色度H信号阈值分割后的二值化信号；acle表示单粒棉种扫描完成后计数复位信号；Cnt_l表示H信号二值化后脉冲边沿计数器。

4 结束语

本文针对棉种分选系统研究实现的嵌入式高速图像硬实时处理平台，充分利用FPGA并行分布式处理系统的高效性，在满足物料从检测到执行的时间约束前提下，最小处理速率可控制在30粒/s，处理系统的算法分析将被检测棉种的表面特征信息中区域内部像素的色度特征(如颜色、饱和度等)、形状特征(破碎、裂口等)作为一个多维特征向量，输出一个二元检测判定方案：接受或者拒绝，并同时完成对相应执行机构的驱动控制，实现棉种优劣品的分选。该硬件平台及算法设计已在实际的棉种分选系统中得到验证，实验测试原料中红种及破碎、开口物料含杂率15%～20%，精度达到99%。同时，文章建立的FPGA硬实时图像处理平台及提到的HSV色度判定算法、形状模型提取算法可同时使用于其他物料如茶叶、果品等的外观品质检测分选过程中。

[10]彭江南,谢宗铭,杨丽明,等.基于Seed Identification软件的棉籽机器视觉快速精选[J].农业工程学报,2013,29(23):147-152.

[11]邵鲁浩,坎杂,李景彬,等.基于形状特征的脱绒棉种品种识别[J].农业工程学报,2011,12,27(S2):86-89.

[12]李景彬,坎杂,江英兰,等.基于机器视觉的脱绒棉种外观质量检测装置的研究[J].石河子大学学报：自然科学版,2006,24(6):761-764.

[13]陈立国,王库.基于TMS320DM642的嵌入式棉籽识别系统[J].农机化研究,2007(2):178-181.

[14]李伟,于振东,陈涛,等.基于形态学的棉花种子破损检测[J].农业机械学报,2009,40(4):169-172.

[15]刘韶军,王库.基于机器视觉的棉种破损检测技术[J].农业机械学报,2009,40(12):186-189.

[16]Zhou YuBin,Yang YuNing.Real-time Multi-channel Vision Processing Based on DSP&FPGA[C]．The 2013 AASRI Winter International Conference on Engineering and Technology:2013:162-165.

[17]Gao Jingang,Zhang Shuang,Men Yuzhuo,et.Journal of Theoretical and Applied Information Technology,2012,45(1):315～319.

[18]Li Jingbin,Chen Bingqi,Shao Luhao,et al.Variety identification of delinted cottonseeds based on BP neural network[J].Transaction of the Chinese Society of Agricultural Engineering,2012,28(2):265-269.

Application and Implementation of FPGA Image Processing System in Cottonseeds Sorting

In order to meet the detecting and sorting requirements for appearance quality of Xinjiang cottonseeds,e.g.,red seeds,broken seeds,openings seeds and profiled shriveled seeds,the hardware platform of the cotton seeds image processing system is constructed with FPGA as the kernel processor.Through establishing the HSV color space model of the seeds image,the difference between normal seeds and red seeds in H and S feature amount; and the difference between broken seeds and openings seeds in H are analyzed; and the ratio factor of area - periphery perimeter is setup,then the separating metrics parameters of the unqualified products are established; and thus the judgment of the different color,broken,and openings materials is implemented through threshold separation algorithm in further.The test results show that the recognition rate of the unqualified products in cottonseeds is up to 99%; the method provides theoretical basis for detecting appearance quality of various seeds.

FPGA Image processing HSV color space Threshold separation Cottonseed sorting

国家科技支撑计划基金资助项目(编号：2012BAF07B04)。

刘艳丽(1981-)，女，2008年毕业于桂林电子科技大学控制理论与控制工程专业，获硕士学位，工程师；主要从事嵌入式图像处理系统的开发研究。

TH86;TP391

A

10.16086/j.cnki.issn1000-0380.201601010

修改稿收到日期：2015-04-23。