基于傅里叶描述子和Hu不变矩的油茶果识别

陈斌，饶洪辉，刘木华

(江西农业大学工学院 江西省现代农业装备重点实验室，江西 南昌 330045)

茶油富含甘油脂、不饱和脂肪酸及各种维生素，具有较高的营养价值[1]，发展油茶产业可以带动区域经济的增长。当前油茶果采摘主要依赖人工，智能化程度不高。利用机器视觉辅助采摘油茶果可以提高采摘效率，而识别出油茶果是采摘的前提。青色油茶果在形状特征上和背景不同，可以作为识别的依据。傅里叶描述子可以重构物体的边界，抽取轮廓特征，Hu不变矩可以描述物体的区域特征。因此，可以利用傅里叶描述子和Hu不变矩形状特征来识别油茶果。

在形状特征提取方面，李寒等[2]融合快速归一化互相关函数和霍夫变换方法检测了绿色番茄果实。孙永香等[3]研究了基于Freeman链码的轮廓跟踪算法提取果实图像外形轮廓的方法，利用链码特性计算果实形状特征参数，为果实形状特征的描述提供了有效的方法。戚利勇等[4]为定量描述黄瓜形状，应用椭圆傅里叶描述子来定量描述黄瓜边界信息，并进行了尺度变换、旋转变换及起始点变换归一化处理。利用描述子对黄瓜边界进行重建，对重建后边界做误差分析。试验结果表明，采用椭圆傅里叶描述法，只需少量描述子即可完成黄瓜形状识别，并可准确重建原始形状。赵文旻[5]采用霍夫变换方法对多个粘连苹果果实进行分离，试验表明，这种方法可以取得较好的效果。谢锋云等[6]提取苹果Hu不变矩作为苹果的形状特征，依据隐马尔可夫模型识别方法，对不同颜色和形状的苹果进行了分类识别，进而完成苹果分级。试验表明，该方法完成的分级识别率为100%。

在油茶果识别方面，石良德[7]提出了基于色差分量阈值分割的成熟油茶果自动识别算法，油茶果及其背景颜色相似时，易造成误识别。李昕等[8]提出了基于偏好人工免疫网络识别的油茶果多特征融合识别方法。青色油茶果和背景色差不大，较难识别，本文提出一种基于归一化傅里叶描述子特征和Hu不变矩用BP神经网络识别油茶果的方法，以期提高油茶果的图像识别率。

1 油茶果图像采集与试验环境

1.1 油茶果图像采集

2019年9月14—23日晴天在江西省林业科学院国家油茶林基地进行图像采集，图像分辨率为640×480像素。采集了典青、赣兴46、赣抚20等34个品种的油茶果图像并保存成JPG格式。图1为拍摄的部分油茶果图像。

图1 4个油茶果品种的图像

1.2 试验环境

本试验的计算机配置如下:CPU型号是Intel(R) Core(TM)i5-9400F，主频2.90 GHz，内存RAM为32 GB，操作系统是Windows10 64位操作系统。图像处理软件使用的是R2016a版本的matlab。

2 油茶果图像分割

将油茶果图像进行中值滤波和图像均衡化预处理，以改进图像质量。对预处理的油茶果图像从RGB颜色空间转换到HSV颜色空间，H分量有明显的双峰特性，因此，提取H分量进行阈值分割。得到的二值图像有小面积图像残留和空洞以及毛刺，因此，采用形态学开闭运算和面积阈值法处理得到分割效果较好的油茶果。图2为二值化油茶果图像。

图2 4个油茶果品种的二值化图像

3 傅里叶描述子识别油茶果

3.1 傅里叶描述子原理

傅里叶描述子是将物体的目标边界轮廓曲线构建成一维序列，通过对序列进行傅里叶描述子变换来获取傅里叶系数，用边界点的坐标对序列系数来描述边界的形状[9-11]。假设边界上有N个边界点，起始点为(x0，y0)，按照逆方向就可以将边界表示为式(1)所示的坐标序列:

s(k)=[x(k)，y(k)]，k=0，1，2，3，…，N-1；

x(k)=xk，y(k)=yk。

(1)

为了将二维表达转化成一维，引入复数表示方法。把目标边界看成从某点开始，顺着边界逆时针方向旋转一周的周长是一个复函数，设为s(k)，则有:

s(k)=x(k)+j·y(k)，k=0，1，2，…，N-1。

(2)

用一维离散傅立叶变换系数a(u)表示复数s(k):

(3)

式中复系数a(u)叫做边界的傅立叶描述子。通过对傅立叶描述子逆变换可以重构边

(4)

3.2 归一化傅里叶描述子提取

对傅里叶描述子进行归一化操作后即可使描述子具有平移、旋转、尺度不变性，即不受轮廓在图像中的位置、角度及轮廓的缩放等影响，是一个鲁棒性较好的图像特征。对二值图像提取归一化傅里叶描述子。采用各阶傅里叶描述子的模除以一阶傅里叶描述子的模进行归一化。提取傅里叶描述子的前8阶(D1～D8)，进行归一化处理，特征提取结果见表1。

表1 归一化傅里叶描述子前8阶特征提取的结果

3.3 BP神经网络识别

BP神经网络是一种信息前向传播，误差反向传播的多层前馈型网络，具有较好的非线性映射能力和泛化能力[12-14]，本研究选用BP神经网络识别油茶果。训练集由150幅油茶果图像的归一化傅里叶描述子组成，测试集由60幅油茶果图像归一化傅里叶描述子组成。网络的输入层为8，即为8阶归一化傅里叶描述子，隐含层个数为4，输出层为1，学习速率0.3，动量因子0.9，期望误差设为0.001，最大迭代次数3 000，隐含层和输出层的传递函数选择tansig和purelin。取油茶果前8阶傅里叶描述子，归一化后作为BP神经网络的输入量进行训练。当结果收敛且效果较好时，作为测试的网络保存(图3)。采用训练好的网络对60幅二值化油茶果图像进行测试，正确识别51幅，9幅识别不成功，油茶果的识别率为85%,识别不成功的情况如表2所示。

表2 油茶果识别不成功的统计结果

图3 收敛曲线

4 基于Hu不变矩的油茶果识别

4.1 Hu不变矩原理

Hu不变矩是一种基于区域的图像几何特征，具有旋转、平移、尺度等特性的不变特征[15-17]。

图像连续时，满足黎曼积分的可积条件，此时设图像的函数为f(x,y)，那么图像的p+q阶几何矩(标准矩)定义:

mpq=∬Rxpyqf(x,y)dxdy。p=0，1，2…，q=0，1，2…。

(5)

p+q阶中心距定义为:

(6)

(7)

零阶矩:

m00=∬f(x,y)dxdy。p=0，q=0。

(8)

一阶矩(p+q=1):

(9)

对于离散的数字图像，采用求和号代替积分:

(10)

若

(11)

中心距定义为:

(12)

归一化中心距定义为:

(13)

利用二阶和三阶归一化中心矩构造7个不变矩(M1～M7)[18-20]:

M1=η20+η02；

(14)

M2=(η20-η02)2+4η112；

(15)

M3=(η30-3η12)2+3(η21+η03)2；

(16)

M4=(η30+η12)2+3(η21+η03)2；

(17)

M5=(η20-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+3(η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]；

(18)

M6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)；

(19)

M7=(3η12-η30)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21-η03)[3(η30+η12)2-(η21+η03)2]。

(20)

4.2 Hu不变矩提取结果

对210幅二值化油茶果图像提取7个Hu不变矩，提取的Hu不变矩部分结果如表3所示。

表3 7个Hu不变矩提取的结果

4.3 Hu不变矩识别结果

150幅油茶果图像的Hu不变矩归一化后作为BP神经网络的输入，剩下60幅油茶果图像的Hu不变矩用来验证。用有动量因子的BP网络识别，BP网络结构为7-4-1，隐含层和输出层都采用logsig函数。最大迭代次数设置为1 000，学习率0.2，动量因子0.8，收敛误差为0.001，将规定期望设为0.9，输出大于0.9的为油茶果，小于0.9的为背景。对60个样本进行测试，识别结果如图4所示，从图4中可以看出，经过58次迭代网络达到了收敛，误差为0.000 91。输出的结果均大于0.9，识别率为100%。

图4 Hu不变矩识别结果

将表2中油茶果图像进行Hu不变矩识别，结果如表4所示。从表4中可以看出，用归一化傅里叶描述子没有识别出来的油茶果通过Hu不变矩特征能够成功识别。用Hu不变矩特征识别油茶果成功率比归一化傅里叶描述子提高了15%。

表4 Hu不变矩识别的结果

5 小结

本研究针对青色油茶果和背景色差不大，难以识别的情况，提出基于归一化傅里叶描述子和Hu不变矩的油茶果识别方法。提取了油茶果图像的归一化傅里叶描述子和Hu不变矩作为BP神经网络的特征输入向量进行识别。结果显示，基于归一化傅里叶描述子特征的油茶果图像识别率为85%，基于Hu不变矩的油茶果图像识别率为100%。