基于机器视觉的无序堆放西瓜识别与定位技术

摘 要：【目的】研究一种基于机器视觉的西瓜识别与定位技术，满足西瓜搬运设备的自动化要求，为自动搬运设备的视觉部分提供技术支持。

【方法】采集西瓜的二维图像数据与三维点云数据。调用OpenCV函数库分割西瓜二维图像，提取出西瓜的外轮廓；采用PCL函数对三维点云数据进行预处理，并与二维图像作图形特征匹配，提取出顶层西瓜的质心点。

【结果】单轮次的西瓜轮廓总识别率为97.62%，正确识别率为95.58%，质心识别率为92.72%。20轮测试的总轮廓识别率为98.02%，总正确识别率为96.53%，总质心识别率为94.17%，总质心个数和总西瓜个数之间的误差率为2.36%；西瓜图像处理的总用时为101.8s，效率提高了77.8%。

【结论】基于机器视觉的西瓜识别与定位技术识别率较高且误差率较低。

关键词：西瓜；识别与定位；质心提取；图像处理；点云；OpenCV；PCL

中图分类号：S126；S651"" 文献标志码：A"" 文章编号：1001-4330（2024）07-1805-09

0 引 言

【研究意义】西瓜是夏季主要的瓜果之一［1-2］。近年来西瓜产量逐年提升［3-5］。高效率的自动化西瓜运输与搬运设备成为应对庞大市场需求的必要条件，而西瓜的视觉识别是其中的关键技术环节［6］。传统人工搬运成本高，效率低，西瓜损伤率也较高［7-8］。使用搭载视觉识别设备的搬运设备，能够较好地解决此类传统问题［9-10］。【前人研究进展】近年来，机器视觉技术在农作物的二维图像识别与三维点云处理领域上运用迅速［11-12］。宋晨旭等［13］提出了一种改进后的分水岭分割算法，基于OpenCV函数库对多个粘连的大豆进行图像预处理，使用多次判断的分水岭分割算法，得到每一个单独个体的大豆图像，对大豆颗粒总数的识别率达到99.5%。刘万辉等［14］提出一种在温室实景下的西瓜识别法，通过西瓜的颜色特征，采取R-B色差模型对西瓜进行预处理，针对重叠的西瓜采用圆形霍夫变化对其进行图像分离，单个西瓜的识别率达到97.5%，重叠西瓜的识别率为84.9%。吴明清等［15］通过红绿色差法对西瓜剖面图像进行阈值分割，同时采用椭圆拟合法求得西瓜的中心和长短轴，具有较强的精准度。刘德儿等［16］通过改进YOLACT算法对脐橙果实进行实时分割，利用最小二乘法对分割出的点云进行外形拟合，得到其质心坐标，定位误差为0.49 cm。【本研究切入点】目前，国内关于西瓜的视觉处理研究大部分集中在单个西瓜的识别上［17］，且多停留在二维图像识别领域。对西瓜的三维点云处理研究较少，对大量且杂乱堆放西瓜的识别研究较少［18］。单一的二维图像处理技术对单层西瓜的识别效果较好，但对堆放西瓜识别存在不足，二维图像处理技术在三维识别领域的应用效果相对较差。利用最小二乘法对西瓜点云进行球状拟合的过程中，由于西瓜并不是一个规范的球体，导致西瓜的定位有较大的误差，无法达到自动西瓜抓取的精度要求。若高效搬运西瓜，需要识别与定位多个无序堆放西瓜的设备。【拟解决的关键问题】将二维图像数据与三维点云数据相融合的新型西瓜识别定位，利用OpenCV数据库［19］对堆放西瓜的二维图像进行处理，同时调用PCL数据库［20］对堆放西瓜的三维点云信息进行处理，通过2种维度信息的融合识别与定位技术堆放西瓜，为高效自动化西瓜搬运设备研发提供技术支持。

1 材料与方法

1.1 材 料

1.1.1 西 瓜

试验于2023年在国家农业信息化工程技术研究中心进行，选用北京庞各庄西瓜73个。

1.1.2 设备与软件

微软Azure Kinect DK深度相机；计算机：惠普研发有限公司；Anaconda3、Python 3.9.2、PyCharm 2020.1、Visual Studio 2017、OpenCV4.7.1、PCL1.11.1软件。

1.1.3 图像采集

使用深度相机对堆放的西瓜进行拍摄，采集西瓜堆的二维RGB图像与三维点云图像。图1

将若干个西瓜无序地堆放在1 000 mm×3 000 mm的黑色吸光幕布上，幕布的材质选用阻尼大的绒毛，因其摩擦力大的特性，可以防止西瓜堆叠时的打滑现象，使堆叠的西瓜可以稳定地处于拍摄状态。而黑色吸光的特性则可以过滤掉更多的图像噪点，便于西瓜的图像处理。

使用深度相机的USB3.0端口连接电脑，确定相机到西瓜堆最上层的距离为600 mm，并垂直于幕布，得到的RGB图像以PNG格式保存，三维点云图像以PLY格式保存，完成对无序西瓜堆原始RGB图像与点云图像的采集。

1.2 方 法

1.2.1 试验设计

先将若干个西瓜无序地堆放到拍摄场景下，将其堆放成两层，按照拍照一次随机取走一个西瓜的原则，直至顶层西瓜全部拾取完毕，每次拍照时间间隔2 s，该流程重复20轮，提高试验的样本量。

1.2.2 图像处理流程

顶层西瓜的定位分为两个板块，二维图像处理板块和三维点云处理板块，将两个板块处理的结果相融合，获取顶层西瓜的位置信息。图2

1.2.3 图像预处理

（1）图像降噪。使用OpenCV的Python接口，调用Python-OpenCV库函数中的cv2.imread（）函数导入PNG格式的图像文件。采用OpenCV函数库中的cv2.cvtColor（）函数对导入的图像文件进行灰度化处理［21］。OpenCV函数库中常用的滤波处理函数有高斯滤波cv2.GuassianBlur（）、均值滤波cv2.blur（）、中值滤波cv2.medianBlur（）与双边滤波cv2.bilateralFilter（）。比对4种滤波处理方式，得到最优的降噪方式为均值滤波。图3

（2）图像二值化。二值化操作分为全局阈值和局部阈值［22］，分别用2种阈值模式操作西瓜图像，其函数关系如下：

f（x，y）=255，I（x，y）≥rhresh 0，I（x，y）＜rhresh（1）

式中，I为输入图像，I（x，y）表示西瓜图像中第x行第y列的灰度值，f（x，y）为输出的图像。需要设入合适的阈值，使西瓜轮廓区域内的灰度值为255，背景区域的灰度值为0。

使用cv2.threshold（）函数对西瓜图像进行全局阈值操作，函数cv2.THRESH_OTSU为全局阈值的自动阈值算法，得到图像双峰的中间阈值，函数THRESH_BINARY为全局阈值的手动阈值算法，设置合适的阈值为15。

采用自动全局阈值与手动全局阈值相结合的方式进行二值化处理，图像阈值波峰正常时，选用自动全局阈值，在因拍摄外部条件特殊而导致的波峰异常时，选用手动全局阈值。图4

（3）图像形态学处理。运用图像形态学处理对图像进行二次降噪。

形态学处理中最基本的操作是腐蚀与膨胀［23-24］，腐蚀操作将删除边界区域像素值为255的值，膨胀操作则将添加边界区域像素值为255的值。需要过滤掉前景区域内像素为0的值，对二值化图像进行膨胀操作，淹没掉西瓜堆内部的少量黑色阴影区域。

单纯地进行膨胀操作会将二值化图像前景区域的外圈扩大，得到的西瓜区域略大于原二值图。闭运算操作是指先对二值化图像进行膨胀运算，再进行腐蚀运算。

dst（x，y）=max，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（2）

dst（x，y）=min，src（x+x′，y+y′） （x′+y′），element（x′+y′）≠0（3）

式中，（2）式为膨胀运算，（3）式为腐蚀运算，两式中dst（x，y）为灰度值，src（x+x′，y+y′）为内核，内核的中心点位置为（x′+y′），所计算出来的变量值为element（x′+y′）。

内核尺寸选为4×4时，闭运算结果最佳。

膨胀运算去除掉了前景区域内的噪声信息，同时扩大了前景区域，腐蚀运算则将噪声去除过后的二值化图像还原到之前的大小。图5

1.2.4 外轮廓提取

图像梯度计算是图像的边缘信息以及图像像素变化的速度［25］，像素值为0到255的转换边界就是西瓜堆外轮廓的边缘，梯度值达到最大。

Sobel算子是一种离散的微分算子，该算子结合了高斯平滑和微分求导运算，使图像的轮廓更加的平滑。

西瓜二值图像的轮廓边缘处，仍有少部分区域处于非平滑的一个状态。在x轴方向上对西瓜二值图像进行Sobel运算，得到x轴方向上的边界信息。一个x轴方向上边缘信息不足以表达出全部边界信息，进而对y轴方向继续进行Sobel运算，得到西瓜堆全部的边界信息。用cv2.findContours（）函数计算出西瓜的外轮廓后，为使外轮廓信息可视化，调用OpenCV的cv2.drawContours（）绘制函数将轮廓信息绘制到原始RGB图像中。图6

1.2.5 点云预处理

（1）点云精简。采用PCL实现的VoxelGrid类［26］，通过导入的点云文件创建出一个立方体三维体素网格。根据此体素网格分割出若干个小立方体体素格，找到每一个小立方体体素格的重心点，以此来替代其他小体素格内的点云。

L=α2s/g.（4）

g=N/V.（5）

式中，L为小立方栅格的边长，α为调节栅格边长大小的比例因子，s为比例系数，g代表栅格内的点云数据，即点云总数（N）与大栅格体积（V）之比。分割出若干个m·n·l大小的小栅格的边长。

m=ceil［（（Xmax-Xmin）+d）/L］

n=ceil［（（Ymax-Ymin）+d）/L］

l=ceil［（（Zmax-Zmin）+d）/L］（6）

式中，xmax-xmin表示在x轴上点云坐标的最大长度，y轴与z轴的最大长度计算同理，d表示小栅格外接球的直径。代表每一个小立方体栅格的所有点云数据完成下采样。

X=gi=1Xi/g

Y=gi=1Yi/g

Z=gi=1Zi/g（7）

遍历所有的小立方体体素格，保留每一个小体素格的重心点，删除其他的点云数据，从而完成原始点云数据的精简化，得到效果最优的体素边长为0.5。原始点点云数为292 974，精简过后的点云效果图，包含19 982个数据点。图7

（2）点云降噪。直通滤波的作用是过滤掉在指定维度方向上取值不在给定值域内的点［27］。使用PCL数据库的直通滤波器可以较好地过滤掉西瓜堆的背景点云数据。Z轴方向上600到1 000的像素阈值区域为需要过滤掉的背景点云数据，在pt.setFilterLimitsNegative（）命令中选择true指令，即保存该范围外的点云信息。图8

选择1指令，即保存范围内的点云信息，提取出西瓜堆X轴上的横截面信息，确认最上层西瓜的像素高度为480～485。

过滤掉Z轴上除了480到485以外的点云数据，得到最上层西瓜的Z轴截面点云数据。图8

1.2.6 特征匹配与图像融合

将处理后的外轮廓与图6c做特征匹配［28］，两轮廓相对应，完成坐标重合。

（1）点云平面图的非点云黑色区域过多，使用均值滤波对点云图像进行模糊化。

（2）模糊化后的点云图在其区域内仍然有较明显的粘连黑色块儿，采用局部阈值cv2.adaptiveThreshold（）将点云图划分为若干个区块儿，再进行二值化处理。

（3）Canny算子能尽可能多地识别出图像的边缘信息，采用Canny算子对二值化后的图像进行边缘信息检测。

（4）用cv2.findContours（）函数对Canny边界进行轮廓绘制，并分割出来作为特征匹配的模板。

（5）分割出的图9e作为匹配模板，调用OpenCV的cv2.matchTemplate（）函数对两张图进行模板匹配，选择TM_SQDIFF_NORMED模式，即计算归一化平方不同，计算的值越接近0，越相关。图9

在上节像素坐标重合后，顶层西瓜的点云坐标同时也得到匹配，将顶层西瓜的点云图显示到原始RGB图中。得到二维图像上顶层西瓜的位置信息。图8，图10

2 结果与分析

2.1 顶层西瓜质心提取

研究表明，依据顶层西瓜的点云像素位置来构建矩阵块儿模板，调用cv2.bitwise_and（）函数将模板与原图进行位与操作。对已经打上掩膜的图像，进行预处理操作。利用均值滤波去除掉西瓜表面的噪声信息，顶层西瓜的图像复杂程度并无原始图像的高，采用THRESH_OTSU自动阈值进行二值化。二值化后的图像仍留有底层西瓜的图像信息，采用形态学开操作将其去除，循环次数设置为10次。绘制轮廓并映射到原始图像上。

根据轮廓计算西瓜的近似外接圆，最终提取到所有顶层西瓜的质心点与像素坐标信息，并将计算所得的外接圆与质心点坐标可视化，绘制到原始图像中。图10～11

2.2 单轮次顶层西瓜识别率

研究表明，以人工识别的顶层西瓜数量为标准，总共需要识别的西瓜个数为556个。西瓜轮廓识别率是指识别到所有顶层西瓜的轮廓个数比率，从第1次识别到第7次的识别率分别为100%、83.33%、100%、100%、100%、100%和100%。7次合计的轮廓识别率为97.62%。顶层西瓜识别率是指识别到的所有轮廓中，只包含顶层西瓜的比率，分别为85.71%、83.33%、100%、100%、100%、100%和100%。7次合计的西瓜正确识别率为95.58%。完成西瓜的识别测试后，还需要进行定位测试，7次的质心识别率分别为85.71%、83.33%、80%、100%、100%、100%和100%，7次合计的识别率为92.72%。

质心坐标为（151，104）的西瓜，由其轮廓所拟合出的外接圆完全包含顶层瓜，同时也包含了底层瓜的部分区域，因此该瓜的轮廓被识别成功，而在顶层瓜的正确识别上存在偏差，故识别到顶层西瓜轮廓为7个，识别率为100%，而顶层西瓜正确个数为6个；因拟合的外接圆同时包含顶层瓜与底层瓜的部分区域，故该顶层瓜质心的偏心率较大，无法算作正确的质心点。所以该轮次第一次采集所识别到质心为6个，顶层瓜质心识别率为85.71%。表1

20轮测试共计得到原始图像144张，顶层西瓜总数556个，所识别西瓜轮廓个数545个，顶层西瓜轮廓总识别率为98.02%，其中正确识别到的顶层西瓜个数为540个，顶层西瓜总识别率为96.53%；识别到的质心523个，质心总识别率为94.17%。当顶层瓜数量在5个以下时，西瓜正确识别率为100%；顶层瓜数量在4个以下时，西瓜质心识别率为100%。

对未点云精简的图像进行单进程图像处理，处理144张图片总用时459.4 s。为提高西瓜图像的处理速度，创建四个进程对点云精简后的图像进行处理，处理完相同的144张图片总用时101.8s，时间缩短了约77.8%，使用精简后的点云图作为处理源效果显著，可以满足自动搬运设备的工作要求。表2

3 讨 论

3.1 特征匹配提取到的西瓜位置信息为一个大概方位，并不精确，无法据此提取出精准的西瓜质心点。因此，对其进行掩模操作［29］，过滤掉顶层西瓜位置外的图像区域，进一步提高西瓜质心提取的精确度。图像掩模（image mask）是用选定的图像、图形或物体，对待处理的图像进行遮挡来控制图像处理的区域或处理过程。

对单一的RGB图像进行图像处理，并不能识

别到顶层西瓜的位置信息。二维图像与三维点云相融合后，三维点云处理出的顶层西瓜位置信息，可以映射到二维图像上。将二维图像（6c）与z轴视觉下的三维点云图像做特征匹配，使两种图像轮廓相重合，即轮廓坐标重合，得到二维图像上顶层西瓜的像素坐标。

3.2 完美状态下，西瓜个数与质心个数应保持一致。搭建的试验平台需要在一定程度上受到拍摄时间，光线等外部条件的影响，且完全为无序堆放，所以造成了西瓜个数与质心个数不一致的误差。同理，每个顶层西瓜的背景均不尽相同，也造成了西瓜轮廓识别率与西瓜正确识别率不一致的误差。20轮测试的总质心个数和总西瓜个数之间的误差率为2.36%，在理想范围内，对顶层西瓜的识别与定位不会产生较大影响。

3.3 提出的识别与定位法对双层堆放的西瓜处理效果较好，当西瓜层数与西瓜数量增加时，该识别法依旧适用，图像处理效率不会受到影响；但顶层瓜的质心提取精度有小幅降低，由于层数与西瓜数量的增加，西瓜间隙的深度信息也随之增加，使西瓜点云噪点的复杂程度提升，后期需要进一步优化西瓜的三维点云分割技术，在PCL的点云处理上还有较大的进步空间。

4 结 论

手动阈值模式下设置阈值为15。144张西瓜图像，单轮次的西瓜轮廓总识别率为97.62%，单轮分批次分别为100%、83.33%、100%、100%、100%、100%和100%；单轮次西瓜总正确识别率为95.58%，单轮分批次分别为85.71%、83.33%、100%、100%、100%、100%和100%；单轮次的总质心识别率为92.72%，单轮分批次分别为85.71%、83.33%、80%、100%、100%、100%和100%。20轮测试总轮廓识别率为98.02%，总正确识别率为96.53%，总质心识别率为94.17%，总质心个数和总西瓜个数之间的误差率为2.36%。点云精简优化后的总用时为101.8s，效率提高了77.8%。

参考文献（References）

［1］

钱曼， 黄文倩， 王庆艳， 等. 西瓜检测部位差异对近红外光谱可溶性固形物预测模型的影响［J］. 光谱学与光谱分析， 2016， 36（6）： 1700-1705， 1711.

QIAN Man， HUANG Wenqian， WANG Qingyan， et al. Assessment of influence detective position variability on precision of near infrared models for soluble solid content of watermelon［J］. Spectroscopy and Spectral Analysis， 2016， 36（6）： 1700-1705， 1711.

［2］ 周艺璇. 西瓜翠衣的营养保健成分及药用价值研究进展［J］. 现代食品， 2022， 28（8）： 51-53， 57.

ZHOU Yixuan. Research progress on nutritional and health components and medicinal value of watermelon peel［J］. Modern Food，" 2022， 28（8）： 51-53， 57.

［3］ 李干琼， 王志丹. 我国西瓜产业发展现状及趋势分析［J］. 中国瓜菜， 2019， 32（12）： 79-83.

LI Ganqiong， WANG Zhidan. Development status and trend analysis of watermelon industry in China［J］. China Cucurbits and Vegetables，" 2019， 32（12）： 79-83.

［4］ 宋展， 胡宝贵. 后疫情时期消费者视角的北京市西瓜产业发展［J］. 北方园艺， 2022， （23）： 134-139.

SONG Zhan， HU Baogui. Development of watermelon industry in Beijing city from the perspective of consumers in the post epidemic period［J］. Northern Horticulture， 2022， （23）： 134-139.

［5］"""" 高丽娜. 西瓜采收技术［J］. 河南农业， 2015， （9）： 46.

GAO Lina. Watermelon Harvesting Techniques［J］. Henan Agriculture， 2015， （9）： 46.

［6］ 官大文， 王春源， 王骏发. 基于无人机机器视觉的西瓜侦测创新农场管理模式［J］. 海峡科学， 2020， （11）： 62-68.

GUAN Dawen， WANG Chunyuan， WANG Junfa. Innovative farm management mode of watermelon detection based on UAV machine vision［J］. Straits Science， 2020， （11）： 62-68.

［7］Kamaldeen Mohammed， Evans Batung，Ansumah Saaka-Sulemana， et al. Determinants of mechanized technology adoption in smallholder agriculture： Implications for agricultural policy［J］. Neurocomputing， 2023， 18（3）： 545-557.

［8］"""" 唐芳. 我国农机购置补贴与农业机械化发展现状与提升建议［J］. 农业经济， 2023， （4）： 9-12.

TANG Fang. China's agricultural machinery purchase subsidies and Mechanised agriculture development status and improvement suggestions［J］. Agricultural Economy，" 2023， （4）： 9-12.

［9］ 罗辉， 崔亚飞. 基于机器视觉的工件识别与定位系统设计与实现［J］. 组合机床与自动化加工技术， 2021， （1）： 101-105， 109.

LUO Hui， CUI Yafei. Design and implementation of workpiece recognition and positioning system based on machine vision［J］. Modular Machine Tool amp; Automatic Manufacturing Technique， 2021， （1）： 101-105， 109.

［10］ 崔旭东， 谭欢， 王平江， 等. 基于3D视觉的散乱堆放工件机器人抓取技术研究［J］. 制造技术与机床， 2021， （2）： 36-41.

CUI Xudong， TAN Huan， WANG Pingjiang， et al. Research on vision-based robot’s grabbing attitude for scattered stacking workpieces［J］. Manufacturing Technology amp; Machine Tool， 2021， （2）： 36-41.

［11］""" Xu B R， Chai L， Zhang C L. Research and application on corn crop identification and positioning method based on Machine vision［J］. Precision Agriculture，" 2023.

［12］ 柴宏红， 邵科， 于超， 等. 基于三维点云的甜菜根表型参数提取与根型判别［J］. 农业工程学报， 2020， 36（10）： 181-188.

CHAI Honghong， SHAO Ke， YU Chao， et al. Extraction of phenotypic parameters and discrimination of beet root types based on 3D point cloud［J］. Transactions of the Chinese Society of Agricultural Engineering，" 2020， 36（10）： 181-188.

［13］ 宋晨旭， 于翀宇， 邢永超， 等. 基于OpenCV的大豆籽粒多表型参数获取算法［J］. 农业工程学报， 2022， 38（20）： 156-163.

SONG Chenxu， YU Chongyu， XING Yongchao， et al. Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（20）： 156-163.

［14］ 刘万辉， 杨晔. 温室场景下成熟西瓜的图像识别研究［J］. 福建电脑， 2013， 29（5）： 29-31.

LIU Wanhui， YANG Ye. Study on image recognition of mature watermelon in greenhouse scene［J］. Journal of Fujian Computer， 2013， 29（5）： 29-31.

［15］ 吴明清， 王丽. 基于机器视觉技术的西瓜瓜瓤的识别方法［J］. 塔里木大学学报， 2014， 26（3）： 88-91.

WU Mingqing， WANG Li. Identification of the machine vision technology based on watermelon flesh［J］. Journal of Tarim University， 2014， 26（3）： 88-91.

［16］""" 刘德儿，朱磊，冀炜臻，等. 基于RGB-D相机的脐橙实时识别定位与分级方法［J］. 农业工程学报， 2022， 38（14）：154-165.

LIU Deer， ZHU Lei， JI Weizhen， et al. Real time recognition， localization， and grading method for navel oranges based on RGB-D cameras［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（14）：154-165.

［17］ Liu K， Jiang K， Mu Y. Development of a vision guided robot for grafting watermelon based on hole insertion method［J］. Computers and Electronics in Agriculture， 2020.

［18］ Mohd Ali M， Hashim N， Bejo S K， et al. Comparison of laser backscattering imaging and computer vision system for grading of seedless watermelons［J］. Journal of Food Measurement and Characterization， 2020， 14（1）： 69-77.

［19］ 邹宏伟. 基于OpenCV的数字图像处理技术研究与实现［J］. 无线互联科技， 2019， 16（22）： 118-119.

ZOU Hongwei. Research and implementation of digital image processing technology based on OpenCV［J］. Wireless Internet Technology，" 2019， 16（22）： 118-119.

［20］ 龙嫣然， 徐昱琳， 费心怡. 基于PCL的Jaco机械臂的目标抓取［J］. 工业控制计算机， 2019， 32（4）： 65-67.

LONG Yanran， XU Yulin， FEI Xinyi. PCL-based object grasping by robot arm hand system［J］. Industrial Control Computer， 2019， 32（4）： 65-67.

［21］ 刘星星， 王烁烁， 徐丽明， 等. 基于OpenCV的动态葡萄干色泽实时识别［J］. 农业工程学报， 2019， 35（23）： 177-184.

LIU Xingxing， WANG Shuoshuo， XU Liming， et al. Real time color recognition of moving raisin based on OpenCV［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（23）： 177-184.

［22］ 汤朋文， 陶华敏， 肖山竹， 等. 几种常用图像分割算法自适应性的分析比较［J］. 数字技术与应用， 2016， （5）： 140， 143.

TANG Pengwen， TAO Huamin， XIAO Shanzhu， et al. Analysis and comparison of adaptability of several commonly used image segmentation algorithms［J］. Digital Technology amp; Application， 2016， （5）： 140， 143.

［23］ 何晓军， 徐爱功， 李玉. 利用HSI空间相似性的彩色形态学图像处理方法［J］. 计算机科学， 2019， 46（4）： 285-292.

HE Xiaojun， XU Aigong， LI Yu. Color morphology image processing method using similarity in HSI space［J］. Computer Science， 2019， 46（4）： 285-292.

［24］ Codaro E N， Nakazato R Z， Horovistiz A L， et al. An image processing method for morphology characterization and pitting corrosion evaluation［J］. Materials Science and Engineering： A， 2002， 334（1/2）： 298-306.

［25］明家辉，朱静. 基于熵加权图像梯度的单目视觉SLAM研究［J］， 2022， 29（1）： 91-95.

MING Jiahui， ZHU Jing. A Study on Monocular Vision SLAM Based on Entropy Weighted Image Gradient［J］. Dongguan Journal of Technology， 2022， 29（1）： 91-95.

［26］ 舒丽君， 陆玲. 基于PCL库三维点云树枝重建［J］. 电脑与信息技术， 2020， 28（2）： 1-4.

SHU Lijun， LU Ling. The point cloud of branch reconstruction based on PCL library［J］. Computer and Information Technology， 2020， 28（2）： 1-4.

［27］宫德宁，吴琳娜，李荣华，等. 改进直通滤波SAC-IA粗配准算法［J］， 2022， 43（2）： 78-84.

GONG Dening， WU Linna， LI Ronghua， et al. Improved pass through filter SAC-IA coarse registration algorithm［J］. Journal of Dalian Jiaotong University， 2022， 43（2）： 78-84.

［28］冯书庆，王志勇，谌志新，等. 基于图像特征的模板匹配成鱼多目标识别算法研究与程序设计［J］， 2023， 50（2）： 74-84.

FENG Shuqing， WANG Zhiyong， CHEN Zhixin， et al. Research and Program Design on Template Matching for Adult Fish Multi target Recognition Algorithm Based on Image Features［J］. Fisheries Modernization， 2023， 50（2）： 74-84.

［29］Shao C C， Li X L， Li F， et al. Large Mask Image Completion with Conditional GAN［J］. Frontiers in Plant Science， 2022， 7：745.

Research on recognition and localization of unordered

stacked watermelons based on machine vision

WU Fengyang1，2， HUANG Wenqian2， TIAN Xi2， YANG Yulin2

（1. College of Mechanical and Electrical Engineering， Xinjiang Agricultural University， Urumqi 830052， China; 2. Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences/National Agricultural Intelligent Equipment Engineering Technology Research Center， Beijing 100097， China）

Abstract：【Objective】 To study a watermelon recognition and positioning technology based on machine vision to meet the automation requirements of watermelon handling equipment.

【Methods】" 2D image data and 3D point cloud data of watermelon were collected and the OpenCV function library was called to segment the two-dimensional image of watermelon and extract the outer contour of the watermelon; The 3D point cloud data was preprocessed using the PCL function and perform graphic feature matching with the 2D image to extract the centroid points of the top layer watermelon.

【Results】" The validation test results showed that the total recognition rate of the number of watermelons in a single round was 97.62%， the correct recognition rate was 95.58%， and the centroid recognition rate was 92.72%. The total recognition rate of 20 rounds of testing was 98.02%， the total correct recognition rate was 96.53%， the total centroid recognition rate was 94.17%， and the error rate between the total centroid number and the total number of watermelons was 2.36%; The total time for watermelon image processing was 101.8 seconds， which improved the efficiency by 77.8%.

【Conclusion】" The watermelon recognition and positioning method proposed in this article has high recognition rate and low error rate， which can provide technical support and algorithm reference for the visual part of automatic handling equipment.

Key words：watermelon; identification and positioning; centroid extraction; image processing; point cloud; OpenCV； PCL

Fund projects：The national key research and development plan project \"Research and development of mobile fruit quality intelligent perception equipment and key link robots\" （2022YFD2002202）; Special Fund Project for National Watermelon Industry Technology System （CARS-25-07）; Beijing Academy of Agricultural and Forestry Sciences Innovation Special Emerging Discipline Intersection Project\"esearch and Development of Non destructive Testing Technology and Equipment for Watermelon Quality\"（KJCX20230206）

Correspondence author： HUANG Wenqian （1980-）， male， from Pinghe， Fujian. Ph.D.， researcher， research direction： Rapid non-destructive testing of agricultural product quality and safety， （E-mail）huangwq@nercita.org.cn

收稿日期（Received）：

2023-12-11

基金项目：

国家重点研发计划项目“移动式果品品质智能感知设备与关键环节机器人研发”（2022YFD2002202）；国家西甜瓜产业技术体系专项资金项目（CARS-25-07）;北京市农林科学院创新专项新兴学科交叉项目“西甜瓜品质无损检测技术与装备研发”（KJCX20230206）

作者简介：

吴风扬（1999-），男，湖北黄石人，硕士研究生，研究方向为机器视觉，（E-mail）1519100570@qq.com

通讯作者：

黄文倩（1980-），男，福建平和人，研究员，博士，硕士生导师，研究方向为农产品质量与安全快速无损检测，（E-mail）huangwq@nercita.org.cn