种子分拣机器人图像处理研究

2021-01-06河北农业大学崔卓贤张清王恩培刘月皓

河北农机 2020年12期

河北农业大学崔卓贤张清王恩培刘月皓

引言

对经摄像头采集到的图像进行合理的处理，并达到预期的任务目标要求，是机器视觉的最关键部分。现行主流的视觉处理是基于Opencv 库，通过python 和C++语言进行代码编写，调用库中相关功能模块构成算法，进行任务处理。因为越疆的视觉操作平台已将相关的视觉处理功能模块封装完成，我们将工作的重心放在研究图像处理算法上。

1 任务需求

定位识别种子（判断种子在工作区域内的位置，和物体是否为种子）。

缺陷检测（将种子的特征值提取完毕后与存入的良好的种子特征值进行比对）。

传送种子坐标（比对完成后，将优质种子、劣质种子坐标分批传送到控制运动机构的MCU，进行分拣操作）。

影响任务处理效果的因素，可能有光源、使用的摄像头、算法层面等各种因素，将在下文展开进一步的分析。

2 图像处理流程

图像采集（使用高分辨率摄像投采集图像）。

图像预处理，进行几何变换、灰度化、图像增强（使亮的地方更亮，暗的地方更暗）。

图像位置定位（进行坐标变换处理，确定物体在世界坐标的位置，和机械臂坐标系的相对位置，便于执行机构在图像处理结束后完成相关的抓取任务）。

特征提取，有形状特征、纹理特征、概率特征、焦点、特征描述算子特征等，其与定位、识别效果息息相关。

图像识别，将采集到的图像处理完毕并提取特征值，与特征值库中的数据进行比对。

显示处理结果。

3 处理步骤

分拣机器人在图像处理中的关键步骤如下。

3.1 图像变换

由于采集到图像转换成的矩阵数据量巨大，直接在原先的笛卡儿直角空间坐标系中进行处理，涉及计算量很大，数据的处理时间随量的增多在整体上成几何增加，非常影响系统整体的运行性能，因此，采用图像变换的方法，如傅立叶变换等处理技术，将空间域的处理转换为变换域处理，不仅可减少运算量，更可以高效处理数据，使得分拣机器人的整体性能得到保证。

3.2 图像阈值化

采集到的正常图像为彩色图像，分为R、G、B 三个通道，彩色图像中的每个像素点，都是由不同RGB 值混合在一起形成的。将彩色图片去色后得到灰度图，近似于黑白照片，但其中仍然存在着一些灰色地带（介于黑色与白色之间的像素成分），我们需要设置一个阈值，高于它将变为黑色或者是白色，或者是人为规定的新的像素值。反之亦然，将其完全转变成黑白图像。大幅度减少图片中与分拣任务无关的信息，提高处理效率。

3.3 图像增强

调整图像的对比度，简单来说就是让黑的更黑，白的更白。突出图像中的重要细节（如采集到的种子的图像，将种子的细节部分尽可能地展现出来），改善图像对任务要求的质量。有目的地强调图像的整体或局部特征，将模糊的图像变得清晰或强调识别任务中所需要的特征，扩大图像中不同物体特征之间的差别，降低与任务无关的特征的重要程度，为提取图像的特征值做进一步准备。

3.4 图像特征提取

此步的操作也可以称作图像分割提取，想要把图像上的特定部分区域与其他部分分离出来或者是以不同的颜色标记出来，通过将图像上的点、连续的曲线将区域分割为不同的子集（将种子的外部优质特征，如形状、颜色、根芽等），把这些特征子集以数据矩阵的形式记录下来，构成数据库。这正是进行种子分拣的基础，将种子优秀的外部特征制作成为数据库，让机器人明白对种子的好坏是如何定义的。

3.5 图像识别

经过同样的图像处理手法后，得到经摄像头采集图像的特征值信息后，与评判标准的特征值数据进行比对后，完成识别（图1）。

图1 流程图

4 图像处理的可能性优化

4.1 图像处理的可能性优化

4.1.1 硬件方面

可以进行优化的方面为摄像头和光源照射。将摄像头的像素进一步增加以提高图像本身的信息质量，光源采用为漫射照射，多光源照射。减少可能出现的过高曝光和光照不均匀以至于图像的部分区域出现模糊等其他情况，来增加获取图片信息的传输量。

电源系统，因为电源是向分拣机器人的视觉处理和抓取机构两部分同时进行供电的，这就包括了进行视觉任务处理的miniPC 和控制执行机构的MCU，这两者构成了数据链中的关键部分，如果出现运行不稳定的状况，则直接影响分拣作业的效果，电源转换系统的设计一定要尽可能减小波动，即使在外部电压出现大幅度波动的情况下，也能最大限度地留出工作缓冲空间，启动相应的保护机制，防止设备出现损坏。

4.1.2 软件方面

对于算法进行改进。如进行图像变化时，可以采用离散傅里叶变换、离散余弦变换等改良算法。脱离单纯的傅里叶变换，将计算周期减半大大减少计算任务量，进一步提高图像处理的效率。

分割图像时，采用更加优秀的分割算法，让特征矩阵的数据得到最大发挥。如采用分水岭分割算法，将图像看作一个平面，图像灰度值高的区域被看作山峰，灰度值低的地方被看作山谷，若相邻的山峰高度相差不大，这些不同区域的山谷则可能会出现会合的问题，在图像分割时处理的图像的区域越大，则这种山谷会合的问题的出现率也会增大（图像特征区域提取的结果不一定指向我们真正需要的那些特征值），根据算法流程我们可以得出结论，也就是在识别匹配的过程将会出现错误，导致种子被误拣，造成农业资源浪费。为了防止这一现象的出现，要做的就是把高峰变得更高 (改变对应区域的灰度值)，之后再用颜色标记，如此反复完成对所有山谷的颜色标记，最后完成图像的分割。提高图像识别的准确率，这对于种子分拣机器人技术指标达标是十分必要的。