基于双目立体视觉的挤奶机自动奶杯套杯技术研究

（北京农业职业学院，北京 102442）

挤奶机是奶牛场牛奶质量和乳房炎控制的关键点之一[1]。提升奶牛养殖智能化水平，实现无人化挤奶作业，是保证奶牛健康和有效控制牛奶品质、安全、卫生，以及提高产奶量、扩大饲养规模和大幅度节省劳动力的重要技术措施[2]。

当前，全自动智能挤奶机器人研制生产技术主要被欧美西方发达国家所掌握[3]。目前，以挤奶机器人为代表的全自动无人化挤奶设备迅猛发展，已形成Lely、DeLaval、Boumatic、GEA、Fullwood Packo和Boumatic 等挤奶机器人知名品牌。国内对全自动智能挤奶机器人的研究起步较晚，受材质、工艺水平及设计施工等能力的限制，当前我国全自动挤奶设备的设计生产水平较国外有很大差距，多数的全自动智能化挤奶机器人设备处于设计研究或样机实验阶段，并未应用到实践和取得良好的效果[2]。

挤奶机自动奶杯套杯技术是智能挤奶机器人国产化必须突破的关键技术，其核心技术是乳头识别与定位，通过视觉传感技术识别出奶牛站立位置和乳头位置分布，再利用智能控制系统控制机构完成相应挤奶动作，该过程消耗的时间直接影响到整个挤奶过程的效率。为了突破挤奶机器人这一关键技术，笔者进行了双目立体视觉的挤奶机自动奶杯套杯方法的研究。

1 挤奶机自动奶杯套杯技术简介

挤奶机器人由控制中心、挤奶室、自动奶杯套/脱杯装置、以及末端执行机构等组成（如图1所示）。其中，自动奶杯套/脱杯装置在整个挤奶机器人设备中起着至关重要的作用，它关系着奶牛乳头识别、乳头清洗、套杯、挤奶、脱杯等一系列挤奶动作的实现。

图1 挤奶机器人结构组成

挤奶机自动奶杯套杯装置是奶牛乳头识别与定位的载体，在其工作过程中，造成识别错误最大的因素是目标区域里奶牛身体上以及区域背景里的乳房状物体，这些物体会被系统错误的识别为乳房[4]。在某些特殊光照条件下乳房部位的影子以及机械手的移动都会对乳房的识别造成干扰。

目前，奶牛乳头识别与定位运用较多的是激光扫描视觉传感技术，通过激光扫描相机得到乳头的准确位置，缺点是耗时较长。此外，3D直接拍摄、红外热成像以及结构光等技术均在乳头识别与定位的解决方案上崭露头角，但都存在着性能不稳定、耗时较长、套杯准确率偏低等问题。

双目立体视觉技术是建立在计算机视觉和图像处理基础上的一门新兴技术，用计算机模拟人的视觉功能，通过摄像机获取场景图像，经过图像处理与分析获取被识别物体的信息，结合双目摄像机对深度信息的感知能力，最终完成目标的识别与定位任务[5]。双目视觉具有高效、高精度、非接触式以及能感知深度信息等优点，在目标识别与定位中已得到广泛应用。将双目立体视觉技术运用于挤奶机器人，探究快速、精确、实时的乳头三维空间定位及姿态角度检测方法，突破技术瓶颈，对于推动挤奶机器人国产化，具有十分重要的意义。

2 基于双目立体视觉的自动奶杯套杯实验

2．1 实验平台

2.1.1 硬件平台

自动奶杯套杯装置具有需要有较大的工作空间以及较好的运动灵活性，结合实验特性，本文选择滑台模组作为自动奶杯套杯实验装置的基础构件，通过滑台模组三维结构实现运动范围内位置的变化。运动及控制部件的主要参数如表1所示。挤奶杯奶衬型号为IP10U，仿真乳房及乳头的尺寸为荷斯坦泌乳牛尺寸（乳头长约8cm，中部直径约2.2cm）。

表1 自动奶杯套杯实验装置运动及控制部件主要参数

2.1.2 软件环境

运动控制程序在Microsoft Visual C++ 6.0平台上开发，上位机为PC机，控制界面如图2a所示。

视觉系统选用由瑞尔威视公司生产的双目USB摄像头模组，型号为3D-1MP02-V92，相机壳自行设计。当上位机通过图像采集系统采集到奶牛乳头定位位置后，将位置信息发送给控制器，控制器将命令发送给步进电机并驱动滑台模组执行末端运动到奶牛乳头位置，进行套杯。自动奶杯套杯实验装置的硬件结构如图2b所示。

图2 自动奶杯套杯实验装置

2.1.3 系统流程

通过双目立体视觉系统进行目标的识别和定位，并根据定位结果控制滑台模组对仿真乳头进行自动奶杯套杯。整个系统流程图如图3所示。

图3 系统流程

2．2 实验结果分析

2.2.1 摄像机标定

张正友等人提出了平面法来标定单摄像头[6]。本文利用此方法对2个摄像头分别进行标定，标定物选择标准棋盘格（如图4所示）。棋盘格的尺寸为28mm，角点的尺寸为7×5。经计算，左右摄像头的重投影误差均低于一个像素。

图4 标准棋盘格

2.2.2 图像分割

采用基于颜色相似度的图像分割方法，将图像从RGB 空间转换到HSV空间，进而计算颜色模板，设置阈值后进行图像分割。对于颜色分割图像中的噪声，采用形态学的腐蚀和膨胀处理方法。

2.2.3 立体匹配

立体匹配是双目视觉中最关键的一步，立体像对之间的差异是由摄像时观察点的不同引起的。本实验的目标物体为奶牛乳头（仿真），其形状不规则，故采用关键点匹配法，选择图像的边缘凸点作为关键点。具体做法是利用上一步骤中图像分割后获得的二值图像，计算其边缘凸点作为关键点实现立体匹配。

2.2.4 三维重建

为了评测双目立体视觉系统的功能和精度，对棋盘格中的角点进行三维重建。实验中，相机保持工作位角度，棋盘位置做相应调整。利用亚像素级别的角点检测方法得到图像中的角点坐标，对棋盘格中的角点进行三维重建，得到35个三维重建坐标。将三维重建坐标与实际坐标比较，利用（1）式计算测量平均绝对误差，计算结果为0.9684mm。从结果上来看，此方法可以比较精确地实现乳头末端三维测距。

2.2.5 自动奶杯套杯

将双目立体视觉系统对仿真乳头末端识别和定位的结果作为依据，控制滑台模组的相应运动，从而成功地实现了自动奶杯套杯装置对仿真乳头的自动奶杯套杯。自动奶杯套杯装置的工作流程为: 首先识别仿真乳头，进而进行立体匹配，并对仿真乳头实际位置进行定位，根据定位结果，首先控制滑台模组水平运动到仿真乳头正下方，进而控制滑台模组进行垂直向上运动，最终完成自动奶杯套杯。实验中，滑台模组三维结构可成功地自动奶杯套杯，实际套杯过程部分截图如图5所示。通过实际测量，该自动奶杯套杯实验装置定位误差在1mm以内。

图5 实际套杯过程截图

3 结束语

奶牛乳头识别与定位是机器人挤奶非常关键的一个环节，也是智能挤奶机器人国产化必须突破的关键技术。基于奶牛生物学特性，探究快速、精确、实时的乳头三维空间定位及姿态角度检测方法十分紧迫。本文设计的基于双目立体视觉的自动奶杯套杯实验装置，通过滑台模组三维结构来实现运动范围内位置的变化，用双目立体视觉系统来实现仿真乳头的识别与定位，以双目立体视觉系统对仿真乳头末端识别和定位的结果为依据，控制滑台模组的相应运动，实现了自动奶杯套杯装置对仿真乳头的自动奶杯套杯。实验结果表明，基于双目立体视觉的自动奶杯套杯实验装置，能够成功进行自动奶杯套杯且定位误差较小。需要指出的是，实际挤奶环境如奶厅光线、周围物体以及奶牛站立姿态等较为复杂，同时还存在奶牛乳头形态有差异、身体晃动等情况，本文提出的自动奶杯套杯新方法应结合实际应用场景进一步深入研究。