基于深度相机与色彩跟踪原理的AI 伴老宠物机器人的设计

方志刚 汤玉坚 庞伟业 张其文*

（兰州理工大学计算机与通信学院，甘肃 兰州 730050）

1 概述

当前随着社会经济的发展，子女面临着巨大的工作和生活压力，导致他们对于父母老人陪伴的时间少之又少，不少子女只有逢年过节才会回家看望独居的老人。长期以往，独居老人出现孤独、抑郁等心理问题，便会饲养宠物陪伴自己。

但是，传统宠物因为主人行动不便、饲养条件不满足、没有科学的饲养知识和易感染疾病等问题，给社会、环境和饲养主人带来了很大的困扰。比如，由于主人疏于看管，频频出现的宠物伤人问题；不少人对于宠物的毛发过敏；宠物随地大小便，带来的环境卫生问题等。在此背景下，迫切需要一种可以替代传统宠物的电子宠物。该项目的需求分析如图1 所示。

2 陪伴型宠物机器人研究现状

自20 世纪80 年代开始，我国就有相关高校和科研院所对四足机器人展开系统研究，虽然基础较弱、起步较晚，但得到了国家的极大重视。目前国内一些公司也研制出陪护型宠物机器人，例如哈瑞斯实业有限公司所研制的仿生智能语音机器狗、南京好儿优机器人科技有限公司研制的可旺智能仿生机器狗等，这些虽然不是大面积被用户使用，但都较好的实现了智能对话、触摸交互的功能。

面对日本社会老龄化的压力，人们投入了大量的人力物力来研究机器人，并取得了一定的成果。例如，日本aist 工业技术研究所的柴田正德开发了一种海豹型老年陪伴机器人paro，它可以感受到主人不同部位的触摸，产生相应的互动反应，调整运动，并能感受外部声音以及识别主人的声音和命令；日本欧姆龙公司开发了一种完全模拟人类交流的新型机器宠物猫，叫做尼奎罗，它集成了机器人感应，控制和人工智能技术，能够对主人的触摸做出反应，并表达他们的感受。

综上所述，无论是国外还是国内的陪护机器人，都仅在某一方面或几个功能上进行的设计，不能满足老人的全部需求，且使用的技术与当前物联网等的高速发展相比较为陈旧。同时，对于外观上的设计大体是传统的机器人模型，不符合宠物的外形；在行走方面，带有沉重的机械感和较高分贝的噪音，对于老人的使用并不友好。

3 系统设计方案

3.1 介绍

本文的最终目标是设计制造一款可以替代传统宠物的仿生电子宠物，它不仅可以实现传统统宠物具有的各项能力，而且具有面部识别、人机对话、疾病监控、定位跟踪、危险报警等多项功能。最终实现对独居老人的人身安全、健康状况和心灵情感起到双重的守护和慰藉。该仿生电子宠物的内部结构和外观设计如图2、3 所示。

图2 仿生电子宠物的内部结构

图3 仿生电子宠物的外观设计

3.2 视觉跟踪系统的设计

本文选取色彩跟踪算法作为图像跟踪的主要方法，基于深度相机设计仿生电子宠物的巡线，将Intel Atom 作为处理器，配合intel realsense d435i 深度相机、串行总线舵机等元件及供电装置构成视觉巡线。该设计能够使仿生电子宠物自主巡线、自主识别红色标识线、自主完成前后、左右、上下运动，可以原地转弯、低姿态行走等一系列的基本动作。在完成这些基本的动作后，还可以设计更多新的步态动作等，在不影响外部形象的同时还能有效提了仿真性和灵活性。进而实现在仿生电子宠物陪伴老人的过程中，它会更为精确的识别与跟踪主人或特定的物品。

图5 深度图

3.2.1 深度相机的图像获取

本文选用了intel realsense d435i 深度相机用于获取图像信息，在Ubuntu-ROS 操作系统下搭建视觉方面的配置环境，所得到的RGB 图和深度图如图4、5 所示。在程序中，我们设置了两个线程，一个控制设备的状态，如设置深度数据流和视频流的模式，切换数据流，最重要的是注册数据流的回调函数，在这个回调函数中主要是对接收到的数据流进行处理，如数据流的深度伪彩色处理。另一个线程连续显示伪彩色视差和彩色图像。该步骤的关键是对视差图进行格式化，并将图像保存到深度数据流处理功能中。但是，深度相机采取到的深度图中含有环境中的各种信息，如人、花草、地板、障碍物等，其中绝大多信息是干扰无用的。为了能精确确认指令，采取色彩跟踪算法进行优化设计。

图4 RGB 图

3.2.2 色彩跟踪的主要原理与实验设计

色彩跟踪的原理是提取选中目标物体的颜色特征，在把新一帧图像中的像素点分为与之相似颜色和不相似颜色的两类点（二值化），并将图像中的噪点去除；在下一帧中，搜索具有相似特征的像素的连通区域，接近前一帧中物体的位置，得到物体在新帧中的位置。其优势在于计算量适中，适合用于电量有限的小型实时嵌入式系统，可根据用户意愿随时更新所选择的跟踪目标，也可以根据目标色彩的面积推断物体的距离，还可以用于跟踪视频流中运动的物体，并且不会被图像中远离目标物体的相似物体干扰。

在该项目中我们采用三帧差分法， 三帧差分法采用了连续三帧的图像进行差分运算，然后对两个运算的结果进行逻辑与运算获取包含的共同部分，消除了由于目标位移造成的背景噪声影响，从而能够更加精确的提取目标信息。三帧差分法的计算公式如下：

其中In（x，y）为第n 帧的视频图像，Dn（x，y）为第n 帧的差分图像，Bn（x，y）为差分图像通过阈值threshold 二值化后的结果图像。

我们基于三帧差分算法采集该宠物机器人拍摄的视频，对视频流序列图像目标提取实验结果比较分析。视频图像的分辨率为1080*720，视频帧率为每秒29.97 帧，视频总帧数为2697.3帧，运动目标为视频中的凳子。实验数据分别为视频流序列图像中的第2000 到2100 帧，截取其中的2050 帧、2060 帧、2070帧用于结果演示，目标提取实验的结果如图6、7、8 所示。

图6 第2050 帧

图7 第2060 帧

图8 第2070 帧

由采集图像所得，我们所设计的电子宠物适用场合为室内，因此可以不用考虑户外光线等影响因素，所采取的三帧差分算法不仅保证了目标整体轮廓，同时降低了提取错误率，能够准确的提取出运动目标的整体信息。

4 结论

目前，深度相机广泛应用于智能人机交互、人脸技术、三维重建、机器人技术、AR 等领域。本文在基于深度相机的图像获取技术下设计了一款更为仿真与精确识别的陪伴型机器人，该设计将照顾老人与智能机器人结合起来，充分利用了现代人工智能的优势，解决了照顾老人的距离问题。从服务设计的角度开发宠物伴侣机器人，不仅可以实现产品的功能创新，而且可以通过技术的不断发展创造新的价值，追求美好生活的意义。