远程人机交互机械手

胡 晨，彭元修

(南昌航空大学 信息工程学院，江西 南昌 330063)

1 引言

随着现代化工业生产的发展和进步,工业机器人早已经被广泛地用于代替工人完成一些简单和重复性的劳动[1]。由于仿人机械手具有极强的功能和通用性，可以代替人手在很多场合下完成各类复杂和灵巧的操作，因此仿人机械手成为现在机器人研究领域的焦点问题[1]。通过树莓派图像识别，实时识别出人手掌的姿态，再使用无线传输手掌姿态和各种命令数据，进而进行远程操作机械手，摆脱了数据手套，并且能够让机械手代替人在各种恶劣的环境进行较精密的操作，大大降低了人们对工作环境的限制和危险。仿人机械手特别在日常生活、人工智能、抢险救灾、工农业生产中能有较好的应用[2]。

目前大多数仿人机械手的远程控制都是搭配各式各样的数据手套，不够灵活和便携。本文采用图像识别技术，实现让操纵者不再依赖数据手套，只需使用树莓派和摄像头，便可以很方便地对机械手进行精确的远程控制，并且经过现场实验，证实其可以在现实生活中灵活的完成各种任务。

2 仿人机械手的工作原理

仿人机械手由5个手指头和手腕组成，它们可以使用STM32直接在触摸屏上进行控制；同时也可以使用树莓派对真人的手掌进行识别，通过真人的手掌的姿态进而远程控制仿人机械手，以便可以让仿人机械手在各种环境下进行复杂的任务。

仿人机械手的整体结构如图 1所示，它由触摸屏、微控制器、驱动单元、无线传输单元、图像采集单元、树莓派等六部分组成。

图1 仿人机械手的构成

仿人机械手有两种控制的方式：①操作者通过机械手的主控电路板上面的TFT触摸屏直接控制机械手的运动，这种控制方式由于主控板和机械手上面的驱动单元通过信号线相连，所以操作者不能距离机械手太远，而且需要操作者对于主控电路的系统需要一定的熟练度和了解；②摄像头通过采集操作者的手的姿态，传递给树莓派进行处理，最后通过无线传输单元将手的姿态的数据和其他命令数据传输给微控制器，微控制器控制机械手进行相应的动作。这种控制方式操作者可以距离机械手较远距离控制机械手，而且操作简单，对不同的工作环境具有良好的适应性。

3 仿人机械手的设计

3.1 机械结构设计

3.1.1 传动方式

机械手采用不同的传动方式，其灵活性、可操作性、体积等性能指标都会有较大的差距。目前机械手采用较多的传动方式为腱传动和连杆传动[2]。

本文采用的传动方式为腱传动，驱动单元和手指通过渔线进行连接。驱动单元通过拉伸渔线使得手指弯曲，并且通过拉簧和压簧使得手指回复原状，进而完成抓、握等各种动作[3]。

3.1.2 驱动方式

目前，用于机械手驱动的电机主要有步进电机、直流伺服电机等。考虑到机械手的体积，所需力矩等因素，所以决定采用直流模拟舵机。它具有高精度、反应速度快、稳定性好、力矩大、体积小巧等特点。在舵机动力输出末端，加上了凸轮，使得手指可以完全屈伸。

3.2 软件部分设计

3.2.1 图像识别算法设计

图像识别是机械手反应速度和准确度的核心之一，一个稳定、快速的图像识别算法，可以让整个项目的实用性和稳定性大大提高。这里涉及的需要处理的图像是人的手掌。因为图像较为复杂，本项目采用计算机视觉来进行处理，考虑到项目的整体大小、便携性、处理速度等因素，本项目使用树莓派3b+作为图像处理的平台。

随着计算视觉技术的迅速发展，传统的人机交互技术(如键盘、鼠标等)逐渐无法满足人们日常活动中的应用。许多研究工作致力于开发新的人机交互技术，包括手势识别、人脸识别、人体姿态识别等。其中，手势识别是人机交互中一种十分重要的交互方式，它主要由计算机通过视频输入设备(摄像头等)对用户手势进行检测、跟踪与识别，从而理解人的意图[4]。

手势识别已经发展出很多算法，其中很多算法的一般处理步骤是手势的分割、跟踪、特征提取、分类识别以及深度学习来进行较为精准识别。但是程序代码量大，调试时间较长，对于很多人来说入手难。本项目手势识别采用入手简单的百度API接口技术。API相当于连接前端和后端的一个接口[5]，非常适合程序员进行软件的开发。百度API只需要向API服务地址使用POST发送请求，然后将你需要处理的图像编码成相应的识别格式[6]，就可以运用百度云端的资源帮你处理图像。最后，将返回的数据运用在图像上，重新绘制图像，得到自己理想的图像。

4 实验

为了测试仿人机械手整个系统的稳定性，将进行综合性的实验。实验以猜拳游戏来进行测试，通过树莓派来识别真人的手势，机械手做出对应手型来赢得猜拳游戏，实验现场和结果如图2 所示。

图2 猜拳游戏现场演示

经过多次实验，手势识别在日常的生活环境中，正确率高达90%以上。无线传输的数据目前没有出现过掉数据包的现象。并且仿人机械手完全可以胜任石头、剪刀、布等多种手势形状。

5 结语

本文从机械设计、软件设计来较详细的描述仿人机械手整个项目的构思、制作，通过现场演示展示了仿人机械手的可操作性。仿人机械手既可以通过主控电路上面的触摸屏控制，又可以通过树莓派3b+进行远程操控和演示，本项目完全摆脱了目前市面上常用的数据手套，具有一定的先进性和实用性。本文使用远程图像识别技术，设计并实现了一套完全摆脱数据手套的远程仿人机械手，并且使用3D打印和三维建模，使机械手外观仿人手化，模块化，灵活性强，抓力强。本项目可以很好地实现机械手的操作便捷性，通用性，以及对现场环境良好的适应性。为远程操作机械手提供了参考方案。