基于增强学习算法的工业机器人运动规划研究

基于增强学习算法的工业机器人运动规划研究

在工业4.0和网络物理生产系统迅速发展的背景下，当今生产系统面临着一个主要挑战，即具有高的灵活性和适应性，同时也具有强大的经济效益。具体来说，工业机器人的运动规划过程的实施需要细化其运动任务的可变性，使机器人能够具有自适应处理环境变化的能力。本文提出了一种基于强化学习（RL）的认知增强型6轴工业机器人，用于具有连续轨迹的复杂运动规划实现。该方法的灵感来自于经典的线环游戏，即从开始到结束沿着曲线的路径引导金属环，同时避免线和环之间的任何接触。研究结果表明，增强学习算法可以更好地控制机器人的运动，并且不需要预先对路径进行建模或对机器人运动进行编程。此外，通过视觉传感器（相机）可以对系统进行扩展以充分概括学习环境，使得机器人可以解决新的路径问题。因此，增强学习算法对于工业机器人和生产系统的适用性来说，具有巨大的未开发的潜力，因此需要一个通用和强大的过程自动化方法。

提出了一种基于增强学习算法和Q-学习算法的工业机器人运动规划的概念，可以控制机器人能够自主地按照最适合的策略来解决相应任务。将所提出的方法应用在6轴工业机器人上，控制其来完成线环游戏。研究结果表明，该方法使机器人能够在几分钟内学习正确的轨迹，而且可以积累经验以节省以后学习的时间。经验指的是将非关系知识数据库中的状态和动作之间的相关性存储为相应的反馈。机器人人的问题概括的能力和新问题处理能力基于其感知的环境，因此，经验的积累使得机器人能够根据前期集的经验通过排列组合来解决未知的问题。总之，基于增强学习的机器人可以在一定程度上适应生产过程的变化。这些机器人根据其自动收集的经验，提供了以非常方式整合流程和领域专业知识的巨大潜力。

刊名：Procedia CIRP

刊期：2017年95期

作者：Richard Meyes et al

编译：陈少帅