基于互联网遥操作研究

李凯+马斌+刘信

摘要：遥操作机器人在核工业、电力、医疗、航天工业有着大量应用，伴随着网络和机器人控制技术的飞速发展，基于互联网遥操作研究成为当前机器人学科的一个前沿课题。互联网的开放性、低成本、灵活性为机器人技术的发展与应用提供了广阔空间。针对基于互联网遥操作的稳定性、时变时延和数据包丢失的缺点，研究人员给出了不同的解决改善方案，其中包括控制理论与策略、人工智能、虚拟现实和协议分析与改进等技术方法，取得了一定成果，同时仍有很大改进空间。

关键词：互联网；遥操作；稳定性；透明性；时延

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）34-0210-04

1 背景

1994年美国南加州大学的Mercury项目是基于互联网遥操作的首个实例，机器人Raiders被连接到互联网上，用户可以通过互联网控制界面通过鼠标控制机器人在盛满沙子的容器中挖掘物品，在每一个动作结束后系统会反馈给用户一张当前状态的图片[1]。同年，西澳大利亚大学的Kenneth Taylor发布了一个可以通过互联网访问的六自由度遥操作机械手臂机器人，用户可以通过网页发出控制请求来控制机械手臂堆砌放置在桌子上的小木块[2]。随后的Telegarden[3]、Xavier[4]等项目相继接入互联网，用户可以基于互联网完成不同的任务操作。NASA的“WITS”项目“火星探测者”任务[5]，该项目开发了一个Web界面，用来控制在遥远的星球上遥控车辆，使得科学家可以通过浏览器完成行星探测器的控制任务。2001年法国医生雅克马雷斯科带领的医疗小组的“Zeus”机器人将遥操作技术应用于医疗实践[6]，在纽约对躺在法国斯特拉斯病床上68岁的病人进行了远程手术，在此之后的更多实践展示了基于互联网遥操作机器人的广阔应用前景。

评价一个遥操作系统性能的指标包括稳定性，透明性等。对系统的稳定性，研究人员提出多种控制理论策略，文献[7]阐述了系统稳定性分析的几种主要方法，包括Lyapunov稳定性、输入输出稳定性、无源稳定性和基于事件的稳定性。决定系统透明性的关键因素是网络时延，基于互联网遥操作系统的通信环境—互联网—决定了时延测量及其预测的复杂性，网络时延具有随机性、不确定性。稳定和降低时延的方法包括控制理论策略、协议分析与改进、时延预测补偿、人工智能等技术方法。

在现有互联网资源环境下，无论何种技术方法都无法突破通信带宽时延的极限，而在机器人控制的主从端解决问题，采用人工智能的方法，给予遥操作机器人可调的自主性[7]，使用虚拟现实技术[8]，优化改进图像处理技术[9]，为增强系统稳定性和透明性开拓了新的方向。

由于基于互联网遥操作系统工作在开放的互联网上，信息安全问题同样是一个不容忽略的问题，尽管绝对的安全无法实现，一定程度的安全性可以通过密码学和防火墙技术等来实现[10]。

2 系统性能分析

2.1 系统稳定性

力反馈被引入在临场感实现中解决时延问题，系统的稳定性问题凸显出来[11]。而时变时延更成为系统稳定性的灾难[12]，由于机器人的非线性和强耦合，加上网络时延的不确定变化，解决网络遥操作系统的稳定性问题仍然是困难重重[7]。

研究人员在研究和增强系统稳定性中提出了以下解决方法和实践：

Lyapunov稳定性：文献[19]提出了Lyapunov函数应用于控制器设计，采用定号到定号模式的稳定性分析方法。文献[20]对Lyapunov函数做了进一步扩展系统的稳定性判据不依赖于时变时滞的变化率，提出了一种定号到不定号模式的稳定性分析方法。

输入输出稳定性：在有限输入-输出反馈连接的框架下，将动力学系统的稳定性概念引入，在时延变化范围较小，即控制器增益大小可以确定的情况下，可以有效保障系统的稳定性。然而，由于通讯通道快变时延的存在，输入-输出稳定性难以具体给出控制器增益大小的上下界，这对控制器的设计来说相当保守[7]。

无源稳定性：文献[15]、[16]将散射理论应用到力觉临场感遥操作系统中，指出，导致系统不稳定的环节在于通讯环节的时延造成了系统的有源性。从而构造无源性的系统成为构造稳定系统的基础。但是当时延变大时，系统性能下降。文献[17]提出了基于有源阻抗匹配的无源控制算法，同时保证力觉临场感和系统的稳定性。文献[18]从能量传递角度出发，提出了波变量的概念，并通过波变换的方法道出了一种无源控制算法。

基于事件的稳定性[13-14]：时延、丢包和连接中断集中缺陷都将导致系统的不稳定，尤其是在闭环系统中。在基于事件的遥操作系统中，如果系统是渐进稳定的，时间不作为系统的参考变量，选择非时间参考变量，从而通信时延对系统不产生影响，从而保证系统的稳定性。但是，基于网络的遥操作系统难以满足渐进稳定性，参考变量的存在也影响了系统控制的实时性[7]。

2.2 透明性

透明性是指在遥操作系统中，主端的操作者具有身临其境的感受，如同直接操作从端设备。同时保证系统的稳定性和透明性很难实现。

在实践中，完全透明的遥操作系统是無法实现的，所以一下三个问题显得有必要[21]：什么程度的透明性是完成一系列遥操作任务所必需的、什么程度的透明性是可能实现的、什么样的架构和控制规则是实现最优透明性所必需的。

解决系统透明性最早实现方法是采取“走一步，等一步”的策略，这种方法损害了系统的性能。其改进方案包括：位置-力规划使得主端和从端力和位置信息一致，在保证系统稳定性和性能的前提下提高系统透明性[11]，该方案适用于时延较小的系统；采用虚拟现实技术提供实时视觉和力觉反馈[22]，适用于时延较大的系统；文献[23]提出了四通道方法系统在时延条件下的透明性，但是系统稳定性较差；文献[24]提出了利用前向神经网络建立环境模型，通过神经网络模型模拟从机械手，并用时间前向观测器预测从机械手状态，使得系统在位置环境模型位置的条件下稳定，并获得良好的透明性；文献[25]将波变量方法与预测技术及四通道遥操作系统结构相结合，在保证时延系统稳定性的基础上提高了系统的透明性。

2.3 系统时延

遥操作系统通过网络交换数据时，多个节点共享同一网络通道而引起的时延，称为网络时延。基于互联网遥操作机器人由于一般使用互联网，由于网络带宽、传输协议等因素的限制，其传输数据的时延大小呈现出不确定性和随机性，严重影响系统的稳定性，从而网络时延时成为影响遥操作系统稳定性的关键因素之一。

在基于互联网遥操作系统中时延构成如以下公式所示：

Tr=Tp+（Ds+Dr）/v+Tc

式中Tp表示计算机处理请求时间，Tc表示连接初始化时间，Ds表示发送的数据量，Dr表示接收的数据量，v表示连接的传输速度。

1988年Raju指出时延造成了通信环境的有源性，从而导致系统不稳定[26]。在基于互联网遥操作系统中，系统时延具有不确定性、随机性，分析和应对这些因素将有助于优化系统时延，增强系统的稳定性和透明性。

前面提到研究人员从稳定性和透明性角度使用不同的控制方法来降低时延对系统的影响。另外，部分研究人员从时延预测补偿的角度对时延进行研究。

2.4 数据包丢失

由于基于互联网遥操作基于TCP/IP协议进行数据包传输，在数据传输过程中拥塞控制机制会丢弃数据包，从而导致数据包的丢失。

首先可以从改进传输协议和改变数据包的结构来应对数据包的丢失问题。TCP协议具有自动重传、数据包顺序重排的特点，但是这种特性不适合遥操作系统的数据传输；而UDP协议不能保证数据的可靠传输，如何在TCP/IP协议簇基础上完成数据包的高效可靠传输是保证系统稳定性和透明性的重要基础。

另外，在提高机器人局部自主性方面入手来解决数据包丢失问题[27]，即提高机器人局部自治能力，也是一种不错的选择。

3 关键问题研究

3.1 控制理论策略

遥操作系统的控制方式可分为直接控制、监督控制、预测显示控制、基于事件控制和无源性理论[28-29]。直接控制适用于时延小且稳定的系统，当遥操作系统的主从端存在明显的通讯时延时，最简单的方法是直接控制，即“走一步，等一步”的方式，从而保证操作过程的稳定性，但是这延长了遥操作任务的执行时间，一定程度上降低了遥操作任务的执行效率。

监督控制的基本思想是将主端操作人员置于控制结构闭环之外，从而使得系统无源性的到保障，主端发动指令，并随时从端执行进行监督从而做出下一步决策，这对主端操作人员具有丰富的经验和知识基础提出了较高要求，同时要求从端机器人具有人工智能。目前监督控制仍是解决时延问题的主要手段，特别是在空间和深海作业中存在长达几秒或者几十秒时延的情况下，仍然是最好的方法[28]。若结合虚拟现实技术预测显示的方法，监督控制可以取得更好的效果。随着人工智能的发展，可以不断加强机器人作业系统的自主决策能力，监督控制所需有人的参与将越来越少[27]。

预测显示控制是将控制指令发给远端之前，现在本地进行模拟预演指令执行效果，并且远端也将实际执行结果反馈回来，与预测结果进行比对校正，从而动作执行的可靠性和正确性，同时维护了系统的稳定性和透明性。预测显示以及虚拟现实等技术方法在解决时延问题上起到重要作用，但对于复杂的未知作业环境，就不能够精确地建立其动力学模型，往往需要结合其他方法。

基于事件控制[13-14，30]：上述两种方法都是采用闭环回路来回避时延环节达到减小通讯时延的影响。传统的控制系统使用时间作为控制输入、输出信号的参考变量，基于互联网的遥操作系统存在的时变时延使得系统的稳定性和透明性难以保证，因此以时间作为参考就很难保证系统的稳定性。使用系统中发生的事件来规划控制，选取与时间无关的参考变量的方法可以有效地回避时延问题，该方法因此称为基于事件的控制方法。

3.2 协议分析与改进

为了解决时变时延问题，计算机网络领域研究人员给出了协议分析与改进的方法来预测时延、降低时延，维持系统的稳定性。

在应用层，文献[31]提出了在UDP协议上传输TCP服务的TCP OVER UDP技术，在应用层实现了该技术，并将其应用到遥操作机器人系统的视频传输中，在降低视频数据传输丢包率和传输时延两个方面具有良好的性能。

在网络层，文献[32]提出了一种基于时延的自适应多QoS路由算法，它在满足带宽和时延波动约束条件下，直接利用前一周期的时延信息来更新路由表，以作为当前寻找路径的依据。文献[52]提出一种基于候选路由库的遗传算法，讨论了带时延及时延抖动的组播路由优化问题，给出了该问题的数学模型。

在传输层，研究人员提出了较多改进方案，有代表性的文献[33]提出的有选择交替使用TCP和UDP传输协议的方法，文献[34-35]提出的基于多连接的时延控制方案，文献[36]提出的多链路共享令牌缓冲池流量调度模型等，不同的运输层协议改进方案被提出[37-38]。

3.3 时延预测

由于在控制机器人时，主端传输控制操作命令给从端，操作命令到達时，由系统进行编译、解释和命令分解，并将执行结果反馈给主端。在这个过程中，可以考虑利用预测补偿技术，在某种程度上，弥补由于延时带来的运动失控或作业质量达不到要求等方面的问题。

文献[39]提出了用Smith预估器预测从手状态的思想，在精确知道从手和环境模型的前提下，主手端用PD控制器进行调节，可显著提高系统性能。文献[40]对Smith预估器进行了修正，并结合波变量方法对系统的状态进行预测，使得时变时延系统鲁棒稳定。

文献[41]提出了虚拟时延的概念，其核心思想史将主手端的信息加上时间戳，以固定周期发送到从手端，在从手端加上一个时延缓冲器，使得系统时延为定值，从而可以用定常时延的方法来对系统进行分析和设计。

文献[30]提出了通过在主端对给定信息加入时间标签获得过去的系统回路时延，采用多元线性回归算法，预测下一时刻系统回路时延；后又提出了一种新的基于事件的预测控制策略。

文獻[42]人提出了通信扰动观测器时延补偿的方法，该方法将由时延导致的错误称为干扰扭矩，通过观测器来观测并进行补偿，在应对时变时延时比Smith预估补偿器具有更有的性能。

同时部分研究人员针对神经网络技术应用于遥操作系统进行了研究，分别提出了AR、RBF、Elman、BP神经网络模型及其改进方法的应用[43-50]。

3.4 人工智能

随着机器人智能技术的发展，从机器人局部自主性方面入手来解决数据包丢失的问题。即提高远地机器人的自治能力，并在远地建立缓冲器，将时延参数和数据信号以文件形式存储起来。当出现异常情况导致数据包丢失时，智能机器人可以自动读取上一次接收的数据，或在上一次的设置点进行幅度很小的安全的运动。文献[27]提出了机器人的可调整自主性（Adjustable autonomy， AA），通过改善人机交互来补偿网络通讯存在的不确定延时对系统性能的影响。机器人的自主性根据当前形势和环境动态调整，操作者和机器人以适合网络状况和任务需要的模式进行交互和合作， 使得整个系统的效率大大提高。

采用虚拟现实技术构造临场感的人机交互界面，虚拟现实的作用主要体现在实现预测显示和实现临场感监视两个方面。将虚拟现实技术用于遥操作机器人系统克服通信时延以确保系统的稳定性和可操作性得以同时实现。文献[51]提出了具有虚拟力觉导引功能的机器人遥操作系统的控制方法。文献[52]提出在时延较大时，采用基于虚拟预测环境的机器人遥操作技术，在本地端建立遥环境和机器人的模型，形成控制回路来抵消大时延对系统稳定性和操作特性的影响。

3.5 图像处理

由于基于互联网遥操作系统中，从端反馈给主端的数据大部分为图像视频数据，如何在保证反馈效果的条件下降低图像视屏数据量是一个值得研究的问题。文献[9]提出一种分层码率控制的带宽自适应策略，通过将视频编码、网络传输、后端解码等有机结合起来，构建了一种容易控制和管理的视觉传输模型。

3.6 信息安全

由于基于互联网遥操作系统工作在开放的互联网上，信息安全问题同样是一个不容忽略的问题，尽管绝对的安全不可能实现，一定程度的安全性可以通过密码学和防火墙技术等来实现。如何建立完善的遥操作安全体系结构的研究还没有能够得到研究人员的重视。在更多的遥操作系统应用于实践情况下，基于互联网遥操作的网络信息安全问题值得思考。

4 结束语

本文从系统性能分析，当前面临的关键问题两个方面对基于互联网遥操作系统的研究进行了分析总结。基于互联网遥操作系统的研究是一个极具挑战性的领域，具有重要的研究价值和广阔的应用前景。

在今后的研究中进一步改进和优化基于互联网遥操作系统的稳定性和透明性仍然具有很大潜力。通过改进网络通讯协议，采用多连接并加入优先级约束，建立虚拟现实环境，为机器人赋予人工智能并建立专家系统将会进一步促进基于互联网遥操作系统的性能。

同时进一步改进神经网络技术在基于互联网遥操作系统中的应用模型，建立稳定透明的系统模型，并采用预估控制方法，进一步改进Smith预估模型，也会使得系统的性能提高。而如何将基于互联网遥操作系统应用到我国信息化建设中，比如在智能电网的建设中，使得该领域研究更具应用实践价值，值得研究人员的思考与实践。

参考文献：

[1] GOLDBERG K， MASCHA M， GENTNER S. Desktop teleoperation via the World Wide Web[C]. Proceedings of the IEEE International Conference on Robotics and Automation. New York： IEEE Press，1995： 654-659.

[2] Taylor K，Trevelyan J. 26th International Symposium on Industrial Robots[C]. Symposium Proceedings. Competitive Automation： New Frontiers， New Opportunities， 1995： 39-44.

[3] Goldberg K， Santarromana J， Bekey G，et al. A teleroboticgarden on the world wide web[R]. Technical report， SPIE OE Reports， 1996.

[4] SIMMONS R， FERNANDEZ J L， GOODWIN R. Lessons learned from Xavier[J]. IEEE Robotics and Automation Magazine， 2000，7（2）： 33-39.

[5] Backes P G，Tharp G K，Tso K S. The Web Interface for Telescience （WITS）[C]. Robotics and Automation， 1997. Proceedings， 1997 IEEE International Conference on， 1997： 411-417.

[6] Jacques Marescaux， Joel Leroy， Michel Gagner， et al. Transatlantic robot-assisted telesurgery[J]. Nature，2001，413： 379-380.

[7] 王世华， 胥布工. 互联网上机器人的遥控理论与方法综述[J]. 控制理论与应用， 2008， 25（5）： 873-878.

[8] 庄骏， 邱平， 孙增圻. 大时延环境下的分布式遥操作系统[J]. 清华大学学报：自然科学版， 2000， 40（1）： 80-83.

[9] 张国亮， 蒋再男， 刘宏. 分层码率控制策略在机器人遥操作中的应用[J]. 哈尔滨工业大学学报， 2009， 41（3）： 26-28.

[10] Isidro Calvo， Marga Marcos， Darío Orive，et al. A methodology based on distributed object-oriented technologies for providing remote access to industrial plants[J]. Control Engineering Practice，Volume 14， Issue 8， August 2006： 975-990.

[11] ANDERSON R J， SPONG M W. Bilateral control of teleoperators ith time delay[J]. IEEE Transactions on Automatic Control， 1989， 34（5）： 494-501.

[12] HIRAI K， SATOH Y. Stability of a system with variable time delay[J]. IEEE Transactions on Automatic Control， 1980， 25（3）： 552-554.

[13] Ning Xi T J. Stability analysis of non-time referenced Internet based elerobotic systems[J]. Robotics and Autonomous Systems，2000， 32（2-3）： 173-178.

[14] Elhajj I， Xi N， Yun-Hui Liu. Real-time control of Internet based teleoperation with force reflection[C].Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings， 2000， 4： 3284-3289.

[15] Anderson Robert J， Spong Mark W. Bilateral control of teleoperators with time delay[C]. Proceedings of the IEEEConference on Decision and Control， 1988： 167-173.

[16] Niemeyer G， Slotline J J E.Teleoperators with time dela[J]. Stable adaptive teleoperation， 1991， 16（1）： 167-173.

[17] 宋爱国， 黄惟一. 空间遥控作业系统的自适应无源控制[J]. 宇航学报， 1997， 18（3）： 26-32.

[18] Niemeyer G， Slotine J J E..Stable Adpative Teleoperation[J]. Jounral of Oceanic Engineering， IEEE， 1991，16（1），： 152-162.

[19] AZORIN J M， REINOSO O， ARACIL R. Generalized control method by state convergence for teleoperation systems with time delay[J]. Automatica， 2004， 40（9）： 1575-1582.

[20] 胥布工. 一個新型充要指数稳定性定理及其初步应用[J]. 控制理论与应用， 2006， 23（1）： 7-13.

[21] Lawrence D A. Stability and transparency in bilateral teleoperation[C]. Proceedings of the 31st IEEE Conference on Decision and Control， 1992， 3： 2649-2655

[22] 陈俊杰， 黄惟一. 基于虚拟现实技术的遥操作机器人的鲁棒性控制策略[J]. 控制理论与应用， 2006， 23（5）： 823-829.

[23] Hashtrudi Zaad K， Salcudean S E.Transparency in time-delayed systems and the effect of local force feedback for transparent teleoperation[J]. IEEE Transaction on Robotics and Automation， 2002， 18（1）： 101-114.

[24] 陈启宏， 费树岷， 宋爱国. 遥操作机器人系统的预测控制[J]. 东南大学学报：自然科学版， 2003， 33（20）： 177-204.

[25] 于振中， 闫继宏， 赵杰， 等. 利用波域预测的四通道时延双边遥操作[J]. 华中科技大学学报：自然科学版， 2010， 38（5）： 32-36.

[26] Raju G. Design issue in 2-Port networks models of bilateral remote manipulation[J]. IEEE Trans. on Auto. Conrtol， 1989， 34（3）： 1316-1321.

[27] 苏剑波， 周玮. 网络机器人的可调整自主性[J]. 自动化学报， 2010， 36（7）： 264-267.

[28] 刘曙光. 基于Internet的遥操作机器人系统控制研究[D]. 西安： 西北工业大学， 2006.

[29] 刘曙光， 周宗锡， 杨峰. 遥操作机器人系统的变时延控制[J]. 控制工程， 2006， 13（S0）： 179-182.

[30] 陈丹， 席宁， 王越超， 等 .网络遥操作系统中基于事件的预测控制策略[J]. 控制理论与应用， 2010， 27（5）： 623-626.

[31] 李国栋， 周宏， 毕严军. 基于TCP OVER UDP技术的机器人遥操作系统中视频传输的研究[J]. 华北电力大学学报， 2006， 33（6）： 47-50.

[32] 纪竹亮， 戴连奎. 一种基于时延信息的多QoS快速自适应路由算法[J]. 电路与系统学报， 2004， 9（4）： 142-145.

[33] 桂芳， 全书海. 网络控制系统传输时延分析与测试[J]. 计算机应用， 2005， 25（10）： 2264-2266.

[34] 贾允毅， 胥布工， 王世华. 基于多连接的Internet遥操作中变时延控制问题研究[J]. 计算机应用研究， 2008， 25（9）： 2794-2797.

[35] 王世华， 胥布工， 刘云辉， 等. 多信息感知辅助的网络操作机器人系统[J]. 机器人， 2008， 30（1）： 47-55.

[36] 郭小雪， 秦勇， 蔡昭权， 等. 多链路时延反馈共享令牌流量拥塞控制[J]. 计算机工程与应用， 2010， 46（2）： 75-78.

[37] 周亚金， 李帅， 林子敬， 等. 一种基于移动机器人遥操作的传输协议[J]. 控制工程， 2008， 15（2）： 204-208.

[38] 杨可洪， 马旭东. 移动机器人远程监控系统的实时性改进[J]. 工业控制计算机， 2007， 20（1）： 3-5.

[39] Sheridan T B. Space teleoperation through time delay：Review and Prognosis[J]. IEEE Transactions on Robotics and Automation， 1993， 9（5）： 592-606..

[40] Munir S. Internet based teleoperation[D]. Ph. D Thesis， Georgia Institute of Technology. Georgia： Georgia University Press， 2001.

[41] Kosuge K. Murayama H. Takeo K. Bilateral feedback control of telemanipulators via computer network [C]// Proceedings of the 1996 IEEE/RSJ International Conference on Intelligent Robots and Systems. NewMexico：Albuquerpue， 1996.

[42] Natori K， Tsuji T， Ohnishi K，et al.Robust bilateral control with Internet communication[C]. Proc. 30th Annu.Conf. IEEE Ind. Electron. Soc.， Busan， Korea， 2004， 3： 2321-2326.

[43] 王宏伟， 宋艽. 基于神经网络的网络时延预测[J]. 微计算机信息， 2008， 24（2-1）： 265-266.

[44] Chen Q，Quan J，Xia J.Neural network based multiple model adaptive predictive control for teleoperation system[C]. in Proceeding of the 4th International Symposium on Neural Networks：Advances in Newral Networks， 2007， 4491： 64–69.

[45] Smith A C ， Hashtrudi-Zaad K.Adaptive teleoperation using neural network-based predictive control[C].Proceedings of the IEEE Conference on Control Applications， 2005： 1269-1274.

[46] 劉文菊， 郭景. RBF神经网络中心选取OLS算法的研究[J]. 天津工业大学学报， 2002， 21 （2）： 71-73.

[47] 刘涛， 王岩. 基于时延估计组合模型的NCS控制方法研究[J]. 计算机工程与应用， 2010， 46（30）： 78-81.

[48] 齐仲纪， 刘漫丹. 基于文化算法的新型Elman网络过程建模方法[J]. 华东理工大学学报：自然科学版， 2008， 34（5）： 745-750.

[49] 叶德谦， 杨樱， 金大兵. 基于神经网络集成的强化学习算法系统设计[J]. 计算机工程与应用， 2006， 42（12）： 97-99.

[50] 化建宁， 崔玉洁， 李洪谊， 等. 具有虚拟力觉导引功能的机器人网络遥操作系统[J]. 控制理论与应用， 2010， 32（4）： 522-528.

[51] 王永， 谢圆， 周建亮. 空间机器人大时延操作技术研究综述[J]. 宇航学报， 2010， 31（2）： 299-306.

[52] 陈佳， 康立山， 陈毓屏. 用遗传算法解带时延及时延抖动约束的组播路由优化问题[J]. 计算机工程与应用， 2003， 21： 147-150.