基于参数化动作描述的虚拟维修过程仿真

王丰产 ， 孙有朝

（1.南京航空航天大学民航学院，江苏 南京 210016；2.武警杭州士官学校，浙江 杭州 310000）

维修是指为系统、装备或产品保持或恢复到能执行所需功能的状态所进行的全部技术措施和管理活动，通过执行恢复产品性能的操作，使其达到或接近于新产品状态的操作过程[1]，是产品使用寿命周期中重要活动。维修是产品能否长时间、高质量、低成本和低风险使用的重要措施。

为了实现高效和可视化产品维修过程，虚拟现实技术应用到维修仿真中，产生了虚拟维修技术。从20世纪90年代末已经成为研究的热点问题之一[2-3]，许多学者提出了各种各样的方法来解决虚拟维修问题，不断地研究虚拟维修技术。为了更好地解决实际应用问题，也为了高效智能的实施维修仿真，研究人员综合一个或多个领域知识来解决产品虚拟维修过程中遇到的各种问题。

产品维修过程包含很多内容，例如：维修流程规划、维修过程仿真和维修操作等。制造企业在不断提高竞争力和缩短市场化时间需求的推动下，越来越多的维修领域专家和工程师需要更逼真、更方便地执行维修动作仿真任务。因此，维修工程仿真必须和虚拟人动作联系起来，并且虚拟人动作必须明确的描述出来。

Badler研究小组对虚拟人动作进行了“参数化动作描述(Parameterized action representation,PAR)”[4-5]，给出了完整的定义和规范。所谓“参数化”是因为执行动作的虚拟人怎样完成动作，这就需要对动作进行规范化参数来描述，PAR解决了这个问题，根据虚拟人体结构规范了虚拟人动作的各种参数，比如：动作路径、定位、完成方式和动作目标等，也包括一些完成某动作的必备条件以及标志动作终止应满足的条件。但是PAR描述的范围比较广泛，没有针对维修动作进行定义，本文在PAR的基础上对维修动作进行归纳，提出维修动作库，便于维修仿真的调用，提高了虚拟维修仿真的方便性。

本文根据虚拟维修仿真的实际需要，结合PAR规范定义，提出了从自然语言描述的维修指令向元任务和动作分解的维修任务分解模型(Maintenance Task Decomposition Model，MTDM)；根据维修经验，定义并形成了维修动作库规范(Action-DB)，提出了符合维修过程仿真的维修操作模型。最后，以某型飞机起落架维修任务的仿真过程验证虚拟维修仿真任务分解模型、动作库使用及自然语言向参数化动作分解过程。

1 维修任务分解模型

每个自然语言描述的维修任务是有一系列更低层次的元任务(Meta-Tasks，MT)组成，每个元任务又可以逐层向下细分为维修操作、维修动作和基本动素。维修任务分解模型如图1所示。

图1 任务分解模型

元任务是最小的不可再分的任务单位，可以一个人独立完成的基本任务。元任务可以被更复杂不同等级的组合任务调用并组合成复杂任务。

操作层是元任务的下一层，操作是由一系列动作构成，是连接元任务层和动作层的桥梁。例如：抓一个扳手去拆卸一个紧固件操作，包括去拿扳手和扭动紧固件等动作组成。

动作层是操作层的下一层，是具有维修语义的最小单位，一个动作还可以分解为基本动素，基本动素是身体某部分的运动或移动，没有具体的目的和维修语义。一个动作可以有一系列基本动素组成。比如，拿工具这个动作包括手指张开，大臂小臂前伸，到达目的工具手指抓握等肢体动素。

动素是身体各部分的基本运动形式，定义动素是虚拟人身体和肢体运动仿真的基础，动素可以基于人体骨骼结构运用动力学和运动学模型直接驱动和仿真。例如：手指的弯曲运动，肢体绕关节的转动等基本运动称为动素。

通过维修任务的逐层分解，把一个具体的维修任务通过一系列的维修动作表示出来，建立了维修任务、动作及最底层的动素驱动之间的关系，提高仿真编程操作的方便性。

2 虚拟维修动作库

由于动素没有特定的维修语义，只表示身体骨骼的某一部分运动或转动，而且动素无法分类和规范，所以在虚拟维修仿真中，定义动素的上一层动作为维修仿真基本运动形式。结合维修仿真中常用的动作，对这些动作进行分类定义，组成维修动作库。便于在维修仿真中方便调用。维修动作所处的层次如图1所示，可以分为平面移动类、姿态调整类、徒手操作类和工具操作类，共4类35个动作，根据这4类动作，分别定义动作含义，组成动作库，见表1。

表1 维修动作库描述表

一方面，维修动作库的动作都用PAR[4-5]进行参数化定义描述。并可以对其底层虚拟人骨骼结构进行动力学和运动学驱动分析。

另一方面，组成的动作库可以在虚拟维修仿真系统中直接调用，不用理会动作如何进行驱动实现的，大大简化维修仿真动作调试过程。特定的维修动作序列就可以组成维修操作，例如，在delmia系统中，定义好的动作库可以方便高效地运用于虚拟维修仿真。图2给出了一些动作库的基本动作样例。

图2 动作库样例

3 维修操作和动作模型

3.1 维修操作模型

维修任务分解为元任务MT，MT通过操作（Operation，O）转化为具体动作，操作成为了元任务和维修动作的桥梁。一个操作可以定义为包括虚拟人、部件、工具、动作和注意五元组表示，操作O定义如下：

Operation =：

Operation——维修操作；

Agent——维修操作虚拟人；

Tools——维修工具；

Action——维修动作序列；

Attention——注意和警告等；

例如：用扳手拧紧一个紧固件螺栓的操作，可以表示为：wrench (Agent, Wrench, Bolt,Attention) ，拧紧操作将被执行。

任务、元任务、操作、动作之间关系是逐层细化分解的关系，可以用下式表示：

这里∑表示系列和的意思，表明一系列的动作可以组成操作，一系列的操作可以组成一个元任务等。通过把顶层任务向底层执行动作分解，便于编程仿真实现具体的维修仿真过程，反之，底层的具体动作逐层有序组合可以形成具体的维修任务。这里PAR起到的关键的桥梁作用。PAR模型如图3所示。不但便于维修仿真，而且还能在不同的层次上评估维修性、工效性、人体疲劳度及维修标准工时核定等有意义的工作。

图3 PAR规范模型

3.2 维修过程仿真系统

要使系统运行，必须有一个完整的系统结构，图4给出了PAR系统仿真系统架构[6]，相关定义和各模块意义如下所述。

UPAR (Uninstantiated PAR)：所有PAR动作可以分为实例化IPAR和非实例化UPAR。维修任务所有待执行动作序列形成一个动作层次树，正在执行或要执行的动作进行实例化，暂时不执行的动作不进行实例化而存在于动作库，称为UPAR。一个UPAR包括缺省的应用环境条件和动作执行条件，也包括执行具体动作的人体结构。

图4 PAR仿真系统结构

IPAR (Instantiated PAR)：实例化的参数化动作IPAR 是UPAR 通过指向具体的虚拟人、物理对象、方式和目标条件等进行实例化。所有新的具体信息和条件实例化UPAR中缺省的信息和条件。

NL2PAR：该模块的作用是完成自然语言描述的维修任务向参数化动作的转化过程。包括：解析和翻译两部分，解析模块执行自然语言维修指令输出为语言结构树，包括名词、动词、副词和介词等，语言结构树存入数据库中。翻译模块利用解析模块解析得到的信息确定执行动作的虚拟人、物理对象及其运行环境条件等，产生一系列IPAR和UPAR。

Database：数据库以结构树形式存储所有的待用的对象，包括虚拟人、物理对象和UPAR。

Execution Engine：执行引擎模块是一个系统控制器，包括全局时间控制器、向可视化运行环境发送命令、刷新显示、安排待执行PAR到正确虚拟人等功能。

Agent Process:虚拟人队列管理模块来管理每一个虚拟人实例，保持每个IPAR都对应正确虚拟人来执行。在虚拟人执行PAR时，首先检查应用环境条件是否满足，如果不满足，执行将中止并报告系统更新操作。如果条件满足，检查前提动作是否满足，如果有前提动作需要执行，相应的前提UPAR转化为IPAR，并排列到相应的IPARs队列中进行执行。

IVMTS：智能虚拟维修训练系统(IVMTS)是基于delmia软件二次开发的一个虚拟维修训练系统。

在虚拟维修训练系统中，任务数据库存储存储虚拟维修任务，根据任务数据库的任务描述和具体操作内容进行维修任务分解，规划动作流序列，使自然语言描述的的任务逐层向动作流序列分解，包括工具、虚拟人、操作对象、注意等内容。根据具体的动作环境条件实例化相应的动作参数化，使动作序列中UPAR转化为IPAR，然后在基于delmia二次开发的IVMTS系统中按照IPAR序列逐步添加动作仿真维修过程。

4 实例分析

某型飞机起落架维修仿真实例在delmia二次开发的IVMTS中验证PAR的执行流程，仿真过程同时考虑安全可靠操作因素。因此，为了达到这个目标，应考虑虚拟样机和虚拟人的物理属性应被考虑。以便在维修仿真过程中判断操作安全和可靠。比如：一个虚拟人搬动超过其负荷的时候的危险性和操作可能性等。

4.1 维修任务分解

首先，利用维修任务分解模型先把任务分解成元任务MT，进而分解为操作序列O，结合维修逻辑支持分析(logistic support analysis LSA)，分析该维修任务的具体操作流程，用规范的自然语言表达操作流程。然后，维修仿真系统的NL2PAR解析维修操作流程语言，找到操作动作对应于动作库中相应的PAR动作。根据操作流程相应的PAR流组成维修PAR树结构存入数据库。图5给出了自然语言描述的任务的分解逻辑图。

图5 自然语言描述的维修指令参数化转化结构树

4.2 动作序列树的识别及仿真

产生的维修动作序列包括两个重要的方面：（1）动作序列树；（2）虚拟仿真验证。由于动作序列树执行过程中要保证安全可靠的执行，仿真过程中要对动作进行验证和判断。从维修任务分解树可以得到如下的动作序列：

Gettool(Agent,Wrench——Usetool(Agent, Wrench,Bolt)——Reach(Agent, Bolt)——Grasp(Agent,Bolt)——Pull(Agent, Bolt).

图6 主要动作的仿真

在运用delmia仿真时，要进行人体关节位置的调节，工作量极大且相当繁琐，通过建立虚拟维修动作库(Action-DB)，在参数化动作描述（PAR）基础上的维修任务分解模型的支持下，把维修任务分解为动作库的维修动作指令流，直接应用动作到虚拟人上，减少了虚拟人的动作姿态的繁琐调整工作，大大简化仿真动作的调整工作，只需按照动作指令流执行即可。另一方面，可以根据动作库的动作标准时间，非常方便的的计算维修任务的仿真时间，便于计算工时，疲劳度等维修量化指标。

5 结 束 语

本文在参数化动作描述(PAR)的基础上提出维修任务分解模型(MTDM)和维修动作库(Action-DB)，提出了自然语言向动作的分解方法和仿真系统结构，并在举例说明基于delmia二次开发的IVMTS中进行维修仿真。系统应用表明，维修任务分解模型、动作库和PAR运行系统结合在一起，虚拟维修仿真具有很大的方便性和可行性，是虚拟维修技术发展的方向。未来的研究可以集中在自动语音和语言识别上，并行任务的动作逻辑序列的生成和控制和自动仿真评估等方面。

[1]Rong L J, Pheng K L, Beng T S. An object-oriented intelligent disassembly sequence planner for maintenance [J]. Computers in Industry, 2005, 56:699-718.

[2]Elzendoorn B, DeBaar M, Chavan R, et al. Analysis of the ITER ECH upper port launcher remote maintenance using virtual reality [J]. Fusion Engineering and Design, 2009, 84: 733-745.

[3]Wang J F, Tse P W, He L S, et al. Remote sensing,diagnosis and collaborative maintenance with Web-enabled virtual instruments and miniservers [J].International Journal of Advanced Manufacturing Technology, 2004, 24: 764-772.

[4]Badler N, Webber B, Palmer M, et al. Final report to Air Force HRGA regarding feasibility of natural language text generation from task networks for use in automatic generation of technical orders from DEPTH simulations [R]. Technical report, 1997, CIS,University of Pennsylvania.

[5]Badler N, Rama B, Jan A, et al. Parameterized action representation and natural language instructions for dynamic behavior modification of embodied agents [C]//Artificial Intelligence and Interactive Entertainment,the 2000 AAAI Symposium, 2000, 6-10.

[6]Badler N, Bindiganavale R, Bourne J, et al. A parameterized action representation for virtual human agents [R]. In Workshop on Embodied Conversational Characters, Oct. 1998, Lake Tahoe, CA.

[7]Badler N, Phillips C, Webber B. Simulating humans:computer graphics animation and control [M]. New York: Oxford University Press, 1993.