基于Multi-Agent的人机环境仿真设计系统

王朝晖， 郑国磊， 朱心雄

（北京航空航天大学机械工程及自动化学院，北京 100191）

基于Multi-Agent的人机环境仿真设计系统

王朝晖， 郑国磊， 朱心雄

（北京航空航天大学机械工程及自动化学院，北京 100191）

提出了用于制造过程仿真和人机工程分析的多Agent智能设计系统。基于模糊多目标决策理论建立了虚拟人自适应作业行为仿真模型。在虚拟环境中，智能化的虚拟人能自主完成作业任务的仿真，优化自身的工作状态，同时提供人机工程的评估结果。通过仿真实验，证明了所用技术的可行性。

虚拟人；模糊多目标决策；多Agent系统；自治行为

产品设计必须满足人的需要，使人能够方便地制造、维护和使用产品。“以人为中心”的设计思想认为，应将人机工程学应用到产品设计的每个阶段[1]。目前，人机环境仿真与设计系统的研究得到了学术界和工业界的广泛重视。一些仿真系统已成功地应用于工业设计、系统检测和人员训练等工作中[2-3]。在此类系统中，虚拟人扮演了重要的角色，负责完成作业行为仿真，配合用户检查系统中存在的人因问题。

真实地展现人的作业行为有利于设计者理解人与产品的关系，找到影响人与产品行为交互的关键因素。目前，行为仿真主要延续着“克隆”人体行为的技术思路，使用各种运动捕捉技术来获取人体的运动数据。例如，电磁式运动捕捉技术和沉浸式虚拟现实技术相结合已应用于人体作业行为仿真与人机工程评估[4-5]。在运动捕捉数据的基础上，人们开始关注行为组织原理及其仿真技术，分别从基于PaT-Net的行为同步控制[6]、行为数据的语义关系[7]和行为数据统计[8]等方向开展研究，以期实现自主性、灵活性更高且可预测的人体行为仿真。然而，行为数据均来自特定环境与个人，难以修改和重用。

针对人机工程设计必须以预测性的人机交互行为仿真为前提这一原则，作者将模糊多目标决策理论用于人体自适应行为仿真的决策建模，开发了基于 Multi-Agent的人机工程仿真设计系统。

1 仿真系统的架构

如图1所示，该系统由用户图形界面、环境工作引擎、虚拟空间和环境数据库四个模块组成。

图1 人机工程仿真设计系统组成模块

虚拟人或其它虚拟对象均由特定的Agent或Agent联盟控制。作为仿真系统的主体模块，虚拟空间是Agent的运行空间。环境数据库则是虚拟环境的全局知识模型，负责记录和描述虚拟空间当前状态，其中的内容随虚拟空间状态的变化而同步变化，并同时触发相应的环境事件。Agent执行的仿真决策是由环境事件驱动的。各 Agent根据环境事件自动检索环境数据库，读取与之相关的环境信息，并修正自己的行为对策。图形界面是用户与虚拟空间交互的通道，用户可对虚拟空间的状态进行修改，以增删其中的具体内容。

仿真系统以环境全局知识模型为核心，可以实现动态、不确定条件下的行为仿真决策，为动态、多变的产品设计工作提供了主动、灵活的人机交互行为仿真与评估工具。

2 行为的结构特征与重构

2.1 行为的构成元素

研究行为的结构特征与组织方式对于实现人体自适应行为仿真具有十分重要的意义。本文将人体自适应行为分成由不同粒度元素组成的三层结构。

（1） 原子动作

原子动作是肢体的单位运动，作为最小的行为单元，有正向运动和逆向运动两种基本形式。其知识表示如下：

正向运动：do(Action, Param)

逆向运动：do(Action, Target ：x, y, z, dx, dy, dz)其中，Action为动作类型，Param为单位转动距离，Target为所操作目标的位置和姿态。

（2） 子行为

子行为是具有明确语义的最小行为单元，即广义单位运动。可用规则的形式表示：

Executed(a queue of atomic actions|：by rules);其中，规则的条件为子行为能够达到目标；子行为由一组原子动作组成。执行子行为意味着多个行为目标间进行了一次博弈。子行为在达到一定目标的同时，一般需要其它目标作出让步。

（3） 行为模式

行为模式定义了子行为所属的语义范畴，能够达到类似目标的子行为属于同一行为模式。

2.2 子行为重构

自适应行为是以语义单元为基础组织的。子行为是行为组织的最小语义单元，可按照经验和实际需要设计。虚拟人的自适应行为由一系列子行为组成。

图2所示为行为决策的Agent联盟，其中，人体基本运动功能被分解为一系列独立的 Agent模块。AgentPerson负责行为推理，根据虚拟人状态的实时评估结果，提出当前的行为请求，并确定即将执行的子行为。其它Agent模块负责执行特定的原子动作。根据子行为的原子构成，将Agent联盟中的相关Agent组成协作单元，共同执行AgentPerson选定的子行为。通过协作单元重构，可以生成多样的子行为，由此增强了行为仿真的灵活性与多样性。

图2 行为决策的Agent联盟

3 行为自适应决策算法

行为自适应决策是在多种目标和利益之间的博弈过程，涉及任务目标、人体姿态、平衡性以及感知因素等方面利益的竞争与协调。所有目标和利益均欲在竞争中使得自身和团体状态最优化。已知自适应行为由子行为序列组成，每个子行为即为一次微分博弈。人体最终行为状态是由多次微分博弈累积而达到的一个满足多种利益的均衡状态。

基于上述思想，行为自适应决策算法由两个主要阶段组成：初始化阶段和行为博弈阶段。初始化阶段为一个模糊推理算法，用于确定随后行为博弈算法的起点。

3.1 趋近行为的模糊推理

算法的初始化阶段也称作趋近作业目标算法，是Mamdani推理算法的一种改进形式。算法将循环执行相关内容，直至虚拟人以最小的运动代价抓取到作业点。详细内容如下。

算法的输入为上肢的姿态数据，如手至作业目标的距离u和上肢在水平面上的投影v。上述数据需经模糊化处理，方能作为模糊推理规则的输入。模糊化处理将确定的上肢姿态数据转换为模糊距离{near，close，far}和模糊悬空度{unfit，littlefit，fit，strongfit}。这些模糊语言由图 3所示的隶属度函数定义。通过隶属度函数可求得上肢姿态数据相对于模糊语言的隶属程度。

该算法由一组模糊推理规则组成，其基本形式为

式(1)中，规则的前提为模糊距离和模糊悬空度的“与”运算，输出为一个明确的子行为bk与该子行为的执行机率。算法的所有推理规则可归纳为图4所示的模糊推理矩阵。其中，矩阵行对应于模糊距离，矩阵列对应于模糊悬空度，矩阵元素则是行为推理的结果，即子行为及其执行机率。首先，求得每个矩阵元素中子行为的机率，再将矩阵中同类子行为的机率进行累加，累积机率最高的子行为将被选择执行。

图3 模糊语言的隶属度函数

图4 模糊推理矩阵

3.2 梯度下降的行为博弈过程

式(2)中，x∈X为人体工作状态向量，X为行为决策空间；向量μ(x)=[μ1(x),μ2(x),…,μm(x)]T是对人体工作状态x的多目标评估结果，μi(x)(i=1,2, …, m)是对人体姿态、平衡性和感知因素等具体目标的模糊评估函数。式(2)表明最优行为状态x的各项目标的评估结果应尽可能最大化。显然，满足多目标最优的行为状态是不唯一的，它们亦虚拟人的行为自适应决策是一个多目标决策问题被称作帕雷托最优解。

上述多目标决策问题的求解是一个动态博弈的过程。本文设计了一个梯度下降的行为博弈算法。算法以前文定义的子行为作为搜索步长，要求每步搜索应以最快的速度接近理想的人体工作状态。搜索的最终结果应满足以下两个条件：

（1） 纳什均衡条件

设人体工作状态x*∈X满足下式

式(3)中，向量 μ ( x*)是对人体工作状态 x*的多目标评估结果；向量λ是阈向量，规定了各目标评估结果可以接受的下限值。则称状态x*∈X是满足纳什均衡条件的帕雷托最优工作状态。

（2） 与理想状态的汉明距离最小

设人体理想工作状态为x+，对状态x∈X的总体评估结果与理想状态x+间的汉明距离为

梯度下降搜索的基本步骤如下：

式(4)中，向量()xμ的定义同前；向量g为状态x+的多目标评估结果；iω为目标的权重，表示目标在总体评估中的重要程度。搜索的最终结果应满足

步骤2 依据权重iω的大小对已触发的请求ir排序，权重值最高的请求将得到响应。

步骤 4 以Agent协作单元重构的方式执行被选中的子行为，具体方法见2.2节。

步骤 5 子行为执行效果的博弈分析。判定子行为执行后人体工作状态是否满足式(3)和式(5)规定的条件。若满足，则退出算法，否则返回步骤1。

上述算法符合梯度下降法的基本原则，将自适应行为决策转化为以子行为为步长的多目标动态博弈过程。为增加算法的灵活性，本文放松了式(3)所示的纳什均衡条件，规定权重较轻的目标的最终评估结果可以低于规定阈值，并为每个目标设置了双阈值。目标评估结果高于阈值上限表明非常满意，阈值上限和阈值下限之间为过渡区域，低于阈值下限则被认为不可接受。

4 仿真实例

作者在PC/WindowsXP/VC6.0/OpenGL环境下开发了人机工程仿真与设计原型系统。该系统提供了如图1所示的智能虚拟设计环境，建立了虚拟人的几何模型和运动控制模型。在此基础上，建立了基于模糊多目标决策的人体自适应行为决策模型。能够在没有人体运动数据支持的条件下，实现虚拟人体运动的自主协调与配合。

该系统可以对虚拟人不同的作业姿态实施综合评估，以达到比较各种作业姿态优劣的目的。如图5所示，为操作同一作业点，虚拟人采用了不同作业姿态。系统为每个工作姿态作了舒适度评估。评估结果符合经验常识，并有较高分辨率。

图6给出了一组虚拟人体的自适应行为仿真实例。每个实例均由150到200余帧动画组成，作者仅提取了其中具有代表性的7幅关键帧。从多次仿真实验来看，系统取得了预期的自适应行为仿真效果。虚拟人能够根据环境布局和作业点位置的差异，采用自然合理的行为方式完成对作业点的操控。

图6 虚拟人自适应行为仿真

与仿真动画同步，系统可输出虚拟人舒适度的变化趋势曲线，以协助用户分析人体运动过程中舒适度的变化规律。图7给出了图6(a)仿真实例的舒适度变化曲线。可知，总体舒适度呈现下降后上升的趋势，表明虚拟人在抓取到作业点后，自主完成了工作姿态的优化。图7同时给出了肩关节、膝关节和人体平衡性的舒适度趋势曲线。这些曲线在整个发展过程中均出现一些波动，但总体上在曲线的最后阶段都呈上升趋势。这一现象很好地体现了自适应行为决策的博弈本质。在动态的行为决策过程中，具有冲突的行为目标之间通过竞争和让步使得各自的状态得到优化，并促使人体的总体舒适度得到优化。

5 总 结

人机工程仿真与评估在产品设计与生产规划等工作中具有重要的应用前景。本文提出了一个智能化的虚拟设计环境，在分析行为的结构特征与组织机制的基础上，建立了基于模糊多目标决策理论的人体自适应行为决策模型，开发了基于 Multi-Agent的人机工程仿真设计系统。由该系统提供的仿真实验表明，本文方法避免了对捕捉获取人体运动数据的依赖，实现了在动态、不确定环境下人体自适应行为的仿真，并提供实时的人体舒适度趋势曲线。系统具有较高的运行效率和较好的可扩展性。在未来的研究中，作者将进一步深入探索行为的认知机理，开展新型行为仿生理论与算法的研究，以修正模型及算法参数，实现自主性和智能化更高的人体行为仿真。

[1]Earthy J, Jones B S, Bevan N. The improvement of human-centred processes—facing the challenge and reaping the benefit of ISO 13407 [J]. International Journal of Human-Computer Studies, 2001, 55(4)：553-585.

[2]John R Wilson, Mirabelle D’Cruz. Virtual and interactive environments for work of the future [J].International Journal of Human-Computer Studies,2006, 64(3)：158-169.

[3]Ayman Wasfy, Tamer Wasfy, Ahmed Noor. Intelligent virtual environment for process training [J]. Advances in Engineering Software, 2004,35(6)：337-355.

[4]Uma Jayaram, Sankar Jayaram, Imtiyaz Shaikh, et al.Introducing quantitative analysis methods into virtual environ ments for real-time and continuous ergonomic evaluations [J]. Computers in Industry, 2006, 57(3)：283-296.

[5]Imtiyaz Shaikh, Uma Jayaram, Sankar Jayaram, et al.Participatory ergonomics using VR integrated with analysis tools [C]// Proceedings of the 2004 Winter Simulation Conference, 2004：1746-1754.

[6]Norman I Badler, Martha S Palmer, Rama Bindiganavale.Animation control for real-time virtual humans [J].Communications of the ACM, 1999, 42(8)：65-73.

[7]Norman I Badler, Charles A Erignac, Ying Liu. Virtual humans for validating maintenance procedures [J].Communications of the ACM, 2002, 45(7)：57-63.

[8]Mavrikios D, Karabatsou V, Pappas M, et al. An efficient approach to human motion modeling for the verification of human-centric product design and manu facturing in virtual environments [J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(5)：533-543.

Multi-Agent Based Ergonomic Simulation and Design System

WANG Zhao-hui, ZHENG Guo-lei, ZHU Xin-xiong
( School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China )

A multi-agent intelligent design system is presented for manufacturing process simulation and products’ ergonomic analysis. The system realizes virtual human’s adaptive behaviors by fuzzy multi-objects decision-making theory. In virtual environment, the intelligent virtual human performs tasks’ operation autonomously and shows optimum posture configuration with ergonomic assessment results in real time. Experimental results of prototype validate the feasibility of this technology.

virtual human; fuzzy multi-object decision; multi-agent system; auto-behavior

TP 391.9

A

1003-0158(2010)06-0133-06

2009-02-23

王朝晖（1972-），男，浙江黄岩人，博士研究生，主要研究方向为虚拟现实，人工智能，多Agents系统和复杂系统建模与仿真等。