仿人面部表情机器人刚柔混合仿真方法研究

柯显信 张文朕 罗志通 温雷

关键词： 仿人机器人; FACS理论; 虚拟样机; 面部柔性体; 刚柔混合模型; 表情仿真

中图分类号： TN812?34; TP242                  文献标识码： A                   文章编号： 1004?373X（2018）24?0052?05

Research on rigid?flexible simulation method of humanoid facial expression robot

KE Xianxin， ZHANG Wenzhen， LUO Zhitong， WEN Lei

（School of Mechatronic Engineering and Automation， Shanghai University， Shanghai 200072， China）

Abstract： A virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model to make the humanoid robot produce facial expressions similar to human beings. The production mechanism of human facial expressions is analyzed according to the facial coding system theory. The facial expression control points needed for basic expressions realized by the humanoid facial expression robot are redefined. The virtual prototype of the humanoid facial expression robot is built based on the rigid?flexible model by combining the created facial flexible body with the rigid structure of the expression robot. Six basic expressions of the robot based on the rigid?flexible model are obtained by means of the kinematic simulation. The feasibility of realizing facial expressions of the robot based on the rigid?flexible model is verified， which can provide a reference for further improvement and optimization of the humanoid robot in the future.

Keywords： humanoid robot; FACS theory; virtual prototype; facial flexible body; rigid?flexible model; expression simulation

0  引  言

美国社会心理学家梅拉宾研究发现，两人在面对面交流时对彼此形成的印象，有55%是通过人类的面部表情等肢体动作来实现的[1?2]。近年来，国内外越来越多的研究机构开展了关于仿人面部表情机器人的研究。其中美国（Sofia机器人）和日本（Erica机器人）等发达国家的科研机构及公司已经取得了较为显著的研究成果;国内以“阳杨”和“可佳”机器人等为代表的仿人面部表情机器人研究成果也令世人瞩目。

虚拟样机仿真技术开始于20世纪80年代，是基于产品计算机仿真模型的数字化设计方法发展而来的一项技术[3?4]。对于要求较高的一些复杂机械系统，仅通过三维软件与 ADAMS 联合创建的刚性体虚拟样机已经不能满足实际研究的需要，还需要对复杂机械系统虚拟样机中某些关键部件柔性化，转换成刚柔混合虚拟样机。本文依据面部编码系统理论重新确立仿人面部表情机器人实现基本表情所需的面部表情控制点。基于ANSYS有限元软件与ADAMS仿真软件建立面部表情机器人刚柔混合虚拟样机以研究机器人面部表情实现方法，将为机器人情感仿真领域研究提供新的思路和指导。

1  面部表情实现方法

高兴、惊讶、厌恶、愤怒、恐惧、悲伤6种人类面部表情具有通用性，其他的表情大多是以这6种表情为基础发展起来的，因此称这6种表情为基本面部表情。

本文通過机械结构驱动控制点[5]的方法来实现机器人基本面部表情：依据面部动作编码系统理论[6?7]（FACS），在44个基本动作单元（AU，Action Unit）中与面部基本表情产生相关的有14个AU单元。通过研究FACE理论中不同表情下的面部器官运动规律，总结得到实现6种基本表情的面部器官运动组合，如表1所示。

通过分析其中每个AU的运动规律，在仿人面部皮肤上设计相应的表情运动控制点，通过机械结构驱动这些运动控制点，运动控制点的位移变化组合，就可以实现与人类相似的不同的面部表情。结合6种基本表情的面部形态特征，从而得出基本表情与运动单元关系，如表2所示。

本文在分析14个运动单元在面部器官运动中的关系的基础上，最终在仿人表情机器人面部皮肤上定义了11 个表情控制点di（i=1，2，…，11），各个表情控制点的分布位置如图1所示。其中左右眉毛上各布置2个控制点，共实现4个自由度，完成眉毛的上扬和下降;双眼的上眼睑各布置一个控制点，共实现2个自由度，控制眼睑张合;嘴部周围布置5个控制点，共实现7个自由度，完成上下嘴唇的張合，嘴角的上扬下拉等各种动作。

通过后端机械机构控制不同表情控制点，对面部皮肤进行拉扯，就可以产生与14个运动单元AU相似的运动功能，进而根据14个运动单元的不同组合运动就可以实现仿人机器人基本面部表情。运动单元AU与设计的表情控制点的关系如表3所示。

2  刚柔混合虚拟样机的建立

2.1  仿人表情机器人刚性虚拟样机的建立

由于表情机器人头部结构复杂，并且要在有限的空间中布置各种机构，特别容易引起机构间的干涉现象，基于合理利用空间减少工作量的要求，同时注意到表情控制点集中分布于眉毛、眼部、嘴部周围，为此采用模块化设计，将表情机器人头部结构分成眉毛模块、眼部模块、嘴部与下颚模块及颈部模块，如图2所示。

表情机器人中所设计的11个控制点及所需要实现的13个自由度分配到了相应的模块中。眼球需要有上下和左右转动2个自由度，和眼睑机构共同分配在眼部模块中，颈部模块需要实现颈部的绕x，y，z轴3个方向的转动，具有3个自由度，综上可知仿人面部表情机器人共有20个自由度。为了实现上述自由度，同时考虑节省头部空间，在满足各模块运动机构所需速度和承载能力的情况下，选择舵机作为实现各模块运动机构的驱动。各模块中的自由度具体分布及所需舵机数量如表4所示。

2.2 面部柔性体模型的建立

本文通过运用Solidworks软件曲面建模功能来完成面部复杂曲面模型的建立。参考成年男性面部基本尺寸[8]，将获取到的头部三维模型，在Solidworks中进行适当地编辑，获得面部皮肤曲面模型。最终的面部皮肤三维模型及基本尺寸如图3所示。

2.3  刚?柔混合模型的建立

将面部皮肤模型与刚性体样机中刚性人脸骨架进行装配配合，得到表情机器人刚性整体样机模型如图4所示，并导入到ADAMS中。由于此时面部皮肤模型属性为刚性体，刚性体控制点无法牵引面部皮肤进行运动学仿真变形运动，为此需要将面部皮肤刚性体进行柔性化，从而得到表情机器人刚柔混合模型虚拟样机，为综合仿真做准备。

3  仿真实验

3.1 刚?柔混合模型表情机器人表情仿真过程

由于面部皮肤模型需要进行不同表情间的变换，必须考虑面部柔性体变形的质量精度，同时面部皮肤模型涉及到复杂的曲面，几何形状比较复杂。综上考虑，利用有限元分析软件（如ANSYS）间接建立柔性体[9?11]，进行面部皮肤模型的柔化。

为了使面部柔性体可以在驱动控制点的牵动下进行基本表情的动作实现本文选择在ANSYS中建立面部柔性体模态中性文件，最后导入ADAMS中代替面部皮肤刚性体，完成刚?柔系统混合模型的建立。ANSYS中创建模态中性文件的流程图如图5所示。

由于建立的皮肤模型过于复杂，在创建柔性体MNF文件过程中会出现模型导出错误、运算时间过长、模型难以收敛等问题，为此本文在保留11 个表情控制点的同时，简化了面部细节，用以验证该方法的可行性。简化后的面部皮肤模型如图6所示。

3.2 刚?柔混合模型表情机器人表情模块仿真

根据面部编码系统理论，面部表情的实现主要与眉毛、眼睑和嘴部的运动有关，所以在ADAMS中进行混合模型基本表情综合仿真之前，应先对混合模型下眉毛、眼睑和嘴部模块进行仿真分析，以验证表情实现的可能性。

图7为眉毛控制机构图。图8为由眉毛简化机构带动面部皮肤柔性体上对应的特征点所进行的眉毛的下降和眉毛的上抬仿真图。

图11为嘴角与上下嘴唇控制机构。图12为嘴唇简化机构带动对应面部皮肤柔性体上的特征点所进行的嘴唇张开和闭合仿真图。图13为嘴角机构带动面部皮肤柔性体上对应的特征点所进行的嘴角运动仿真。其中在嘴角机构中，上扬拉伸时由上嘴角的两个控制机构牵引嘴角皮肤进行运动，当需要斜下拉伸时，由下嘴角的两个控制机构牵引嘴角皮肤运动。

综合上面的仿真结果可以看出，通过各模块机械控制机构可以实现对相应的面部皮肤区域的运动控制，基本满足预期运动，从而为验证仿真表情机器人刚?柔混合模型表情实现的可行性奠定了基础。

3.3 刚?柔混合模型表情机器人基本表情实现

分别为实现每种表情相对应的舵机施加驱动函数，最后得到刚?柔混合模型下仿人表情机器人的6种基本表情仿真状态，如图14所示。

4  结  语

综合以上仿真可知，在刚柔混合模型下，表情机器人可以实现基本表情动作，验证了基于刚?柔混合模型的仿人机器人表情仿真实现方法的可行性。在未来仿人表情机器人表情的研究中，以下几个方面值得进一步关注：优化模型机构并采用更加逼真的面部模型以提高面部表情的拟人度;增加肢体行为来增强表情情感的表达。为了增强表情机器人的情感表达，除了提高面部表情的逼真性外，还应该添加肢体机构，辅助肢体动作完善机器人的情感表达，促进表情机器人与人之间的交互;不同情绪下的表情研究。人在不同的情绪下所表现出的表情状态也是不同的，为了使机器人更接近于人的情感，需深入研究情绪对机器人表情的影响。

参考文献

[1] 毛峡，薛丽丽.人机情感交互[M].北京：科学出版社，2011.

MAO Xia， XUE Lili. Human?machine emotional interaction [M]. Beijing： Science Press， 2011.

[2] MEHRABIAN A. Communication without words [J]. Psychology today， 1968， 2（4）： 53?56.

[3] 张志宇.基于ADAMS的四足机器人虚拟样机仿真及刚柔耦合分析[D].哈尔滨：哈尔滨工业大学，2016.

ZHANG Zhiyu. Virtual prototype simulation and rigid?flexible doupling analysis of Basic quadruped robot based on ADAMS [D]. Harbin： Harbin Institute of Technology， 2016.

[4] FERRETTI G， MAGNANI G A， ROCCO P. Virtual prototyping of mechatronic systems [J]. Annual reviews in control， 2004， 28（2）： 193?206.

[5] 尚宇峰.仿人表情机器人控制及表情实现方法的研究[D].上海：上海大学， 2015.

SHANG Yufeng. Research on control of humanoid expression robot and its expression realization method [D]. Shanghai： Shanghai University， 2015.

[6] EKMAN P， FRIESEN W V. Facial action coding system （FACS）： a technique for the measurement of facial movement [M]. Palo Alto： Consulting Psychologists Press， 1978.

[7] EKMAN P， ROSENBERG E. What the face reveals： basic and applied studies of spontaneous expression using the facial action coding system （FACS） [M]. New York： Oxford University Press， 2005.

[8] 杜利利.中國汉族人体头面测量及分析[D].武汉：华中科技大学，2008.

DU Lili. Head?face measurement and analysis of Chinese Han people [D]. Wuhan： Huazhong University of Science and Technology， 2008.

[9] 蔡骊君.复杂机械系统刚?柔混合虚拟样机一体化分析技术初探[D].天津：天津大学，2010.

CAI Lijun. A primary study on the technique of integration analysis to rigid?flexible mixture virtual prototyping in complex mechanic system [D]. Tianjin： Tianjin University， 2010.

[10] QU Baozhang， LU Bihong， HUANG Jiansong， et al. Rigid?flexible hybrid MBD based modeling and simulation method for coupler mechanism [J]. Advanced materials research，2013， 655： 416?420.

[11] GR?GOIRE M， SCH?MER E. Interactive simulation of one?dimensional flexible parts [J]. Computer?aided design， 2007，39（8）： 694?707.