基于增强现实的物体运动仿真设计与实现

王 恒, 王 英, 柳 丽, 郑文龙, 俞宋科, 王 雨

基于增强现实的物体运动仿真设计与实现

王 恒, 王 英*, 柳 丽, 郑文龙, 俞宋科, 王 雨

（宁波大学 机械工程与力学学院, 浙江 宁波 315211）

针对如何在增强现实(Augmented Reality, AR)的虚拟环境中体现物体运动仿真时运动学与动力学特性的问题, 设计了一套将AR技术与物体运动仿真集成, 通过模型建立、标记物注册、运动仿真交互控制、增强场景实时渲染等步骤设计物体AR运动仿真系统. 该系统由运动学仿真模块和动力学仿真模块组成. 运动学仿真模块的设计和实现以刚体绕定轴转动和平面四杆机构的几何运动为例, 通过移动标记物进行运动学仿真的交互控制. 动力学仿真模块的设计和实现以曲柄滑块机构惯性运动为例, 通过改变输入参数进行动力学仿真控制. 最后以机械类课程教学中平面四杆机构急回特性学习和曲柄滑块机构动力学方程求解为例进行实际应用. 结果表明, AR运动仿真系统提供了直观的高交互操作运动学与动力学仿真环境, 通过可视化能帮助学生理解相关的理论知识, 进而实现虚实融合的智慧化运动仿真教学.

增强现实; 仿真; 运动学; 动力学

运动仿真是了解物体运动原理、分析设计并确定物体运动学与动力学性能的重要工具[1]. 它可以提供运动装置的所有零部件的运动学性能(包括位移、速度与加速度)和动力学性能(包括驱动力、反馈力、惯性力和功率)等信息. 借助Solid Works、UG、ADAMS[2]等软件即可创建三维物体仿真, 但这些运动仿真依赖桌面虚拟环境, 缺少与真实场景的关联性, 不能直观有效地表达仿真信息, 且交互方式以鼠标和键盘为主. 因此, 建立更加直观、高交互操作的运动仿真新形式十分必要.

增强现实(Augmented Reality, AR)是一种将计算机生成的虚拟信息精准地叠加在真实环境中的技术[3-6], 能够提供虚实融合的人机交互体验, 该技术已广泛应用于医学[7]、军事[8]、机械[9]、建筑[10]等领域, 并已开发了多种不同类型的AR仿真系统. 如Logg等[11]研究了AR环境下物理系统有限元模拟仿真, 通过Microsoft HoloLens扫描周围环境并自动创建有限元离散化来模拟现实中的几何物理现象; Coelho等[12]利用AR技术将虚拟模型与激光打印的病患模型进行混合仿真, 用于矫正异味性颅脑前突的外科手术重塑, 为神经外科医生提供了有效的培训环境; 王伟明等[13]设计了轨道车辆的AR仿真系统, 该系统凭少量设备与纸质标记物即可进行轨道车辆调度的模拟仿真; 刘子俊等[14]研发了智能变电站运维AR仿真系统, 通过虚实融合指导无经验的维修人员进行维修操作, 给维修人员提供了高效的训练环境. 但这些AR仿真系统中物体的运动局限于使物体动起来, 达到观看的效果, 难以体现物体的运动学与动力学特性.

本文将AR技术与物体运动仿真集成, 实现运动学和动力学仿真信息与真实环境的叠加. 同时提供多种交互方式, 实时控制物体运动仿真过程, 并将其应用于教学中, 实现了虚实融合的智慧化运动仿真教学新形式.

1 AR与运动仿真集成方案设计

研究物体运动的方法可分为运动学和动力学, 运动学运用几何学的方法来研究物体的运动, 通常不考虑力和质量等因素的影响; 动力学研究物体的力与运动之间的关系. 因此, AR运动仿真系统包括运动学仿真和动力学仿真2个模块.

在AR环境中进行物体运动仿真, 首先将初始参数的运动仿真结果投射到真实场景中, 然后采用移动标记物或手动输入的方式更改仿真参数. 实时运算运动仿真方程, 实时更改模拟仿真结果, 以呈现快速更新的仿真场景.

图1为本文开发的AR运动仿真系统流程. 采用Vuforia6.2[15-16]开发工具包, 以手机为载体, 开发平台为Unity3D[17], 将摄像头捕捉到的真实物体与计算机生成的虚拟物体进行匹配, 即跟踪注册.

图1 AR运动仿真系统流程

图2为实施过程. 仿真前做好模型建立、初始参数设定、基于标记物交互控制等工作, 使该方式具有运动仿真反应迅速、交互性高等优点.

图2 AR运动仿真系统实施过程

具体可以分为4个步骤: (1)在模拟开始前, 建立模型并定义关节连接; (2)真实场景中准备一定数量可以与虚拟运动仿真进行交互控制的标记物; (3)在移动标记物造成参数改变的同时, 实时计算运动方程式; (4)对于每一帧参数信息以模型正确的位置与姿态呈现至设备显示端.

2 AR与运动仿真集成环境建立

AR与运动仿真集成环境在进行运动仿真时, 首先由摄像机对标记物进行基于图像特征点的图像识别, 通过对标记物与摄像机的相对位姿关系建立AR环境; 然后由标记物的初始状态定义运动仿真的虚拟模型关节, 并承担仿真数据的计算. 物体AR运动仿真环境流程如图3所示.

图3 物体AR运动仿真环境流程

AR环境中标记物图像识别和3D注册获取标记物位姿通过Vuforia开发工具包实现. 图像信息识别需要经过3个步骤: 特征点的提取、特征点的描述以及特征点的匹配. 特征点是图像信息中某个局部反应最强烈的部分, 是图片中二维度变化部分, 或是边缘曲率变化较大的点(图4).

利用图像特征点信息对Vuforia中保存的图像信息进行匹配, 确定图像匹配成功后, 即可获得标记物图像在世界坐标系的位置.

图4 图片特征点示例

建立AR环境需要确定图像在真实世界中的6D位置和姿态, 即6个自由度. 摄像机6D位姿用世界系到摄像机坐标系的RT变换来表示:

利用这种关系可以将虚拟世界物体精确地叠加到现实世界, 在Vuforia中整个流程如图5所示.

图5 基于Vuforia的AR系统

完成基于Vuforia的AR环境搭建后, 系统将通过获取的标记物图像位姿信息进行运动仿真. 不同物体所需标记物数量不同, 标记物数目等于活动关节数目. 图6为平面四杆机构, 其4个活动关节由4个不同的标记物定义.

进行运动学仿真时, AR系统实时获取标记物的坐标位姿, 在标记物的位姿或系统参数改变时, AR子系统将信息传递至运动仿真子系统, 由运动学与动力学方程对仿真结果进行重新计算, 获取正确结果后反馈AR子系统, 使模型以正确的姿态显示在设备端.

图6 四杆机构活动关节标记物

3 AR场景中运动学仿真实施

对大多数机械工程的部件和机构, 其运动时可作为刚体进行分析和处理, 因此先建立单个刚体的AR运动学仿真, 进而建立多个刚体组成的机械系统的AR运动学仿真.

3.1 AR场景中刚体的转动

机械工程中最常见的是齿轮、机床的主轴、电机的转子等, 它们都有一条固定的轴线, 物体绕此固定轴转动, 这类运动称为刚体绕定轴转动, 这是工程中最常见的运动, 也是研究复杂运动的基础. 因此, 本文以刚体转动为例阐述AR场景中单个刚体运动仿真的设计与实现.

转动快慢由刚体角速度决定, 其计算公式为:

图7 刚体定轴转动

图8为AR场景中刚体的转动. 在AR运动仿真场景中, 当将图8中标记物置于手机摄像头拍摄区域时, 会在其上方出现一个椭圆盘形的刚体. 拖动标记物时刚体通过标记物的移动方向围绕轴线进行定轴转动, 拖动标记物速度越快, 刚体旋转角速度越快.

图8 AR场景中刚体转动

3.2 AR场景中平面四杆机构的运动

当各构件尺寸以及原动杆方位角已知, 由式(4)可求得和.

在AR运动仿真场景中, 标记物分别代表平面四杆机构的铰链点、、和(图10).把这4个标记物置于手机摄像头拍摄区域时, 一个虚拟的平面四杆机构模型将会出现. 当标记物位置发生改变时, 虚拟机构的尺寸也会发生变化.

图10 标记物

平面四杆机构的运动仿真有2种方式:

(1)保持标记物的位置不变化, 通过屏幕界面上的控制按钮来实现. 界面上可以看到“建模”和“仿真运动”按钮, 点击“建模”按钮时, 平面四杆机构模型会呈现(图11(a)); 需要运动仿真时, 在输入框输入角度值, 即曲柄与水平面夹角, 然后单击“仿真运动”, 通过机构运动方程自动求解, 曲柄将旋转到指定位置, 连杆和连架杆也将自动转动到正确位置(图11(b)); 点击按钮“前进”或“后退”, 可使机构在当前位置向前或向后进行运动仿真(图11(c)和(d)).

(2)通过连续改变某一标记物位置以驱动某一构件, 实现机构的连续运动仿真(图12).

当转动真实铰链四杆机构曲柄时, 标记物的位置也将发生变化, 通过摄像头自动追踪标记物, 机构运动方程将自动求解, 虚拟模型会自动进行运动仿真.

图12 铰链四杆机构运动仿真方式2

4 AR场景中动力学仿真实施

物体之间往往有机械运动的相互传递, 在传递运动时产生的相互作用力不仅与物体的速度变化有关, 而且与其质量有关, 即惯性. 因此, 以物体运动过程中的惯性为例, 阐述AR场景中动力学仿真设计与实现.

图13 齿轮驱动的连杆机构

等效力矩的计算公式为:

由式(5)和式(6)即可解得角加速度:

在AR运动仿真场景中, 当将标记物(图14(a))置于手机摄像头拍摄区域时, 会出现曲柄滑块机构虚拟模型和仿真参数输入框(图14(b)); 该模型的初始参数已提前设置, 在输入框中输入对应参数即可实现动力学仿真(图14(c)); 更改参数, 如转动惯量时会实时更新仿真结果, 并通过模型运动直观呈现(图14(d)).

5 AR场景中物体运动仿真的应用

在机械类课程教学中, 物体运动仿真常用于向学生展示机械设计、制造、装配等过程, 可帮助学生理解相关的基础理论知识. 但传统课堂上播放的运动仿真视频动画, 缺少与真实场景的关联, 且交互性低. AR运动仿真系统为学生提供了直观的智慧化运动仿真操作环境.

5.1 AR运动学仿真应用

《机械原理》是机械课程中必修科目, 旨在提高分析和设计机构的能力, 而机构的设计与分析多以几何学方法为基础, 因此AR场景中物体的运动学仿真可用于机构相关知识的学习. 如平面四杆机构的急回特性学习, 在AR环境中可通过如下4个步骤实现: (1)将模型与标记物放置于手机视野范围内(图15(a)); (2)点击“建模”按钮, 建立四杆机构虚拟模型(图15(b)); (3)旋转平面四杆机构到达左极限位置, 点击“左极限位置”按钮来存储此位置信息(图15(c)); (4)旋转平面四杆机构到达右极限位置, 点击“右极限位置”按钮来存储此位置信息(图15(d)). 完成上述步骤后, 极位夹角和行程速比系数将被渲染在AR环境中. 借助这种虚实融合的高交互式运动仿真操作, 可更深入并可视化理解相关的理论知识.

图15 急回特性分析

5.2 AR动力学仿真应用

《理论力学》是机械类课程的重要基础, 其教与学都非常难, 借助AR场景中物体的动力学仿真, 可将复杂的理论知识通过虚实融合方式, 可视化地使学生直观学习和理解. 如平面机构的动力学分析学习: 打开课本到相应章节, 扫描页面上的标记物, 所需分析的机构模型将跃入书本上方, 输入转动惯量、驱动力矩和工作阻力等参数后, 机构将运动起来; 更改工作阻力等参数时, 仿真结果也会通过曲柄转速的快慢直观地呈现(图16).

图16 曲柄滑块动力学仿真求解

通过这种方式可以将课本中复杂的动力学方程求解结果生动、直观地呈现给学生, 使学生更易掌握相关的理论知识.

6 结语

本文研究了AR场景下物体的虚拟仿真以及控制方法, 实现了AR场景下物体的运动学和动力学仿真. 通过增强现实场景下物体运动仿真的交互控制与实时渲染, 使仿真结果直观生动地得以呈现, 并可以从多个角度观察运动的仿真结果. 同时,可以通过移动标记物或改变输入参数来实时控制仿真结果, 而不局限于鼠标和键盘. 当将AR运动仿真用于教学时, 可以帮助学生理解抽象复杂的理论知识.

后续工作将侧重以下两个方面: (1)实现手势交互仿真, 手势的便捷性, 可以进一步提升AR运动仿真的交互性. (2)协作设计(两人或多人管理同一场景), 以便使用者之间有更强的交互性和操作性. AR与运动仿真的集成具有宽广的发展前景.

[1] 张越今, 宋健. 多体动力学仿真软件 ADAMS理论及应用研讨[J]. 机械科学与技术, 1997, 16(5):753-758.

[2] 刘银虎, 缪炳祺. 多体动力学仿真软件ADAMS理论基础及其功能分析[J]. 电子与封装, 2005, 5(4):25-28; 34.

[3] 刘佳, 梅建辉, 张小瑞, 等. 一种手持可遮挡的增强现实彩色标志[J]. 计算机应用研究, 2017, 34(9):2843- 2848.

[4] Bostanci E, Kanwal N, Ehsan S, et al. User tracking methods for augmented reality[J]. International Journal of Computer Theory and Engineering, 2013, 5(1):93-98.

[5] 饶楚锋, 韩华亭, 王崴, 等. 增强现实诱导维修进程识别策略[J]. 计算机应用研究, 2018, 35(3):922-925; 929.

[6] 夏侯士戟, 马敏, 陈东义. 增强现实游戏中的并发多任务模型与实时调度方法[J]. 计算机辅助设计与图形学学报, 2014, 26(2):211-216.

[7] 邹浩, 朱呈瞻, 王畅, 等. 三维重建结合增强现实技术在机器人下精准肝切除术中的应用[J]. 机器人外科学杂志(中英文), 2020, 1(2):141-147.

[8] 张一凡, 缪远东, 陈畅宇, 等. 户外增强现实军事仿真系统[J]. 光学技术, 2019, 45(5):622-628.

[9] 饶勇, 何汉武, 吴悦明. 增强现实设备维修系统操作状态检测方法研究[J]. 机电工程技术, 2010, 39(9):56-58; 109; 114.

[10] 马小秋, 刘丹丹. 基于透视式增强现实的BIM建筑三维重建仿真[J]. 计算机仿真, 2020, 37(3):229-233.

[11] Logg A, Lundholm C, Nordaas M. Finite element simulation of physical systems in augmented reality[J]. Advances in Engineering Software, 2020, 149:102902.

[12] Coelho G, Rabelo N N, Vieira E, et al. Augmented reality and physical hybrid model simulation for preoperative planning of metopic craniosynostosis surgery[EB/OL]. [2020-10-06]. https://www.researchgate.net/publication/339659921_Augmented_reality_and_physical_hybrid_model_simulation_for_preoperative_planning_of_metopic_craniosynostosis_surgery.

[13] 王伟明, 何亚轩, 任彬, 等. 轨道车辆运行的增强现实仿真系统研究[J]. 图学学报, 2017, 38(4):577-581.

[14] 刘子俊, 简学之, 时伯年, 等. 基于增强现实技术的智能变电站设备运维仿真[J]. 南方电网技术, 2019, 13(11):69-75.

[15] 朱惠娟. 基于Unity3D的虚拟漫游系统[J]. 计算机系统应用, 2012, 21(10):36-39; 65.

[16] 鲁文娟, 金一强. 基于智能手机的Vuforia+Unity3D增强现实技术方案及其教育应用[J]. 现代教育技术, 2017, 27(5):19-25.

[17] 朱惠娟. 基于Unity3D的虚拟漫游系统[J]. 计算机系统应用, 2012, 21(10):36-39; 65.

Design and implementation of object motion simulation based on augmented reality

WANG Heng, WANG Ying*, LIU Li, ZHENG Wenlong, YU Songke, WANG Yu

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

An Augmented Reality (AR)-based object motion simulation system was designed to figure out the kinematic and dynamic characteristics of a physical object in an AR virtual environment. By integrating AR technique with physical object motion simulation, the system can help in model establishment, marker registration, interactive control of motion simulation, and augmented real-time rendering of scenes. It consisted of a kinematic simulation module and a dynamic simulation module. For the design and realization of the former module, the rotation of rigid objects about fixed axes and the geometric motion of planar four-bar mechanisms were taken as examples, while the interactive control of kinematic simulation was implemented by changing the markers’ placement. For the design and realization of the dynamic simulation module, the inertial motion of slider-crank mechanisms was taken as an example, with the control of dynamic simulation implemented by adjusting the input parameters. Then, the modules were put into practice through a mechanics course case study on the quick-return characteristics of planar four-bar mechanisms, and by solving the dynamic equations of slider-crank mechanisms. The final results demonstrated that the AR motion simulation system can provide a highly visual and interactive kinematic as well as dynamic simulation environment, help students understand relevant theories visually, and realize the smart teaching on motion simulation by the fusion of virtual technologies and reality.

augmented reality; simulation; kinematics; dynamics

TH122

A

1001-5132（2022）01-0075-07

2020−12−16.

宁波大学学报（理工版）网址: http://journallg.nbu.edu.cn/

浙江省公益技术应用研究项目（LGF21H180004）; 宁波大学教研项目（JYXMXZD2021021）.

王恒（1996－）, 男, 河南驻马店人, 在读硕士研究生, 主要研究方向: 增强现实人机交互技术. E-mail: 1162259493@qq.com

王英（1989－）, 女, 河南南阳人, 副教授, 主要研究方向: 增强现实人机交互技术. E-mail: wangying5@nbu.edu.cn

（责任编辑 史小丽）