基于肢体动作交互的森林经营作业模拟研究

朱念福，张怀清*，崔泽宇，杨廷栋，王林龙，刘 华

(1.中国林业科学研究院资源信息研究所 北京 100091；2.国家林业和草原局森林经营与生长模拟重点实验室 北京 100091；3.中国林业科学研究院林业科技信息研究所 北京 100091)

森林经营是林业研究的重点内容[1-6]，目前诸多研究利用计算机模拟森林经营[7-20]，既有经营前后的森林状态二维图表对比[7-13]，也有森林三维场景经营前后的画面对比[14-19]，都能不同程度地表达森林经营的效果。这些相关研究主要利用了计算机计算能力和直观展示效果，较少考虑森林经营中频繁的作业过程的模拟与交互。不同的森林经营目标会采用不同的作业方法[21-27]，而实地培训森林经营作业存在一定的安全隐患，且成本高，周期长，受环境影响较大，因此，应用计算机模拟森林经营作业能在一定程度上弥补这些不足。

目前常见的森林景观仿真系统提供给用户侧的交互方式则较为简单，大都通过键盘、鼠标或手柄进行漫游交互，难以满足森林经营作业仿真模拟的各种交互需要。基于人机交互的虚拟现实技术[28-34]为森林经营作业的模拟提供了新的思路，在森林经营作业模拟中不仅可以提供逼真的森林环境，而且交互方式形象、直观，使用户身临其境。其中，沉浸式虚拟现实系统[34-38]具有沉浸感强、交互自由，虚拟仿真范围广，可多人同时观察虚拟场景的特点，在森林经营作业仿真模拟方面具有较大的优势。系统可以利用红外跟踪传感模块实时获取感光物体的空间坐标和方向信息，根据肢体动作的追踪来判断用户的交互需求。本研究利用红外追踪技术，研建应用于森林经营作业仿真模拟的肢体动作交互模型，结合补植、修枝和伐木等作业过程，在森林仿真场景开展森林经营作业试验。

1 森林经营场景仿真

1.1 沉浸式虚拟现实与可视化模拟系统（CAVE2）

森林经营三维仿真场景基于Unity3D 渲染引擎构建，在沉浸式虚拟现实与可视化模拟系统（CAVE2）中显示。CAVE2 是目前国际上最新一代的虚拟现实与可视化模拟系统，由显示系统、图形图像处理系统、红外追踪系统、多声道音频系统、中央控制系统等组成，配备偏振光3D 眼镜、感光物体和交互手柄等设备。显示系统由72 块显示屏拼接而成，形成320 度的环形空间，可以展示二维或三维画面，具有分辨率高、沉浸感强等特点。图形图像处理系统由一台主节点和18 个分节点组成，进行集群图形图像处理和并行渲染运行。红外追踪系统由10 个红外跟踪单元和相关追踪软件组成，红外追踪系统实时获取感光物体的相对距离，获得感光物体的空间坐标和方向。感光物体固定在交互手柄上，通过初始设置，可以将现实中的用户位置和虚拟场景中的摄像头坐标和方向联系起来，实现与场景的漫游交互功能。CAVE2 系统组成如图1 所示。

图1 CAVE2 系统Fig.1 CAVE2 system

1.2 森林场景仿真

1.2.1 森林三维仿真场景交互类型 森林三维仿真场景中，除了由手柄控制的漫游交互类型外，根据林木信息、林分信息等，制定UI 信息交互类型；参照中华人民共和国国家标准制定的《森林抚育规程》[38]，《森林采伐作业规程》[39]和《造林技术规程》[40]，选择用户侧交互性强的经营措施，如目标树选择、补植等，制定森林经营措施交互类型。具体交互类型如表1 所示。

表1 交互类型Table 1 Interaction type

1.2.2 森林仿真场景构建 森林仿真场景为森林场景和森林经营相关工具构建，森林场景构建分为地形建模和林木建模。地形建模：使用30 m 分辨率的地形数据（图2a）和纹理数据（图2b）在Unity3D 中生成三维地形（图2c）。林木建模：根据森林经营作业仿真模拟的交互需要，以及树木形态结构的多样性特征等因素，构建枝干分离的林木三维基础模型（图2d）。根据林分调查数据（湖南省黄丰桥国有林场某样地，立地指数为18），构建森林仿真场景。

图2 森林仿真场景Fig.2 Forest simulation scene

根据表1，构建森林经营作业需要的工具模型：手（图3a）、油锯（图3b）、锄头（图3c）和高枝剪（图3d）。手用于操作UI 界面和选择目标树，油锯用于伐木作业，锄头用于补植作业，高枝剪用于修枝作业。

图3 森林经营工具模型Fig.3 Forest management tool models

2 肢体动作交互模型

当手持感光物体在CAVE2 内运动时，可以实时获取用户肢体动作的空间运动轨迹（图4）。通过分析，运动轨迹有以下3 点规律：

图4 肢体动作Fig.4 Body action

（1）感光物体的空间坐标变化较大，方向基本不变。

（2）感光物体的方向变化较大，空间坐标基本不变。

（3）感光物体的空间坐标和方向均有较大的变化。

参照森林经营措施作业过程，对伐木、修枝、补植和三维UI 界面对应的肢体动作分别进行定义。

2.1 伐木操作的肢体动作模型

油锯是伐木的常用工具，油锯在现实环境中的使用方式复杂，不考虑油锯使用过程中会多次变更切割点和切割方向，简化油锯的伐木过程：油锯与树干接触，锯齿切割树干，油锯前后移动，无明显方向变化。

考虑仿真场景中油锯与使用者的相对距离变化来表示伐木操作，并通过现实中手臂伸缩来实现仿真场景中的距离变化。油锯与使用者的距离变化（如图5 所示案例）较为复杂，有以下问题需要考虑：

图5 距离变化Fig.5 Distance variation

（1）同一肢体动作，不同的人的运动轨迹不同，同一人的运动轨迹也不会完全相同，因此定量分析较为困难。

（2）油锯远离使用者和靠近使用者的速度不同且复杂多变。

（3）大小不同的林木需要不同的采伐时间。

（4）肢体运动过程中，方向变化不大。

通过定性分析，有以下规律可以采用：

（1）油锯先是远离使用者，然后靠近使用者，根据林木大小重复若干次，可以用重复肢体动作来表示。

（2）油锯与使用者的距离有最大值（最大距离因人而异，2～3 m）和最小值（0 m），若只保留数值不同的浮点数（保留一位小数），需要存储的距离数据是有限的，因此可以逐条数据分析，并且与使用者的动作速度和动作时长无关，具有较好的稳定性。

基于以上分析，构建伐木操作的肢体动作模型如下。

（1）肢体动作：Dis表示肢体在当前帧的运动距离，preDis表 示上一帧的距离，Log_FarDis为远离集合，Log_NearDis为靠近集合，Log_AllDis为远离与靠近的集合，Dir为肢体在当前帧的运动方向，Log_Dir为肢体运动方向集合。

（2）约束条件:Diff(Log_FarDis,Log_NearDis)表示远离集合与靠近集合数据量的差值，maxDif f为允许的数据量最大差值；Num(Log_AllDis)表示肢体动作重复的次数，minNum为需要重复的最少次数；Angle(Log_Dir)表示肢体动作与使用者的角度变化，maxAngle表示允许肢体动作偏离的最大角度。

2.2 修枝操作的肢体动作模型

森林经营作业中，修枝是一项十分重要的经营措施，对林木生长和材质有较大的影响，修枝主要使用高枝剪实现。当枝径较小时，可以直接剪落；当枝径较大时，需要进行切割，切割树枝的动作与伐木类似，但不考虑切割的次数。基于以上分析，构建修枝操作的肢体动作模型如下。

（1）肢体动作：Dis表示肢体在当前帧的运动距离，preDis表 示上一帧的距离，Prune_FarDis为远离集合，Prune_NearDis为靠近集合，Dir为肢体在当前帧的运动方向，Prune_Dir为肢体运动方向集合。

（2）约束条件：Di f f(Prune_FarDis,Prune_NearDis) 表示远离集合与靠近集合数据量的差值，maxDif f为允许的数据量最大差值；Angle(Prune_Dir)表 示肢体动作与使用者的相对角度变化，maxAngle表示允许肢体动作偏离的最大角度；Branch_S ize表示枝径；minS ize为实施修枝操作需要的最小枝径。

2.3 补植操作的肢体动作模型

森林经营中，补植点与周围林木需要一定间距；使用锄头工具进行补植时，肢体运动轨迹在空间中近似于抛物线，与使用者的距离先远后近；肢体在空间中与地面的距离减小，肢体与水平面的夹角由正变为负。基于以上分析，构建补植操作的肢体动作模型如下。

（1）肢体动作：Dis表示肢体在当前帧的运动距离，Replant_Dis表示肢体运动距离的集合；Dir表示肢体在当前帧的运动方向，Replant_Dir表示肢体运动方向的集合。

（2）约束条件：Far2Near(Replant_Dis)判断肢体运动是否先远后近；Vertical_Dis(Replant_Dis)判断肢体与地面的距离是否持续减小；Pos2Neg(Replant_Dir)判断肢体与水平面的夹角是否由正变负；Horizontal_Angle(Replant_Dir)表示肢体水平方向角度的最大变化量，maxAngle表示允许肢体在水平方向上的偏离角度；Replant_Time表示种植工具与地面接触时长，minTime为需要接触的最少时长；Replant_Point表示运动轨迹与周围林木的距离，minDis为需要的最小补植间距。

2.4 UI 操作的肢体动作模型

UI 界面便于直观显示森林信息，是交互式森林经营模拟的重要组成部分，传统的二维UI 界面不适用于CAVE2，因此选择三维UI 界面来展示林木信息。肢体的上下左右运动与UI 选择项的上下左右移动对应；肢体的旋转与UI 点击对应。基于以上分析，构建映射UI 操作的肢体动作模型如下。

（1）肢体动作：Dis表示肢体在当前帧的运动距离，UI_Dis表示肢体运动距离集合；Dir表示肢体在当前帧的运动方向，UI_Dir表示肢体运动方向的集合。

（2）约束条件：Orientation_Dis(UI_Dis)表示肢体动作在上下左右方向的移动距离，minDis为UI选择项移动需要的最小距离；Rotation_Angle(UI_Dir)判断肢体动作旋转的角度，minAngle为UI 按钮点击需要的最小旋转角度。

3 结果与分析

3.1 结果

将基于Unity3D 构建的森林仿真场景导入到CAVE2 平台中运行，森林经营仿真场景如图6 所示。

图6 森林经营仿真场景Fig.6 Forest management simulation scene

为了验证本研究构建的肢体动作能否准确映射到森林经营措施中，是否符合森林经营的作业要求，邀请了15 名研究生（10 人具有林学背景）和3 名涉及森林经营的研究者，使用虚拟经营工具，在仿真场景中根据经营措施做出相应的肢体动作（图7），直至操作成功，统计结果如表2 所示。图7a 为控制手的移动；图7b 为选择后出现的林木信息界面；图7c 为油锯模型与树木接触，准备进行伐木操作；图7d 为伐木操作完成后，树木倒下；图7e 为高枝剪与树枝接触，准备进行修枝操作；图7f 为修枝操作完成后，树枝落下；图7g 为锄头模型出现，准备进行移植操作；图7h 为锄头模型接触地面，出现移植标记点；图7i 为锄头离开地面，生成树木模型，移植操作完成。

图7 森林经营措施Fig.7 Forest management measures

由表2 可知，大部分使用者只需做一次肢体动作便可成功完成森林经营作业，单次作业成功率达到86%，各项肢体动作均可正确映射到森林经营措施上。单次完成经营作业的人数：UI 操作（18）>补植（16）>伐木（15）>修枝（13）。其中，一次性完成作业人数最少的是修枝动作，有13 人，3 人需要两次以上。经分析，一是因为树枝的可接触范围小，容易产生接触中断；二是因为肢体动作幅度变化大，有些运动轨迹点会偏离，易造成坐标和方向误判，伐木操作也有类似的问题。补植操作因为涉及到了时间判断，而人们对时间的感受不同，也会造成时间误判。UI 操作因为仅需判断手的起点和终点的相对方向，无其他约束条件，单次作业成功率可达100%。

表2 肢体动作映射森林经营措施执行Table 2 Body movement mapping forest management measures implementation

3.2 分析评价

将上述研究结果进行森林经营作业仿真模拟评价，评价结果如表3 所示。由表3 可知，构建的森林经营仿真场景沉浸感强，满足人机交互需要的流畅度；映射经营措施的肢体动作总体表现良好，交互评价良好率达到91%，可以满足森林经营模拟的交互要求。评价最高的是UI 交互动作和场景沉浸感，18 个使用者均给予良好评价，是完成作业需要次数最少的；评价最低的是映射修枝的肢体动作，仅有14 个使用者给予良好评价，是完成作业需要次数最多。总的趋势为完成作业需要的肢体动作次数越少，使用者评价越高。

表3 森林经营交互过程评价Table 3 Evaluation of interactive process of forest management

4 讨论

沉浸式虚拟现实与可视化模拟系统CAVE2 在森林经营仿真模拟方面具有较大的优势，针对目前经营作业模拟普遍存在的交互性差，缺乏自然、真实感的交互体验，以及较难处理频繁作业能力等问题，研建了一套基于肢体动作映射森林经营措施的交互方法。该方法主要利用了CAVE2 可以实时获取感光物体的坐标和方向，将坐标和方向变化与森林经营措施作业过程的肢体动作联系起来，实现了基于肢体动作交互的森林经营模拟。模拟过程形象直观，效果良好。经营措施与虚拟的经营工具建立了对应关系，方便扩展交互需求，适合交互频繁，交互类型多样的森林经营可视化模拟。

研建的交互方法简化了森林经营措施作业过程，模型考虑一只手的肢体动作过程，操作简单，容易实现。由于森林经营作业设备的多样性，以及森林经营措施的复杂性，在今后的研究中，可以研究使用双手等更多肢体动作的交互来实现，以更自然和灵活多样的交互方式来开展各种森林经营措施作业的模拟。

5 结论

本研究基于沉浸式虚拟现实与可视化系统CAVE2，在构建的森林三维仿真场景中模拟森林经营作业过程，构建了表示伐木、修枝和补植作业的肢体动作模型。通过森林经营仿真场景试验，得到以下结果：（1）肢体动作模型可以较为真实、自然地模拟伐木、整枝和补植等交互性强的森林经营作业过程，单次完成经营作业模拟成功率达到86%，具有良好的稳定性，满足应用需求；（2）构建的森林经营仿真场景沉浸感强，具有较好的森林经营交互流畅度和用户参与程度，交互评价良好率达到91%。因此，基于肢体动作交互的森林经营作业模拟，可以形象、直观地表达和分析复杂的森林经营措施实施过程，有助于加深使用者对森林经营的理解，提高森林经营辅助决策水平。