基于三维虚拟船舶的驾驶员实操训练平台开发

,,

(1.大连海事大学 航海学院，辽宁 大连 116026；2.中国海事服务中心 考试中心，北京 100029)

基于三维虚拟船舶的驾驶员实操训练平台开发

王德龙1,任鸿翔1,朱耀辉2

(1.大连海事大学 航海学院，辽宁 大连 116026；2.中国海事服务中心 考试中心，北京 100029)

针对STCW公约马尼拉修正案的实施和船舶驾驶员的实操培训，开发不受时间和地点限制的训练平台，运用人机交互技术设计并优化人机交互界面；运用三维建模技术建立船舶、港口、航标、小岛等三维模型；应用船舶操纵性分离建模理论，建立船舶运动6自由度数学模型；运用场景漫游技术、碰撞检测技术以及三维交互技术实现三维场景中漫游与交互；结合专家系统及智能评估技术，实时给出训练辅助信息及对训练效果的评判。在平台上可以完成船舶进出港操纵、船舶避碰、船舶甲板设备操作及保养等训练和考核。经测试表明，该平台可以满足公约及船公司对船舶驾驶员训练的需求。

水上运输；训练平台；虚拟现实；船舶操纵；评估

《STCW公约》马尼拉修正案已于2012年1月1日正式生效，修正案指出可以通过认可的培训、工作经历以及航海模拟器培训等途径来满足船舶驾驶员的适任要求，实际培训过程以授课为主，结合模拟器操作训练的模式完成。可以看出，公约修正案更加注重航海模拟器对于船舶驾驶员的培训。目前，国内外主流的船舶操纵模拟器厂商和科研机构，都有比较成熟的全功能大型船舶操纵模拟器，可以用于船舶驾驶员的培训，但普遍存在2个问题：成本较高；进行培训和练习的时间和场地受限。针对第一个问题，各研究机构研发了桌面版船舶操纵模拟器，大大降低了硬件设备的成本。针对第二个问题，研究人员逐步将研究重点放在基于移动端的船舶操纵模拟器的开发上。然而，在船舶甲板设备操作训练方面，以及消防救生相关操作方面(包括救生艇的释放回收、检查保养等)的功能还相对较少，致使海上环境模拟的真实度还不够(缺少船舶甲板设备的操作模拟)。另外，在海上事故调查中可以发现，由于甲板设备操作不当(包括消防救生设备的操作)而造成的事故每年都有发生。针对以上问题，考虑在桌面版船舶操纵模拟器的基础上开发基于虚拟三维船舶的驾驶员训练平台。

1 整体框架

驾驶员实操训练平台整体构架见图1。

图1 训练平台整体架构

船舶驾驶员训练平台以三维虚拟整船平台(简称整船平台)为核心，目的是为受训人员营造一个相对真实的海上航行环境。整船平台接收到教练站的练习文件后，将相关信息传输给三维视景库和船舶运动数学模型数据库、雷达和电子海图，生成包括港口、目标船以及水文气象环境在内的航行环境，在船舶运动数学模型的驱动下，受训人员可以操作整船平台在这个三维虚拟环境中航行；航行过程中，受训人员如果操作船舶甲板设备、航海仪器等，专家系统会给出该设备的信息提示；如果出现误操作，专家系统则会给出警告信息；每项具体操作结束或者进行中，在整船平台中调用智能评估系统，则会给出当前操作的评估结果。

2 关键技术

2.1 三维建模技术

三维建模技术主要有几何建模技术、基于图像的建模技术以及混合建模技术3种。几何建模技术是一种传统构造三维虚拟场景的方法，以真实场景为基础，在建模软件中，以点-线-面-体的方式构造三维模型，这种建模方法可以忽略复杂的表达算法和关系算子，但是对于用户计算机图形学的技术要求比较高；基于图像的建模技术利用已有的离散图像或视频作为建模依据，实时生成不同视点的场景画面，其缺点在于交互性不强；混合建模技术是将几何建模技术与图像建模技术结合，利用几何建模技术生成标准的图形库，利用图像建模技术将照片转化为三维模型(见图2)的纹理和形状，这样不仅能够大幅减少纹理创作的工作量，同时真实程度更好。

图2 三维船舶模型

在本训练平台中，使用混合建模技术，利用3D Studio Max场景建模工具完成三维船舶建模工作。船舶三维建模流程如下[1-2](见图3)：①基础数据准备，包括资料收集整理，编写策划文档，制定模型制作及命名规则；②制作简模，包括合理分布模型密度、合并相同材质模型、避免出现2个面片间距过近、删除不可见的面片等；③为模型指定材质，运用贴图烘培技术表现模型物体的光照和阴影效果，目前对三维模型的渲染主要通过2种方式予以实现，即静态烘焙与基于着色器的局部动态光照模型；④模型整合。

图3 建模流程

2.2 三维场景交互技术

三维场景交互技术中关键技术包括碰撞检测技术和虚拟漫游技术。本文碰撞检测技术采用层次包围盒的方法[3]，根据船舶各设备的特点综合运用SphereCollider，WheelCollider，BoxCollider和Mesh-Collider这4种碰撞检测包围盒。

主要使用第一人称手动漫游和第三人称手动漫游，完成三维虚拟船舶上的漫游，以及操作设备的同时观察另一视角的画面。另外第一人称自动漫游和第三人称自动漫游都是以自动寻路为主[4]。

第一人称视角手动漫游，每个更新周期内，根据鼠标传入的变化量更新摄像机的旋转和平移矩阵，计算摄像机的位置以及观察点的位置。

第三人称视角手动漫游，与第一人称视角手动漫游类似，惟一不同点在于摄像机的位置和观察目标的位置需要通过算法确定。摄像机观察位置的确定方法有2种：①观察目标与角色分离，令观察目标实时跟随角色；②直接将角色作为观察目标。为了体现较为真实的跟随感，采用第一种方法，利用虚拟力算法[5]，将角色作为引力点，吸引摄像机实时跟随。摄像机自身位置利用公式确定。

(1)

式中：dfollow为摄像机与角色保持的距离；Mrot为旋转矩阵。

2.3 人机交互界面设计技术

2.3.1 人机交互界面接口及输入输出设计原则

人机交互软件接口的形式可分为：下拉型菜单、级联型菜单、弹出框式菜单、工具栏菜单、图标式菜单、链接菜单。用图表栏表示图标的功能按钮是较为可行的方法，也是一种较为直观的界面接口模式。

软件交互界面的窗口设计(输入和输出设计)需要根据信息的重要层次和清晰程度进行科学的统筹规划，要始终保持界面简洁明了大气。根据眼视光学的特性在眼睛不容易发生疲劳或较容易集中精力的界面区域安排摆放较为重要的交互信息。帮助信息和较次要的提示信息尽量放在屏幕下方。界面表示效果是人机交互界面效果的最好体现。单一文字搭配形式单调易造成审美疲劳，用图形代替文字，给用户以更加直观的印象，操作目的更加明确。

2.3.2 技术细节

人机交互界面中包含了多个组成元件，这些元件可实现不同功能。元件包含色彩、方向、形状、位置和纹理等视觉特征。界面设计过程中，要尽可能多地使用能引起用户视觉注意的元件。采用国际照明委员会L×a×b×色彩模型，在单一尺度下，元件视觉注意程度值的计算方法如下。

单一尺度下元件i的视觉注意程度值[7]为

参考图形元件的用户注意程度值，分析元件的重要性和使用频率。采用两两比较的方法，每次比较相对重要的元件加一分，使用频率高的加一分，完全对比后得到元件的重要度的总得分Ii和使用频率的总得分Fi，通过加权的方法得到元件的重要性Si=αIi+βFi。根据元件的重要性程度，重新优化初步设计的人机交互界面。

2.4 船舶运动数学模型

坐标系采用惯性坐标系和附体坐标系，见图4。o0x0y0z0为固定于地球表面的惯性坐标系；oxyz为附体坐标系，为简化方程将原点取在船舶重心处。

图4 惯性坐标系及附体坐标系

根据船舶操纵性分离模型(MMG)理论，分别计算船舶6自由度动力学方程[8]中螺旋桨和舵自身产生的力及力矩、作用于裸船体、螺旋桨、舵上的外力和力矩(包括风、浪的干扰力和力矩)。在计算过程中，需要用到船舶运动辅助方程，参考文献[9-10]计算纵向、横向和垂向的位移及欧拉角等未知量。

3 平台实现

利用3DMax场景建模工具建立整船三维模型，在Unity3D场景开发平台下，开发人机交互界面，调用三维视景库及船舶运动数学模型，驱动三维船舶在场景中运动与交互，建立基于三维虚拟船舶的驾驶员训练平台。

3.1 主界面设计

主界面的功能需求为：①可以在全船快速漫游；②设备操作时，可以根据实际需求看到不同的视角；③部分设备操作所需工具的放置问题；④多人操作功能的实现与触发；⑤船员训练时，实现辅助信息提示功能；⑥实现考试相关功能的设置。

根据功能需求，结合人机交互界面设计理论，主界面采用级联菜单的方式，一级目录使用图标的形式，摆放于主界面的左上角，不用时可收起。经过元件重要程度计算后，图标布局见图5，从左到右依次为二维导航、三维导航、工具、零件库、辅助窗口、辅助控制命令、辅助信息显示、考试信息相关设置。

图5 主界面UI

主界面效果如图6所示。

图6 训练平台人机交互界面

在功能方面，二维导航和三维导航满足了快速定位方面的需求(图6a)，左上角为二维导航，右上角为三维导航)，用户可以快速定位到整船平台的任意位置，与此同时，也会对整船有一个整体上的认识。实船上一些操作需要用到工具，如果每次都要到工具间取工具太过麻烦，因此，将工具单独放在主菜单中(图6c)，左上角选项列表)；船上罗经等设备需要拆装，拆下来的零件自动进入零件库，安装的时候在零件库中取出即可(图6c)，左上角选项列表)。实船中，操作某些设备时(如救生艇)，操作者经常会关注不同的区域，人机交互界面中的辅助窗口将显示操作者所关注的另一视角。在整船平台中自动识别当前操作者所做的操作，并在辅助窗口中显示具体的区域(图6d)，右上角窗口)。船舶生产实际中，经常需要多人协助操作，在整船平台中，利用辅助控制命令控制虚拟化身的方式，实现多人操作的效果(图6d)，左上角选项列表)。出于训练方面的考虑，当漫游到整船平台的某一部位时，专家系统将会给出部位的名称，并显示在右下角辅助信息区域，如果操作该设备，专家系统会将该设备的操作注意事项显示在该区域，如果出现误操作，专家系统会将警告信息显示在左下角(图6a)，右下角窗口)。利用考试信息相关设置菜单项，可以设置考试相关信息，进而检验训练的效果，这里包括单人操作，以及多人在联网的情况下的协作(图6b)，左上角选项列表及中部窗口)。

3.2 船舶三维模型及运动数学模型建模

针对散货船“长山海”轮，根据前述三维建模技术，建立三维船舶模型；根据船舶运动数学模型建模技术建立船舶运动6自由度数学模型，模型精度基本可以满足训练平台的要求。

“长山海”总长189.99 m；两柱间长185 m；船宽32.26 m；型深18 m；设计吃水11.3 m；方形系数0.848 3；棱形系数0.851 8；满载排水量56 907.13 m3；压载排水量23 861.73 m3；型排水体积57 209.0 m；纵距0.35 nm；横距0.18 N·m；满舵应舵时间28 s。

3.3 数据接口

整船平台是整个训练平台的核心，其他模块需要与其连接，为其传输数据，或者受其控制，因此，需要定义好整船平台与各模块之间的数据接口。数据接口选择共享内存的方式实现，整船平台以及各模块均向共享内存写入数据，并读取该共享内存中的数据。另外，每个模块输出的数据需要存入数据库中，便于日后数据分析与维护。由于篇幅关系，数据接口的具体数据结构此处不再展开。

4 实例分析

以船舶进港操作为例，操作分为2部分，其一是船舶进出港操纵避碰方面的内容，另一个是整船三维设备的操作。

4.1 船舶离港航行

航行环境设置：北风3级，涨潮流0.1 kn，满载离港航行，一条目标船。出港航行，初始状态已经离开泊位，在港内以1 kn的速度航行。训练开始后，学员可以和驾驶真实船舶一样，操作三维船舶中车舵等设备，控制船舶的姿态，使其在三维场景中运行；同时，可以走到桥楼甲板左右舷观察周围目标的动态(图7a)和b))，也可以在驾驶室中观察(图7c))；在练习结束后，调用智能评估模块，给出评估成绩(图7d))。

图7 船舶离港航行

4.2 船体三维设备操作

图8 甲板设备操作(货舱)

以货舱操作为例，开舱过程中如果出现错误项，界面左下角会有警告提示。如图8所示，当前在操作操纵杆，准备开舱，右下角提示当前选中项以及该项的操作方式；舱并未开启，原因在于当前货舱围紧(舱盖水密装置)未完全打开，舱盖无法开启，左下角给出了警告提示信息“有围紧未打开”。

5 结论

构建基于三维虚拟船舶的驾驶员实操训练平台，在该平台上，可以对船舶驾驶员的船舶操纵避碰技术、船舶甲板设备使用以及消防救生设备使用等进行系统的训练。该平台不受时间和场地的限制，学员随时可以进行上述训练；另外，在训练过程中和训练结束后平台会自动给出相应的提示和改进建议，这是传统大型船舶操纵模拟器所不具备的。

在平台开发过程中，难点主要有以下几个方面：系统运行效率、整船设备人机交互方式与实船设备使用的冲突平衡问题、辅助信息自动提示及操纵过程的智能评价。在后续的研究中，可考虑针对上述问题做进一步研究，例如，在保证模型真实度的情况下，对模型作进一步精简；开发更多的功能模块，如船舶装卸货作业、接送引航员的操作、自由降落式救生艇的释放与回收操作等；研究船舶自身设备操纵规律，训练过程中，更加智能地给出错误提示及修正建议等。

[1] 李治军.基于Unity3D的船舶舵机舱虚拟现实设计与研究[D].大连:大连海事大学,2014:27-28.

[2] 曾鸿.视景仿真技术在轮机模拟器的应用研究[D].大连:大连海事大学，2012:11-14．

[3] 杨眉.虚拟环境中碰撞检测问题的研究[D].青岛:青岛科技大学,2009.

[4] 曾鸿,张均东,任光,等.船舶机舱三维视景仿真系统设计与实现[J].系统仿真学报,2014,26(2):363-368,375.

[5] Geraerts R. Camera planning in virtual environments using the corridor map method[C]. Motion in Games,2009:194-206.

[6] STAS G, LIHI Z M. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10):1915.

[7] 王宁,余隋怀,肖琳臻,等.考虑用户视觉注意机制的人机交互界面设计[J].西安工业大学学报,2016,36(4):334-339.

[8] 张秀凤,尹勇,金一丞.规则波中船舶运动六自由度数学模型[J].交通运输工程学报，2007，7(3)：40-43.

[9] 李子富,杨盐生.船舶在规则波中纵摇与升沉运动仿真[J].大连海事大学学报,2002,28(4):13-16.

[10] 贾欣乐,杨盐生.船舶运动数学模型[M].大连:大连海事大学出版社,1999.

Development of a Training Platform for Ship Officers Based on the Three Dimensional Virtual Ship

WANGDe-long1,RENHong-xiang1,ZHUYao-hui2

(1.Navigation College, Dalian Maritime University, Dalian Liaoning 116026, China;2.Examination Center, China Maritime Service Center, Beijing 100029, China)

With the implementation of the Manila amendment to the STCW convention, more and more attentions were focused on ship officers’ training. So, it is necessary to develop a training platform without the limitation of time and place. A human-computer interaction interface was designed and optimized. 3D models of ship, port, navigation marks, small islands etc. were established. A ship motion mathematical model with six degrees of freedom was set up based on the separate modeling theory of maneuvering. By using 3D scene roaming technology, collision detection technology and 3D interaction technique, the assessment results and auxiliary information of the training could be shown in time. In this platform, the training and examination can be done, including the deck equipment operation and maintenance, the maneuvering of ship entering or leaving port, ship collision avoidance, etc. It is shown that this training platform can meet the requirements of the convention on ship officers’ training.

shipping; training platform; virtual reality; ship maneuvering; assessment

U675.79

A

1671-7953(2017)06-0191-05

10.3963/j.issn.1671-7953.2017.06.043

2017-02-04

2017-03-01

国家863高技术研究发展计划(2015AA016404)；交通部应用基础研究项目(2014329225370)

王德龙(1986—)，男，博士生

研究方向：交通信息工程及控制，船舶操纵避碰理论，智能评估