船舶机舱多通道视景虚拟仿真系统

李婷云，黄建伟，郭家建

（福建船政交通职业学院，福州 350007）

0 引言

传统的轮机模拟器仿真形式多为半物理二维实物仿真，半物理二维实物仿真是指模拟对象多以与实船相一致的控制盘台为主进行物理模拟和数学仿真，各种机电设备和管路等仿真对象则进行计算机数学模型数字仿真。这种人机交互效果不太理想，机舱画面真实感不足，而且很难进行各种实船的故障模拟和智能评估。

现在新型的轮机模拟器多以三维虚拟仿真为主，通过计算机的实时计算场景，把事先建模存储好的虚拟场景根据用户的操作指令进行实时调用和渲染显示。新型的轮机模拟器三维仿真主要包含两个方面，一是能够反映实体的三维虚拟模型，二是能够在虚拟环境中实现交互操作，通过ROUTE节点把仿真可视化的结果和获取的仿真数据模型上传到客户端，得到反映用户的操作模型和数学模型。这些模型可以验证现有的仿真系统模型数据的有效性和真实性，方便用户学员对实船进行漫游察看熟悉设备，了解设备工作原理，并为熟练操作机电设备打下基础。虚拟机舱替代实际机舱，节约教学成本，可以开展一些实船上难以开展的故障模拟和应急训练。

多通道视景仿真系统采用多通道融合技术、边缘融合技术、几何校正技术等进行计算机成像和无缝拼接，实现宽视角和反算控制算法进行投影图象的非线性几何拼接和校正，其亮度融合技术和算法基于幂函数，场景真实感增强，具有较强的视觉冲击力和良好的交互能力。多通道视景仿真系统能够为用户提供高度沉浸感和直观立体感，越来越多高品质的轮机模拟器对视景仿真提出了更高的要求和标准。场景漫游和虚拟交互是视景仿真的重要基础，方便用户在三维场景中进行自由的访问和操作，交互拾取时能够提供高效便捷的三维拾取功能，支持用户更好的交互场景和高效的人机交互行为，并能利用虚拟仪表、虚拟指示灯、虚拟指示盘台等动态地展示虚拟交互结果。

1 多通道视景仿真模拟器系统框架

多通道视景仿真模拟器系统在沉浸式环境搭建、真实感图形生成和虚拟交互技术进行了大量的研究和改进提升。随着可编程图形硬件的出现，传统的着色器和渲染技术被取代，固定渲染被更加逼真的实时渲染和特效渲染所取代。自动漫游是一种较为高级的交互模式，取代了固定线路的漫游模式，固定路线的漫游虽然也是采用计算机三维建模技术进行场景建模和视景绘制，但只能固定在几个。特定的视角之间切换，限制了用户与三维虚拟场景的交互操作，无法做到真正意义上的自由漫游。新的自动漫游利用路径优化算法和三维拾取有效性判断算法提高了实时交互的高效性和快速性，允许用户在训练时自由漫游和操作虚拟设备，允许用户通过视景仿真通道设置的各个ROUTE节点切换到设备的内部结构查看，或者开关阀门查找故障部位，进行常规的故障处理和应急训练。

图1为设计的多通道视景仿真模拟器系统虚拟仿真框架图，按模块可分为二维数学模型、三维仿真模型、三维场景模型、路径优化算法模型、三维拾取有效性算法模型等。二维数学模型是整个三维仿真系统的数据交互和处理基础，三维仿真模型是三维视景场景真实度和直观立体感的重要表现形式和模块化基础，三维场景模型是复杂的机舱场景的真实再现。

图1 多通道视景仿真模拟器系统虚拟仿真框架图

机舱设备繁多复杂，管路之间交联互通，需要建立重点机电设备的几何模型和数学模型，忽略次要设备的模型构建，优化建模技术和渲染措施，以分层和分组对机舱设备场景进行数据结构重组和编辑，采用环境映射、凹凸映射等模拟出机舱机电设备的表面材质和纹理，以求更大程度复现机舱全貌和更接近机电设备实物，相同三维模型自定义重复调用和相同材质场景模型图形化处理，即预先对模型进行渲染处理后得到静态的光照和阴影效果图，然后把这些效果图和纹理图存储到数据库里，虚拟场景需要调用的时候只需到数据库调用相对应的纹理图即可(如图2)，不需要计算机重新计算，减少了实时渲染计算量。解决了图形引擎的高效性，使视景画面感更加流畅，增强了系统的实时性。

图2 不同环境映射和光照渲染下的主机模型

多通道视景仿真模拟器系统的软件开发环境有Virtual 4.0，VS.NET2010和Matlab，以及三维建模 CREATOR、VEG、VRP等虚拟仿真软件和自主研发WEB-VR-TOOL插件等。轮机系统的数学模型采用 Matlab建模并仿真验证后使用VS.NET2010编写，三维图形引擎使用Virtual 4.0和自主研发WEB-VR-TOOL插件。实验平台配有多通道柱幕、球幕系统、穹幕系统、洞穴式投影系统、SGI Onyx4高性能图形服务器、TP9100存储系统、中控系统、矩阵切换系统、音响功放等硬件设备，并在此基础上开发了船舶多通道视景仿真模拟器系统。

2 多通道视景仿真模拟器系统关键技术

2.1 双目成像

在用户自由漫游的过程中，为了实现目标点的立体灵活效果，图形引擎提供了虚拟摄像机，在双目汇聚的投影方式下时刻感知目标点的三维坐标位置和虚拟摄像机 CAMERA的三维坐标位置，采用三维拾取算法得到当前虚拟系统屏幕中心区域的三维坐标，并将三维坐标设为目标点，当两台虚拟摄像机视向发生变化，虚拟系统里的模拟人的视向保持同步变化，保持仿真系统界面衔接顺畅自然。当用户关注的虚拟对象角度和距离发生变化，摄像机到目标点的距离和角度也会发生变化，否则用户看到的图像会失真和不协调。特别是对于重点仿真建模的机电设备的多维度多角度环绕展示，环绕展示时周围的环境不断变化容易造成用户垂直视觉差较大，而重点展示的目标和摄像机的距离不变，但展示角度在不断变化，观众的视觉集中在目标物体上，虚拟摄像机要保持对目标物体的立体效果，需要间距呈比例变化，虚拟画面呈现出频繁的变化和渲染效果，增加用户的双眼调节负担，变化过快容易引起恶心和眩晕感。双目成像采用两个视觉窗口分别渲染两台虚拟摄像机的图像，让两台虚拟摄像机的各个参数都保持一致，尽量减少最大视差的限制和汇聚角的限制。

2.2 几何校正

多通道投影虚拟系统要想展示一幅完全一致的全景画面，不管通道数多少、投影屏幕为何形状、投影机的位置摆放得如何精准，都要采取一定的画面融合技术和算法来规避和矫正曲面的修改和构造，避免线性失真和梯形失真，使相邻通道的虚拟图像通过贝塞尔曲面算法进行校正，使相邻通道的图像光栅无缝对接保持图像光栅对齐。对齐校正的核心是使原始画面和投影屏幕之间的映射关系进行变换，利用贝塞尔曲面算法在计算机中重建虚拟摄像机采集的原始屏幕图像矩阵，并计算投影曲面各特征点的坐标，根据原始画面的特征点的坐标关系获得变形校正所需的映射关系矩阵，该映射关系对帧进行缓存处理和纹理贴校正，以期达到画面变形校正的效果。

贝塞尔曲面算法实际上计算变形曲面网格点的坐标，通过一组多边折线的各个顶点确定和构造出一个基于三次方贝塞尔曲线的自由曲面：

该式为三次方贝塞尔曲线公式，P1为贝塞尔曲线起点坐标；P2为贝塞尔曲线终点坐标；C1为起点对应的控制点坐标；C2为终点对应的控制点坐标；U为插值系数；P（u）为生成的贝塞尔曲线上的点的坐标。改变U可以得到不同光滑度的贝塞尔曲线。使用 4条贝塞尔曲线可以构造出一变形屏幕的边界。这些边界点的坐标可以通过网格直接对帧缓存进行几何校正，网格作为基本图元，可以在网格的多边形上进行纹理贴图，也可以将网格的经纬线进行融合带光栅对齐调整。计算网格结点坐标的方法如下：

式中M为网格的纵向分段数，N为网格的横向分段数，i为网格结点的行号，j为网格结点的列号，Pij为原始网格结点的坐标，为变形后网格结点的坐标。

变形网格结点坐标算法是由原始网格结点的坐标加上两个修正项叠加而成，前一个修正项表示上边界网格结点相对原始节点位置的横向偏移，被以线性减少的方式叠加到本列各点的横坐标上，后一个修正项表示下边界网格结点相对原始位置的横向偏移，被以线性增加的方式叠加到本列各点的横坐标上。根据屏幕分辨率得出M、N的值，代入贝塞尔曲面算法式得出校正后的网格节点和自由曲面。

2.3 边缘融合

为了提高虚拟现实系统中的直观立体感和真实感，大型的虚拟船舶机舱仿真采用多台投影机多通道拼接大幅虚拟场景，各个通道的画面和场景采取视锥体和帧缓存进行画面分割，分割后的场景必须有重叠部分，保证多通道投影虚拟环境下各通道的观察者左右眼位置一致，输出图像正确拼接，保证最佳的视觉差效果，对重叠区域的大小即融合带的宽带进行校正，利用几何校正和边缘融合算法对投影画面进行无融合带处理。融合带的宽度和画面间的亮度直接影响投影屏幕上的拼接效果，利用多通道高分辨率输出的图像处理器合成图像，消除光学缝隙和屏幕缝隙，利用边缘融合处理器进行图像校正和统一，融合带宽度的大小可以几何校正阶段光栅对齐得到。亮度是由于投影图像有重叠造成画面违和，如果未做画面亮度处理，衔接处会有接缝感，需要对其进行过渡处理才能减少画面的重叠使画面一致。边缘融合技术有硬件融合、软件融合、集成式融合。边缘融合技术的实质是将多台投影机投射出的三维虚拟画面进行边缘重叠，并通过融合图像技术和边缘融合算法，对融合带进行几何矫正、色彩处理， 利用显卡的帧缓存和实时渲染插件进行实时渲染和处理，达到改变画面颜色和亮度的目的，获得超高分辨率的无缝连接高清投影画面。边缘融合算法的核心是利用多次渲染技术让图形卡改变帧缓存融合区域图像的亮度像素值，使叠加后图像的亮度和正常投影图像无缝衔接，无违和感和突兀感。

实际的投影画面效果会受到各种因素的影响，投影图像边缘区域的亮度衰减、金属幕的各向反射度不同、投影机自身色偏等，都将使融合带凸显，影响融合效果和违和感。采用融合函数可以调节亮度系数 α，进一步调整融合带中心位置CENTRAL POSITION的亮度，让融合带呈现线性渐变。

三次样条函数通过一个n阶多项式定义出调整融合带的光滑的样条曲线，只要改变样条曲线的型值点，就可任意改变曲线形状，待定系数和约束条件可以求解出不同的样条，因此可以增强融合算法的实用性和光滑度，调整融合带不同区域的过渡过程，从而适应各种投影环境。

附加条件为M0= Mn= 0：

要确定唯一的待定系数，需要附加条件，不同的附加条件求解得到不同的样条。一般7个型值点可以绘制出一条样条曲线，当附加条件和待定系数确定后，通过控制这些型值点的位置，可以调处不同的曲线形状，也可进一步改变曲线的形状，从而调整出融合带不同区域的过渡过程，对过渡融合带图像的 RGB(X, X, X)通道分别进行融合调节可以达到最佳处理效果和融合效果。

图3 轮机模拟器多通道视景仿真

图4 轮机虚拟视景技术实验平台立体投影柱幕

2.4 多通道画面同步

多通道画面同步的核心是同步机制和仿真数据的同步，服务器在对每一帧的初始输入设备信息处理后，控制各通道的左右眼虚拟摄像机进行控制型值点的变换，比如POSITION位置变换和ROTATION旋转变换，变换和旋转后的摄像机视点和视向通过客户端进行数据包解析，获取各个通道的数据并赋给左右眼摄像机进行场景渲染。利用实时渲染插件对虚拟数据包进行实时渲染和绘制，然后把交互结果通过线程发送给服务器，并等待下一帧摄像机参数信息的传输和绘制。仿真数据的同步是指用户端与服务器的数据包参数调用一致，数据结构为交互点名称加上交互一级二级类型、值域等，每个参与实时交互的三维实体都有一个大类编号，属于交互点一级类型。同时，交互点二级类型指在同一大类中不同的三维实体再一次进行编码，与一级类型共同来确定三维模型的类型。为方便虚拟场景快速便捷地调用三维模型，给虚拟场景划分不同的区域，标出不同的分区号，区内序列号是为了在同一个区域内交互点的序号，也是采用十进制编码，方便快速检索交互点，保持客户端与服务器端的数据包结构的同步。

3 小结

三维虚拟仿真系统中最重要的人机交互界面是视觉通道，利用算法实现同步机制和仿真数据的同步，多通道投影立体效果较好，可以实现更逼真的视觉效果和立体效果，增强三维虚拟仿真系统的沉浸感和直观立体感，多通道同步机制和边缘融合算法技术是多通道视景仿真系统的核心交互基础，给用户更良好的沉浸感和清晰直观的视景效果，还提高了用户交互操作下的三维场景无缝链接和动态实体之间的融合拾取，大大提高了系统画面感和交互要求的性价比。克服了传统模拟器的不足，提升轮机模拟器的仿真深度和层次，促进新型轮机模拟器仿真的升级和革新。