固体充填液压支架全位姿测量及虚拟仿真

王裕， 史艳楠，3， 王毅颖，2， 齐朋磊， 王翰秋，4

（1. 河北工程大学 机械与装备工程学院，河北 邯郸 056038；2. 河北省煤炭生态保护开采产业技术研究院，河北 邯郸 056038；3. 邯郸市智能车辆重点实验室，河北 邯郸 056038；4. 中煤能源研究院有限责任公司，陕西 西安 710054）

0 引言

固体充填液压支架作为充填开采技术的核心设备之一，与采煤机、刮板输送机、充填开采输送机等配套使用，在煤矿井下起到支护工作面、管理顶板、隔离围岩、增加工作空间等作用，其适应性和可靠性是决定充填开采工作面能否安全高效生产的关键因素之一。固体充填液压支架正常的空间位姿对其安全支护起到重要作用，因此，对其位姿参数进行监测至关重要。为了确保固体充填液压支架支护正常及井下工作人员安全，国内外许多专家学者对固体充填液压支架位姿测量技术及虚拟仿真技术进行了大量研究。文献[1]采用多传感器测量技术采集综采装备群空间全位姿的15个独立参数，设计了工作面综采装备群全位姿多参数测量系统并应用于井下现场，为煤矿井下智能化开采提供了重要技术保障。文献[2]指出在煤矿生产工作面中传统人工观察方法仍在广泛应用，主要是通过工作人员主动观察，凭经验来调节液压支架位姿状态，该方法存在精度低、稳定性差等问题。文献[3]利用视觉传感器提取所采集图像中的特征点并进行解算，得到液压支架底座的位姿，但只测量了支架部分位姿，不能完全描述液压支架的位姿状态。文献[4]利用倾角传感器和陀螺仪测量支架俯仰角，采用卡尔曼滤波对测量的角度进行数据融合，提高了顶梁姿态角度测量精度，但只是测量了顶梁姿态角，未涉及其他位姿状态参数。文献[5]采用传感器测量技术测量了支架掩护梁和前连杆处的角度，结合分批估计算法和自适应加权算法计算支架高度，有效提高了液压支架高度测量精度。由上述文献可知，现有测量方法虽能实现固体充填液压支架位姿信息的获取，但测量参数的全面性有待进一步提高，部分参数缺失；部分煤矿井下获取液压支架位姿仍采用传统人工观察方式，已无法满足煤矿智能化需要。针对上述问题，本文设计了一种固体充填液压支架全位姿测量系统，基于固体充填液压支架三维模型，利用多传感器融合对固体充填液压支架全位姿参数进行测量，保证了位姿数据的全面性及可靠性。

虚拟仿真技术现已广泛应用于各个工业领域，为工业过程的仿真和可视化监控提供了有效的技术支持。文献[6]以综采工作面“三机”装备（采煤机、刮板输送机和液压支架）为研究对象，对虚拟现实环境下“三机”工况监测与仿真方法进行研究，包括底板平整情况下的“三机”虚拟协同仿真方法、采煤机和刮板输送机在弯曲段进刀和复杂工况下的姿态行为耦合特性、群液压支架记忆姿态监测方法等。文献[7]利用Unity3D，基于真实煤层环境建立煤层曲面并结合液压支架模型运动分析，计算确定液压支架各部件角度值，改善了液压支架调整姿态时读取数据困难的问题。文献[8]采用三维引擎Unity3D技术设计了一种充填液压支架三维场景监测系统，通过三维空间监测界面从不同方位、不同角度监测充填液压支架的运行状态，实现了充填开采工况的安全监测和充填效果的监测，但是仅监测了部分位姿数据，不能够完全描述充填液压支架的位姿状态。综上可知，虚拟仿真虽然在三维建模、环境仿真等方面取得了进展，但在数据分析、运动关系约束等方面仍缺乏深入研究。为此，本文利用Unity3D设计了一种固体充填液压支架虚拟仿真系统，该系统可展现固体充填液压支架仿真场景，实现了支架运动仿真，可实时反映支架运行的位姿状态变化，为固体充填液压支架平稳运行提供技术支持。

1 固体充填液压支架三维模型建立

固体充填液压支架主要由底座、推矸、护帮板、前顶梁、后顶梁、推压密实机构千斤顶、矸石充填刮板输送机、推压密实机构、支柱等组成，利用3D Max建模软件分别建立主体零部件结构模型，而后组合成整体的固体充填液压支架三维模型，如图1所示。

图1 固体充填液压支架三维模型Fig. 1 Solid filling hydraulic support 3D model

对已建立的固体充填液压支架三维模型进行优化和渲染处理[9]，使其与实际固体充填液压支架空间动态场景一致。

2 固体充填液压支架全位姿多参数测量

根据建立的固体充填液压支架三维模型，采用多传感器测量技术设计了全位姿测量系统，系统架构如图2所示。全位姿测量系统包括传感器（倾角传感器、位移传感器、视觉传感器）、位姿数据采集模块、位姿数据存储模块、数据通信模块。位姿数据采集模块采集倾角传感器的角度数据、位移传感器的位移变量、视觉传感器的图像数据；位姿数据存储模块用于储存数据采集模块采集的数据；数据通信模块用于传输数据并与虚拟仿真系统进行实时通信。

图2 固体充填液压支架全位姿测量系统架构Fig. 2 Full pose measurement system architecture of solid filling hydraulic support

2.1 全位姿参数确定

全位姿测量是指对固体充填液压支架使用多传感器技术获取能够描述其空间位姿的参数。通过分析固体充填液压支架组的空间约束关系和位姿参数相关性，本文确定了9个固体充填液压支架全位姿参数，如图3所示。

图3 固体充填液压支架全位姿参数Fig. 3 Full pose measurement parameters of solid filling hydraulic support

固体充填液压支架全位姿参数包括固体充填液压支架自身的绝对位姿基本参数及相对位姿基本参数，参数集数学表达式为

式中：Q1为支架底座倾斜角（与水平面夹角）；Q2为顶梁姿态角（与水平面夹角）；Q3为支架高度；Q4为推矸推移距离；Q5为护帮板状态；Q6为推压密实机构倾角（与后顶梁夹角）；Q7为推压密实机构推移距离；N8为固体充填液压支架组护帮板之间的距离；N9为刮板输送机中部槽与支架推矸的夹角。

2.2 全位姿测量方案

为了能够全面、准确获取固体充填液压支架的全位姿参数，需要合理布置各类传感器的位置及数量，全位姿测量传感器布置方案如图4所示。

图4 全位姿测量传感器布置方案Fig. 4 Sensor layout scheme of full pose measurement

倾角传感器布置于前顶梁、后顶梁、底座、推压密实机构千斤顶，用于测量支架的底座倾斜角和顶梁姿态角等。位移传感器安装在支架的推矸、推压密实机构上，用于测量推移距离等。由于视觉测量受到光线、灰尘等因素的影响，且其测量效果很大程度上取决于摄像机的位置、数量和方向，所以，视觉测量融合采用以下测量方案：以首个固体充填液压支架为基准，每隔5～10架支架布置1个视觉传感器，保证护帮板状态位姿参数测量的准确性。利用视觉传感器采集图像数据，可以分析计算固体充填液压支架组护帮板之间的距离、支架推矸与刮板输送机中部槽之间的角度、护帮板状态等。

对以上各类传感器采集到的数据进行整合并加以解算，以保证测量的精确性，将采集到的数据储存到全位姿测量系统，以保证虚拟仿真模型的稳定性。

2.3 固体充填液压支架全位姿参数解算

可通过读取传感器数据获取的位姿参数如下：读取安装在底座的倾角传感器数据，可获得支架底座倾斜角Q1；读取安装在推矸上的位移传感器数据，可获得推矸推移距离Q4；读取安装在推压密实机构千斤顶和后顶梁处的倾角传感器数据，可获得推压密实机构倾角Q6（与后顶梁夹角）；读取安装在推压密实机构上的位移传感器数据，可获得推压密实机构推移距离Q7。

2.3.1 视觉传感器位姿参数解算

使用视觉传感器所采集的图像，可以分析计算固体充填液压支架组护帮板之间的距离N8、支架推矸与刮板输送机中部槽之间的角度N9和护帮板状态Q5。护帮板状态Q5可通过视觉传感器所采集的图像直接获得。

从视觉传感器采集到的图像中提取出可描述固体充填液压支架姿态的特征点，如护帮板中心位置、推矸前端中心。本文以单目视觉测量[10]为例计算固体充填液压支架组护帮板之间的距离N8及支架推矸与刮板输送机中部槽之间的角度N9，单目视觉测量模型如图5所示。

图5 单目视觉测量模型Fig. 5 Monocular vision measurement model

摄像机固定安装在高度为h的n点上，并以一定角度向下倾斜，避免出现盲区。p（a，b）点为护帮板（推矸）在摄像机载体坐标系xoy平面中的一个特征点，a为p点在载体坐标系下的横坐标，即目标点与载体在水平方向的间距，b为p点在载体坐标系下的纵坐标，即目标点与载体在垂线方向的间距；p'（c，d）为护帮板（推矸）在摄像机成像平面上的特征点的像平面坐标；p1（a'，b'）为相邻护帮板在摄像机载体坐标系平面中的一个特征点；e1为摄像机垂直投影点到地面的最近距离；e2为摄像机垂直投影点到地面的最远距离；f1为摄像机水平角度投影在地面上的间距；φ和θ分别为摄像机垂直方向角度射线与地平面y轴的最大和最小夹角；η为摄像机水平角度射线在地面上的投影与地平面y轴的夹角。

根据摄像机成像模型的几何关系，φ，θ和η的计算公式为

h，e1，e2和f1可以通过测量得到。在得到了φ，θ和η之后，就能推导出a和b，其计算公式为

式中：Sa，Sb分别为像平面在x和y方向上总的行数和列数；c，d分别为特征点p在像平面上的行数和列数。

同理，可求得相邻护帮板中心位置特征点p1（a'，b'）。

通过式（5）、式（6）可求解到p与p1两护帮板特征点之间的距离（即固体充填液压支架组护帮板之间的距离N8）、特征点p与刮板输送机中部槽之间的夹角（即支架推矸与刮板输送机中部槽之间的角度N9）：

2.3.2 固体充填液压支架高度、顶梁姿态角解算

（1） 局部坐标系与全局坐标系转换。全局坐标系可简单完整地描述固体充填液压支架的空间状态和相对位置。为了在全局坐标系中体现传感器所采集到的位姿数据，可以先在固体充填液压支架上建立局部坐标系，然后再将局部坐标系中的相应位姿参数转换到全局坐标系。

局部坐标系与全局坐标系的转换可描述固体充填液压支架的空间位姿状态，为固体充填液压支架高度、顶梁姿态角解算提供依据。坐标系转换可通过平移原点和绕不同的坐标轴转动实现，局部坐标系和全局坐标系转换关系可用矩阵[11]表示：

式中：T（t）为平移矩阵，t为局部坐标系原点相较于全局坐标系原点的最大水平移动距离，tx,ty，tz分别为局部坐标系原点相较于全局坐标系原点在x，y，z轴方向上的移动距离；Rx（δ），Ry（φ），Rz（ψ）分别为绕x，y，z轴的旋转矩阵，δ，φ，ψ分别为局部坐标系绕x，y，z轴的偏转角。

将式（10）-式（13）代入式 （9），可计算得到矩阵为

根据刚体运动学理论得出，固体充填液压支架的高度和顶梁姿态角的改变可看作支撑前顶梁刚体运动相对于底座刚体运动时的一个空间变化运动，因此根据视觉测量原理和坐标系转换理论，建立了固体充填液压支架姿态的视觉测量模型[12]（图6），用于计算顶梁姿态角Q2及支架高度Q3。

图6 固体充填液压支架姿态视觉测量模型Fig. 6 Visual measurement model of solid filling hydraulic support's posture

在第k架固体充填液压支架上分别建立底座坐标系Ouk-XukYukZuk、顶梁坐标系Ovk-XvkYvkZvk和摄像机坐标系Owk-XwkYwkZwk。其中，摄像机坐标系与顶梁坐标系三轴方位相似，仅原点的空间坐标略有不同，两者关系的变换可用平移矩阵wvi=[0 0 Δg0]T（Δg0为摄像机安装位置到前顶梁上端面的垂直距离）表示。通过支架底座坐标系到摄像机坐标系再到顶梁坐标系的变换矩阵换算，可以得到支撑顶梁与支架底座的空间距离位姿。

（2） 顶梁姿态角Q2求解。根据摄像机坐标系与前顶梁坐标系的变换，可以用欧拉角来表示固体充填液压支架前顶梁俯仰角（Δαk）、偏航角（Δβk）、横滚角（Δγk）的变化。设支架前顶梁初始俯仰角、偏航角、横滚角分别为α0k，β0k，γ0k，则前顶梁动作后的俯仰角、偏航角、横滚角分别为

同理可求得后顶梁的姿态角。

（3） 支架高度Q3求解。前后顶梁姿态分为4种：前后顶梁均抬头、均低头、一抬头、一低头。当前顶梁抬头或低头且后顶梁低头的状况下，设运动前后摄相机相对于固体充填液压支架底座在竖直平面内的位移为Δgk，固体充填液压支架初始位置支架高度为H0k，根据式（15）可求解出前顶梁动作后俯仰αk，结合摄像机和前顶梁之间的空间几何关系（图7）可计算出固体充填液压支架动作完成后的高度Hk（即Q3）为

图7 顶梁与摄像机空间几何关系Fig. 7 Space geometry relationship between roof beam and camera

式中L1，L2分别为摄像机安装位置到支架前顶梁左右端面的水平距离。

当后顶梁抬头且前顶梁低头时，固体充填液压支架初始位置支架高度为H0k，根据式（15）求解出后顶梁动作后俯仰角α'k，结合摄像机和后顶梁之间的空间几何关系（图7）可求解出支架动作后的高度Hk为

式中L3为摄像机安装位置到支架后顶梁左右端面的水平距离。

当前后顶梁均抬头时，求解出支架动作后的高度Hk为

3 基于 Unity3D 的固体充填液压支架虚拟仿真系统

为直观体现固体充填液压支架运行状态，提高固体充填液压支架运行效率，设计了一种基于Unity3D 的固体充填液压支架虚拟仿真系统。在固体充填液压支架全位姿测量系统的基础上，用该系统对固体充填液压支架运行状态进行虚拟仿真，系统架构如图8所示。位姿数据采集模块将采集到的角度数据、位移变量、图像数据传输给位姿数据存储模块进行储存，通过数据通信模块进行实时通信，将位姿数据传输给设备运动模型模块，完成设备的运动过程仿真。利用3D Max建立充填装置单元、周围场景单元的仿真场景模块，使其与实际场景贴合。运用Unity3D建立状态显示模块，显示固体充填液压支架的位姿状态变化。

图8 固体充填液压支架虚拟仿真系统架构Fig. 8 Architecture of virtual simulation system of solid filling hydraulic support

3.1 实时数据通信

为模拟真实固体充填液压支架工况环境，在全位姿测量系统与虚拟仿真系统之间搭建了兼容RS232通信协议的实时通信数据接口。该数据接口通过位姿数据存储模块对全位姿测量系统接收到的数据信息进行过滤处理，以实现数据的存储及可靠传输，完成固体充填液压支架的运动过程仿真及状态显示。

全位姿测量系统与虚拟仿真系统之间的数据通信通过Unity3D软件中的System.IO.Ports实现。首先，初始化串口，并在C#中的Serial Port通道中设置与全位姿测量系统一致的各种串口参数。其次，在Receive Data通道中，使用读取功能读取全位姿测量系统传输的数据，以数据帧的起始位读取一帧数据的信息，并通过数据处理功能对数据进行处理。然后，在虚拟仿真系统中调用数据处理功能，并执行相应的动作。最后，退出虚拟仿真系统，关闭串口，以防止再次启动时出现无法正常打开串口的错误，从而影响系统的正常运行。

3.2 仿真场景建立

煤矿井下实物场景分为充填装置单元、周围场景单元2个部分。充填装置单元主要包括固体充填液压支架（组），周围场景单元主要包括井下巷道与煤壁，本文利用3D Max三维建模软件对这2个部分建立仿真场景。

固体充填液压支架模型在前节已建立，只需对建立好的固体充填液压支架模型进行贴图，以保证三维模型的真实感。实际上固体充填液压支架建模复杂及规模庞大，为了提高支架的动作稳定性，有必要最小化立体建模中的面数，对模型总体进行优化设计、二维纹理贴图，以使模型表面更为光滑，从而使整个固体充填液压支架虚拟仿真系统具备更强的立体感[13]。使用纹理映射技术建立煤壁模型[14]，将真实的煤壁纹路效应反映到模型中，使煤壁的纹路更贴合现实。仿真场景如图9所示。

图9 仿真场景Fig. 9 Simulation scene

3.3 固体充填液压支架运动仿真

先将3D Max模型文件导出为FBX格式，再将其导入Unity3D软件，完成固体充填液压支架的运动过程仿真[15]。

为了反映固体充填液压支架的结构运动特性，以ZZC8800/20/38型固体充填液压支架为例，使用C#程序对固体充填液压支架运行状态进行仿真，包括推压密实机构的伸缩运动、护帮板旋转运动及固体充填液压系统支持的升降、移架、落料、推压密实等状态，以实现固体充填液压支架虚拟仿真系统[16-20]空间位姿状态变化的展示。

推压密实机构的位姿状态受到倾角与推压密实机构坐标的影响，根据推压密实机构倾角或坐标即可确定推压密实机构位姿，利用local Position 函数实现推压密实机构的伸缩运动。护帮板的位姿状态受到倾角或坐标的影响，根据护帮板倾角或坐标即可确定护帮板状态，利用 local Rotation函数实现护帮板旋转运动。在利用local Position函数与local Rotation函数实现推压密实机构的伸缩运动与护帮板旋转运动之后，再加入Quaternion四元数控制推压密实机构及护帮板的旋转角度，从而实现推压密实机构的伸缩运动及护帮板的旋转运动。推压密实机构伸缩运动及护帮板旋转运动如图10、图11所示。

图10 推实机构伸缩运动Fig. 10 Telescopic movement of the pushing and compacting mechanism

图11 护帮板旋转运动Fig. 11 Rotation of guard plate

图10、图11显示的推压密实机构伸缩运动及护帮板旋转运动与真实固体充填液压支架运动一致，真实反映了固体充填液压支架的位姿状态，证明了系统的可靠性。

3.4 固体充填液压支架状态显示

以推压密实机构的状态显示为例，运用Unity3D建立状态显示模块，如图12所示。

图12 状态显示界面Fig. 12 Status display interface

通过状态显示模块输出位移量及角度偏移量，并且绘制相应的折线图，通过折线图可以反映推压密实机构位姿状态变化。

4 结论

（1） 固体充填液压支架全位姿测量系统通过位移传感器、倾角传感器、视觉传感器等获取固体充填液压支架自身的绝对位姿基本参数及相对位姿基本参数，共包括9个独立参数，即支架底座倾斜角（与水平面夹角）、顶梁姿态角（与水平面夹角）、支架高度、推矸推移距离、护帮板状态、推压密实机构倾角（与后顶梁夹角）、推压密实机构推移距离、固体充填液压支架组护帮板之间的距离、刮板输送机中部槽与支架推矸的夹角，保证了固体充填液压支架测量数据的全面性，解决了位姿参数部分缺失问题。

（2） 设计了基于Unity3D的固体充填液压支架虚拟仿真系统，构建了固体充填液压支架仿真场景，利用Unity3D实现设备运动仿真，建立状态显示模块，实时显示固体充填液压支架的位姿状态变化。该系统与全位姿测量系统配套使用，可真实反映固体充填液压支架的运行状态，保证固体充填液压支架仿真的稳定性及数据的可靠性。