基于双目视觉的飞行头盔动载特性测试技术研究

沈文波 ,周 武

(1.中航工业航宇救生装备有限公司，湖北 襄阳 441003； 2.航空防护救生技术航空科技重点实验室， 湖北 襄阳 441003)



基于双目视觉的飞行头盔动载特性测试技术研究

沈文波1,2,周 武1

(1.中航工业航宇救生装备有限公司，湖北 襄阳 441003； 2.航空防护救生技术航空科技重点实验室， 湖北 襄阳 441003)

为了测试飞行员综合显示头盔系统在动态载荷下的穿戴运动特性和人机工效性，针对头盔与头部相对运动状态难以量化测量的问题，提出了一种基于双目视觉的测量方法，并研制了相应的测试系统；测试前，对两台摄像机分别进行标定以获取其内外参数，在施加动态载荷的测试过程中，通过摄像机提取被测目标事先编码的标记点，利用图像处理软件对其定位和立体匹配，确定标记点的坐标值及相互关系，调用OpenCV中的cvPOIST函数解算目标位置及三维姿态，实现了头盔与头部模型三维相对位移、角度和角速度参数的精确测量，试验结果表明，这种非接触式的测量方法真实还原了动态过载过程中头盔与头模的相对运动过程，具有不改变试验对象的质量特性、不干扰试验对象运动状态的优点，具有较高的应用价值。

双目视觉；综合显示头盔；识别定位；三维姿态

0 引言

随着飞行员头盔功能综合化趋势的发展，综合显示头盔系统(HMDs)成为新一代战斗机武器火控系统的一个重要组成部分和主要特征之一，在具有基本保护功能的头盔上加装瞄准、显示装置后，随之改变的头盔质量特性将对其人体生物力学的符合性、人机工效性以及飞行员的头颈损伤情况产生显著的影响，为了找到综合显示头盔系统功能与工效性的平衡点，需要对其开展一系列飞行加速度环境和高速气流吹袭环境下性能测试，获取动载条件下头盔与头部相对位置变化、角速度、角加速度数据以及头颈部的力学响应指标[1-3]，为装备性能评价和优化设计提供依据。

头盔与头部是一种复杂型面的佩戴关系，在动态载荷的作用下，两者的相对运动是多维度的组合运动，并且运动状态具有不确定性，传统的位移和角度测量方法不可避免的要使用各种传感器，这些传感器一方面无法满足不规则、多方向运动的测量需要，而且在试验对象上加装传感器后，对其质量特性和运动状态的改变将导致测试结果的不真实，双目视觉技术通过非接触的方式解算被测目标的空间几何关系[4]成为项目研究的首选方案。

双目视觉技术在运动目标的运动姿态检测中得到了广泛的应用，这些应用中多数是以单一目标或目标本体为测试对象[5-7]，本文研究则侧重于解决两个目标相对运动状态的测量。

1 测量原理与方法

双目立体视觉三维测量是基于视差原理，由三角法原理进行三维信息的获取，两个摄像机的图像平面和被测物体之间构成一个三角形，已知两摄像机之间的位置关系，便可以获取两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维位置。

测量原理如图1所示，O1，O2分别为摄像机A、B的镜头中心。对于空间物体表面任意点M(XYZ)，确定在A摄像机图像上的点m1(x1,y1)与在B摄像机图像上的点m2(x2,y2)是空间同一点M的图像点，则M点的空间位置可由O1m1与O2m2两直线的交点唯一确定。

设A、B摄像的投影矩阵为Pi(i=1,2),其中：

(1)

则：

(2)

根据图像坐标和式(2)就可以求出未知点M的世界坐标：

(3)

对式(3)用最小二乘法求解M点的三维坐标值。

图1 测量原理示意图

基本测试程序如图2所示。

图2 基本测试程序

2 技术实现

2.1 测试系统组成

测试系统由两台摄像机、安装支架、光源、图像采集控制模块和分析软件组成，摄像机用于采集目标及其标记点的成像状态，可以实现单帧分辨率2 560x1 920、最大325fps帧频拍摄，能够保证头盔及头部运动状态细节在最大10g/s加速度变化率或瞬间暴露在高速气流中的动载环境下的高清成像记录，由于摄像机需要安装在离心机悬臂端的试验吊舱内，具有耐受40g持续过载的能力。安装支架用于固定摄像机，使两台摄像机与拍摄目标的夹角∠O1MO2符合图像三维解算所需要的30°～150°之间，同时结构上要具备足够的刚度，以保证在加速度载荷作用下相机的位置关系不发生变化。光源可以提供最大约500lux的照度，保证在密闭的试验吊舱内拍摄照明需要。图像采集控制模块和分析软件用于实现图像的同步采集、回放、数据解算分析及系统标定等功能。系统组成如图3所示。

图3 系统组成

2.2 摄像机标定

双目立体视觉测量是由两个相机的相对位置关系换算出被测目标在特定坐标系下的三维坐标，测量之前首先要对两个相机进行标定，计算出两个相机的内、外参数(包括焦距f、视差d、相机中心距Tx及像平面坐标系与立体坐标系中原点的偏移cx和cy)，标定的精度将直接影响最终测量结果的精度。

采用张氏标定法进行摄像机的标定[8-9]，其标定参照物为一棋盘模板，如图4所示。标定程序为：

1)利用摄像机从不同角度拍摄若干张棋盘模板图像，如图4所示；

2)对采集到的图像进行高斯滤波，去除高斯噪声，利用Harris算子提取图像的特征点即角点的坐标数据；

3)将模板图案角点的实际坐标与第2步计算得到的图像坐标作为输入参数，调用OpenCV视觉函数库中的张氏标定算法求出摄像机的内外参数；

4)计算畸变系数并优化标定结果。

图4 棋盘靶标及不同角度的成像

2.3 标记点识别及立体匹配

为了实现目标特征点的识别，提高识别的稳定性和抗干扰能力，对粘贴在头部模型和头盔上的标记点进行了编码，编码采用改进型的扇环编码方式[10]，图案如图5所示，其中心为一黑色圆形定位点，主要用于后续处理时对标志点的定位，围绕定位圆的外环被等分为8个或16个扇环形，黑色标涂表示1，白色标涂表示0，不同序列的组合表示不同的编码点，使测试目标上的多个标记点均具有唯一的编码。这种编码方法可以满足对旋转、缩放、变形的无关性，可以避免编码点成像变形而引起读码错误。

图5 编码标记点

当摄像机采集到测试目标上粘贴的标记点后，通过图像处理软件进行去噪处理后，提取标记点中心圆的边缘轮廓，利用椭圆最小二乘法拟合得到中心圆的圆心坐标，确定标记点在图像中的坐标关系。

标记点解码时，首先将图像二值化，随后扫描编码点的码段信息，将扫描到黑色码段记为1，白色码段记为0，依次扫描一周后，读出整个编码点的全部码值序列，形成一个8bit的二进制序列，其对应的十进制整数即为标记点唯一的编号。

将左右图像中编码值相同的标记点对应起来，利用双目视觉中三维重建公式(3)计算出每个标记点中心圆对应的三维坐标值，完成标记点的立体匹配。

2.4 目标姿态解算

根据标定获得的双目摄像机的内参数焦距f、视差d和相机中心距Tx、像平面坐标系与立体坐标系中原点的偏移cx和cy，根据式(4)可以求得目标标记点的三维坐标。

(4)

由获得的三维坐标以及标记点识别过程中得到的图像中标记点的两维坐标，调用OpenCV中的cvPOIST函数就可以求得某初始时刻头盔上的标记点相对于头模上标记点的旋转矩阵R1和平移矩阵T1，同理可以求得运动状态变化后的头盔相对于头模的旋转矩阵R2和平移矩阵T2。通过建立两者之间的关系就可以就得不同时刻头盔姿态的变化量值。其转换过程为[11]：

假设pi和qi是空间中的一对点集，pi和qi的坐标关系可由旋转矩阵R和位移矢量T表示为：

(6)

旋转矩阵R可由单位四元数表示为：

(7)

其中，列向量q*=[q0qxqyqz]T为单位四元组, 满足条件：

点集P,Q的质心分别表示为p,q

(8)

由此得到点集P,Q的交叉共生矩阵∑：

(9)

设反对称矩阵A=∑-∑T，列矢Δ=[A23A31A12]T，Q为对称矩阵，

(10)

解出Q的最大特征值, 其对应特征向量就是四元组q*。将q*代入式(7)即可求得旋转矩阵R，将R带入(11)求出平移量。

(11)

3 结果及应用

在实际测试应用中，通过一个加装在飞行头盔上的重心调节装置来模拟实际头盔瞄准装置的质量及质量分布情况，飞行头盔、头部模型和测试系统安装在一台大型航空离心机[12]的试验吊舱内，测试过程中通过离心机向头盔施加不同量级的加速度载荷，通过本文研究的测试系统测量头盔与头部模型的运动参数，其中，9 g载荷下的测试结果如图6所示。

图6 9 g过载试验数据曲线图

通过测试数据可以清晰地观察到以下情况：

1)施加加速度过载的初始阶段，头盔相对头模出现线位移和角位移，且变化量较大，属于头模和头盔间的初始佩戴间隙；

2)当过载逐渐增大，头盔相对头模的线位移和角位移变化量很小，基本处于稳定状态，此时头模和头盔间的静摩擦力与过载惯性力平衡；

3)当过载增大到一定的值，头盔相对头模出现大的线位移和角位移，静摩擦力与过载惯性力平衡被破坏；

4)在较大的稳态载荷作用下，头盔相对头模的变化基本处于稳定状态。

结果表明，试验状态的综合显示头盔重心设计方案在动态载荷作用下，头盔和头模产生了较大的线位移和角位移，不能满足飞行工效要求，需要进行改进设计。

4 结束语

本文利用非接触式的测量方法实现了头盔与头模相对运动参数的测量，为综合显示头盔系统的研究设计，尤其是头盔质心位置设计提供了量化的依据。应用表明，其测量精度取决于摄像机内外参数标定的精度和拍摄帧频，因此，试验前的标定过程和摄像机参数的设置非常重要，其中后者应根据测量目标的动态特性选择合适的帧频，保证捕获到目标运动状态快速变化时的细节，同时应兼顾拍摄图像的分辨率和大小能够在后期图像处理时被可靠识别。

[1] 鲁 廷，王亚伟，柳松杨,等．拦阻着舰过程中飞行员头颈部的动力学响应 [J]．医用生物力学，2012，27(6):642-647.

[2] Mott D R， Young T R, Schwer D A．Blast loading on the head under a military helmet: effect of face shield and mandible Protection[A].52ndAerospace Sciences Meeting[C].2014.

[3] Nichols J P.Windbalst assessment of helmet tether restraint for ejection[A].44thAnnual SAFE Symposium[C].2006.

[4] 章毓晋．图像理解与计算机视觉[M] ．北京：清华大学出版社，2000.

[5] 崔彦平，葛杏卫．飞行目标落地姿态视觉测量方法研究 [J]．传感器与微系统，2010，29(7):17-20.

[6] 毕 萍．基于双目视觉的运动目标检测系统[J]．西安邮电学院学报，2012，17(1):71-74.

[7] 宋 晋，马 军，蒋 敏．双目视觉系统在风洞伞摆角测量中的研究与应用 [J]．计算机测量与控制，2012，20(8):2042-2044.

[8] Zhang Z Y. A flexible new technique for camera calibration [J]．IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334．

[9] 林俊义，黄常标，刘 斌,等．双目立体视觉摄像机标定及精度分析[J]．华侨大学学报(自然科学版)，2011，32(4):364-367.

[10] 陈玉萍，苏 博．摄影测量中标记点编码与解码的方法[J]．技术与管理创新，2009，30(4):516-525.

[11] 康喜若，姚东星．基于双目视觉的相对物体的姿态测量[J]．导弹与航天运载技术，2014(1)：45-47.

[12] 沈文波，洪建忠，闵立武,等．航空装备高动态大型离心机研制[J]．测控技术，2015，34(6)：85-88.

Research on Dynamic Load Characteristics Test Technique for Flight Helmet Based on Binocular Vision

Shen Wenbo1,2，Zhou Wu1

(1.AVIC Aerospace Life-support Industries, LTD.,Xiangyang 441003, China; 2.Aviation Key Laboratory of Science and Technology on Life-support Technology, Xiangyang 441003, China)

The paper proposed a measurement method based on binocular vision meanwhile developed a testing system to examine the dynamic performance and ergonomics of helmet mounted display system, which could solve the problem that it is difficult to measure the relative movement between helmet and head quantitatively. Two cameras were standardized to have their internal and external parameters obtained before test. During test process, pre-encoded sign points were extracted by those two cameras, followed by locating and matching with image processing software to provide coordinate value and relative relationship. The function cvPOIST in OpenCV was used to calculate the locations and three-dimensional attitudes of the object. In this way, key parameters, relative three-dimensional displacement, angles and angular velocity, were measured accurately. Results of the test suggested that this non-contact measurement method could restore the relative movement between helmet and head model, it also has the advantages that do not change the quality characteristics as well as not affect the movement status of the test object, making it competitive in applications.

binocular vision;helmet mounted display system;recognition and location;three-dimensional attitude

2015-12-02；

2016-01-05。

沈文波(1973-)，男，湖北襄阳人，高级工程师，硕士，主要从事航空装备试验测试技术研究。

周 武(1968-)，女，四川内江人，高级工程师，硕士，主要电子测量与控制技术研究。

1671-4598(2016)06-0052-04

10.16526/j.cnki.11-4762/tp.2016.06.015

TP206.1；V216.8

A