多视域下基于机器视觉的索力测试

2022-02-03刘辉黄欢邵帅

科学技术与工程 2022年33期

刘辉，黄欢，邵帅

(1. 广东省交通运输建设工程质量检测中心，广州 510420； 2. 山区桥梁及隧道工程国家重点实验室，重庆 400074； 3. 重庆航天职业技术学院，重庆 400021)

斜拉桥的斜拉索、悬索桥和大跨度中下承式拱桥的拉索/吊杆，在体系构成中的地位至关重要[1-4]，桥梁拉索健康监测与状态识别在斜拉桥施工控制、全寿命运营、整体性能评估与损伤评估必不可少[5-8]，基于机器视觉[9]、人工智能与大数据分析的拉索状态识别、检测与长期健康监测也成为该领域的研究热点与主攻技术目标[7-13]。现行规范[1-5]及既有相关研究[6-9]较多以接触式传感器在实际运营期间进行测试。

液压法在短期内精度较高，但多在施工期拉索张拉时的索力测试[3]。

压力传感器法一般布置于特定拉索，精度较高，但严重依赖于传感器的稳定性与使用寿命，受技术经济限制，较难全索布置[3]。

电磁法的测试精度受励磁磁场强度、弹性模量、温度、材料等多参数耦合影响，短期测量可靠度及长期监测稳定性较难保证[4]。

振动频率法动态响应好，但极易受拉索垂度、刚度、边界条件等因素影响，且传感器较难安装于振动较大位置，测试精度严重依赖于测试者的经验并受到索长、线密度等参数准确性，限制了其在工程中的应用[5]。

三点弯曲法[6]、振动波形法[8]和静态线形法[9]等有较好理论依据，但实际测量时干扰因素众多，效果较差，亦较少采用。

近年来，单点或多点视觉、毫米波雷达等非接触新方法可简单高效进行索力测试[6-9,12]。基于单目标或多目标的索力视觉测试[6-7]，采用多目标对象匹配算法、靶标质心算法、背景差分算法或不同位置布置多台摄像机等进行对象追踪、坐标系转换、尺寸标定，进而解析计算拉索振动响应用于索力换算，推进了拉索视觉监测的智能化、快速化与规范化，但其本质仍为振动频率法，存在其间接测量的共性问题。毫米波雷达以及三维位移立体视觉等索力非接触式测试[8-9]，采用变换函数(ITF)对无变形图像和有变形图像之间的运动和误差进行校正，进而提高位移响应的分辨率，减少靶标误差对测试精度的影响。

研究发现，目前基于机器视觉测量技术的索力测试主要通过特征/靶标跟踪，将目标靶点的图像时间序列数据解析为拉索的振动特性，进而换算为拉索索力，但缆索承重体系桥梁跨径大、构件多、结构体系复杂[10-12]，如果仅采用传统视觉测量手段及测试方法，在保证测试精度的情况下受视域范围限制只能对结构局部区域进行监测，不能在宏观上对全桥结构进行监测，缺失了结构与构件间的整体性、关联性以及几何连续性；如果仅采用常规单视域监测视场在宏观上对全桥结构进行监测，则对图像传感器像素分辨率及像素尺寸分布要求非常高(需使尽可能多的像素点密集地排布到被测结构表面)。此外，工程实践中，拉索在横向和纵向尺度均较大，难以将靶点布置于动力响应较大的索段中部区域，若采用自然纹理的无靶标，可能存在测试的稳定性问题，且忽略了靶点或自然纹理可能存在的相对位移[12]，当拉索动力响应较弱时，在远距离大视场测试时视觉传感器难以用高测试频率、高测试精度的测试参数测量，存在较大局限性。因此，对于接触式传感器而言存在沿索长方向密集连续布置的问题，非接触光学测量则需以大视场、高分辨率、多激光束、畸变校准后进行远距测试。

针对缆索承重体系桥梁拉索在工程实践中所存在测试精度及稳定性的突出矛盾与关键技术难题，且拉索局部实际空间几何构型存在偏离理论悬链线构型的现象，现提出多视域下基于全息性态特征参数的索力测试新方法，对拉索研索长方向连续测点进行密集全场几何测量进而精确估计拉索空间几何构型与张力。通过精确测算几何线形及上下锚固点三维坐标，解析拉索全息性态特征参数。因测试精度仅与拉索垂度、空间几何构型有关，其对应的受力状态有且仅有唯一解，进而可求解拉索两端张力及无应力索长，相对于频率法的全索名义平均索力，在理论上可以避免索力测量精度受拉索长度、刚度、边界条件等多因素耦合影响，有望改善和拓展复杂测试场景下大型缆索桥梁拉索状态全息测量及可视化识别。

1 计算分析原理

1.1 多视域像素映射及图像增强算法

为解决现有非接触视觉测量测试精度与视域范围相互矛盾无法协调统一的技术难题，提出了多视域像素映射及图像增强算法，其数学模型如图1(a)和图1(b)所示，即在传统常规计算机视觉测量坐标系系统的基础上，扩展了基元图坐标系(O-XY)、多视域序列数据空间坐标系(Ci-XcYcZc)，建立全视域数据基元图坐标系O-XY，其建立方式与图像平面坐标系oi,j-xy相同，且图像平面坐标系oi,j-xy为全视域数据基元图坐标系O-XY的子集，其中，i、j为多视域序列顺序参数，表示多视域相对于全视域的时间、位置关系。全视域可实现较大视场的密集全场测量，而多视域则可根据位置与像素比例对全视域数据进行像素增强。

图1 多视域像素映射及图像增强算法模型Fig.1 Multi-view pixel mapping and image enhancement algorithm model

则有全视域与多视域像素转换关系、位置映射关系，令β1=m/M、β2=n/N分别为视觉传感器在横向和竖向的比例系数，则有

oi,j-xy∈O-XY

(1)

c-xcyczc∈Ci-XcYcZc

(2)

(3)

g1:(x,y)→(X,Y)

(4)

g2:(xc,yc,zc)→(Xc,Yc,Zc)

(5)

(6)

(7)

式中：g1为某视域数据图像平面坐标系到全视域数据基元图坐标系的像素映射位置转换关系；m、M，n、N分别为数据在横向与竖向的像素尺寸；pixel′v、pixel′h、pixelv、pixelh分别为多视域与全视域数据在横向与竖向的像素尺寸；v为竖向，h为横向；g2为多视域序列数据空间坐标系到全视域数据基元图坐标系的像素映射位置转换关系；β为3×3的矩阵；G为2×1的全视域-多视域像素映射位置转换矩阵。式(2)～式(4)为像素转换关系。通过解析在不同坐标系下的相应点坐标(x,y)、(X,Y)、(xc,yc,zc)、(Xc,Yc,Zc)，(Xw,Yw,Zw)，即可实现较大视场以及较高测试精度的视觉测量参数转换。在传统常规计算机视觉测量坐标系的基础上，多视域像素映射及图像增强算法齐次坐标与矩阵形式可表达为

(8)

令αx=f/dx，αy=f/dy；M=M1M2，M为3×4的空间投影转换矩阵；M1为3×4的常规计算机视觉相机内部参数矩阵，仅与所采用的视觉传感器内部结构有关，表示被测物体的空间位置关系以及运动信息从三维相机空间坐标到二维图像平面坐标的透视变换数学关系；内参数矩阵仅由αx、αy、f、γ、u0、v0构成，f分别包含了镜头在横向和竖向的焦距fx、fy，u0、v0分别为光轴射线在横向和竖向的偏移量，γ为镜头斜度系数；M2为4×4的常规计算机视觉相机外部参数矩阵，仅与所采用的视觉传感器相对于世界坐标系的空间位置关系有关，表示被测物体的空间位置关系以及运动信息从三维世界坐标到三维相机坐标的刚性转动和平移变换数学关系，外参数矩阵仅由旋转向量R、平移向量T、0T构成。M1、M2的计算及标定可参考文献[5]。

多视域序列数据空间坐标系是拉索全息性态特征测量坐标系系统的最基本架构，通过其与基元图坐标系间的像素映射，可由局部层面向全局层面建立图像的整体灰度关联信息，突出被测物体的细部构造以及主体成像特征，进而可在大视场下获取拉索空间几何构型用于索力计算。

1.2 复杂测试场景下的拉索空间几何构型

全视域-多视域组合的连续时空序列全息数字图像测试方法[11,15]所获取的结构形态学时空序列数据，有且仅有唯一的投影中心(光轴垂直于承影面)，因而时空序列数据在水平方向及竖直方向均与正射光轴射线存在夹角，导致拉索空间几何构型在不同视域序列数据的成像存在一定程度的透视变换，呈现出“近大远小”的特征。对拉索空间几何构型的解析，主要是针对全息图像数字化模式信息f(x,y)三通道分量以及灰度成分分布的统计特性，进行拉索几何特征与结构性能特征的识别提取，通过立体空间信息转化，实现对不同复杂测试场景下视觉传感器光轴射线与被测物体所在承影面非正交情况下的修正。如图2所示，f(x,y)可以在时间和空间上分别离散为时间间隔t以及由空间上划分为一个正方形的信息区域网格f(i,j) (i,j= 1, 2,…,M×N)。

图2 连续光学信息的离散化Fig.2 Discretization of continuous optical information

则有

f(i,j)∈f(x,y)

(9)

(10)

式中：g1(x,y)、h1(x,y)分别为红色光信息入射强度函数与红光能量矩阵；g2(x,y)、h2(x,y)分别为绿色光信息入射强度函数与绿光能量矩阵；g3(x,y)、h3(x,y)分别为蓝色光信息入射强度函数与蓝光能量矩阵；QL为全视域-多视域测试过程中的像素映射位置转换矩阵，主要提供像素信息与位置关联信息[11]。

为精确解析拉索本征线形曲线[14]，提出拉索空间几何构型在数字空间基准参考平面的构建方法，以在瞬时状态下满足因全息动静影像采集装置巡航旋转或空间位置变化所引起的承影面上拉索空间本征线形曲线参数的成像变化，如图3所示。

O为视觉传感器空间位置(简化光心)；e为不同拉索的数字空间基准参考平面参数；A为视觉传感器在Oe-XeZe平面的投影；B为视觉传感器近视场线与Oe-XeZe平面的交点；C为视觉传感器远视场线与Oe-XeZe平面的交点；D为视觉传感器光轴射线与Oe-XeZe平面的交点；B′为B在成像平面中的像点；C′为C在成像平面中的像点；D′为D在成像平面中的像点；AO为视觉传感器空间位置在Xe方向上距基准参考平面正射光心轴的高度h；AB为Oe-XeZe平面上视觉传感器近视场点至A点的投影距离d0；BD为近视场点至D点的投影距离；BC为拉索空间几何构型在Oe-XeZe平面上的投影距离d；B′C′为成像平面中BC的投影距离(像素尺寸)；OD′为视觉传感器焦距f；α为光心轴在Xe方向上与成像平面近场线的夹角；β为光心轴在Xe方向上的视场角，成像平面近场线、远场线所成夹角；γ为远视场线与重力方向的夹角；δ为近视场线与重力方向的夹角；φ为近视场线与Oe-XeZe平面的夹角；θ为远视场线与Oe-XeZe平面的夹角；μ为光轴射线与Oe-XeZe平面的夹角；ω为光轴射线与Oe-YeZe平面的夹角；nh、nv分别为感光元件在Xe、Ze方向上的像素维度，即像素数量；kh、kv分别为感光元件Xe、Ze方向上的单位像素坐标图3 基准参考平面数学模型Fig.3 Mathematical model of reference plane

以在Oe-XeZe平面Xe方向上(水平方向，即纵桥向)的瞬时状态下拉索空间几何构型恒不变特征计算方法为例，Ze方向上可同理类推，感光元件中各感光元相对于焦距f可忽略不计，可在O点可按视域角β对B′C′进行微分(线段1，线段2，…，线段k，线段n)，则各像素感光元对应的视域角为β/n，定义kh单位像素坐标的对应几何尺寸为dk，则有Xe[式(12)]、Ze[式(13)]方向上单位像素向量的模分别为

(11)

Δ|sfpixel,h|=dk+1-dk

(12)

Δ|sfpixel,v|=dk+1-dk

(13)

拉索真实空间构型Pw,1Pw,2在Oe-XeZe平面的投影Pw,1P′w,2的像素坐标范围为k～k+i，可表示为单位像素感光元向量模在该范围上的积分，如图4所示，其中，w为相对于全视域世界坐标系下的不同拉索真实空间构型的多视域世界坐标参数。

图4 投影像素坐标范围Fig.4 Projection pixel coordinate range

则拉索空间几何构型在基准平面与h、α、β、k、i、n的数学关系可以表示为

(14)

(15)

进一步可建立数字图像坐标系对复杂测试场景下的拉索像素几何微元进行解析量化[15-17]，计算量化分析后的索段高度、索段跨度、索段垂度、索形等参数点集P(像素坐标)，以x轴(y=0)为量化分析的基准轴，对点集P进行空间上的旋转与平移复合变换[式(16)～式(18)]，用于后续机器视觉架构下索力计算，如图5及1.3节所示。

图5 拉索空间几何构型解析量化过程示意图Fig.5 Schematic diagram of analytical quantization process of cable spatial geometry morphology

P={(x,y)|(xn,yn)}

(16)

(17)

(18)

式中：α为T(x,y)与基准轴x轴间的夹角；k1为T(x,y)的斜率；k2为基准轴x轴的斜率；(x′,y′)为复合变换后的拉索参数点集P′上任一点；(xr,yr)为复合变换基准点。

1.3 基于全息性态特征的索力计算方法

拉索抵抗横向变形的能力主要由物理刚度与几何刚度两部分构成：①物理刚度，主要由拉索自身材料属性决定，体现为拉索的抗弯刚度；②几何刚度，主要由外界对拉索施加张力而产生的相应抵抗横向变形的能力。

在实际工程中，绝大部分拉索几何刚度占主导作用，物理刚度常常忽略不计，现行规范规定及相关研究表明[3,6-9]，少数较短索或较粗的吊杆(拉索)其物理(抗弯)刚度不可忽略，主要研究不计物理(抗弯)刚度的柔性索情况。

机器视觉架构下索力计算的基本原理：当拉索受力状态发生变化时，其对应的空间几何构型也相应发生变化，主要表现为拉索张力与垂度呈负相关关系，由于对应的受力状态有且仅有唯一解，通过拉索数字图像数据解析相应参数求解拉索两端张力及无应力索长，即可精确测算空间几何构型以及上下锚固点三维坐标(像素坐标)，进而由拉索几何曲线计算任意位置处的垂度，实现快速、便捷、高效的索力测试。

对于数字图像原始数据QL，根据拉索静力力学模型(图6)，将视觉像素元等效为拉索微元ds，dx、dy分别为微元ds在x、y方向上的投影长度，则可建立拉索微元在水平分力H与竖直分力V的静力平衡关系，其中，T(x)为沿x索长任意截面索力，l为索段跨度，h为索段高度，β、β0为拉索切线与水平方向的夹角，q为拉索单位长度质量，mg为拉索微元自重，则拉索微元的静力平衡方程为

图6 拉索静力力学模型Fig.6 Static mechanics model of cable

(T+dT)cos(β+dβ)-Tcosβ=0

(19)

(T+dT)sin(β+dβ)-Tsinβ-qdx=0

(20)

基于小变形假设以及模型几何关系，则拉索静力平衡的控制微分方程为

(21)

由拉索边界条件求解静力曲线方程为

(22)

则有拉索沿跨度方向张力T(·)关于垂度d(·)的函数关系表达式，即机器视觉架构下索力计算式为

(23)

根据式(16)拉索空间几何构型本征参数点集P(xn,yn)按式(24)非线性回归模型求解式(23)中的未知水平分力H可得

y=f(x,H)+ε

(24)

式(24)中：ε为非线性回归模型的误差。则以初测H(0)代入式(24)中按泰勒级数展开可得

[H-H(0)]

(25)

则在初测H(0)下，P(xn,yn)相对于标准悬链线的残差平方和S[H(0)]为

(26)

水平分力H的最优估计值在S[H(0)]取最小值时可以求解得到，因而可对式求导并令其为0，则有

(27)

将式(27)中H(1)作为初测H(0)值迭代至收敛，即可求得实际状态下的水平分力H。此时，拉索沿跨度方向任意位置处的垂度d(x)、索段跨度l、索段高度h、索段位置参数x均可由数字图像原始数据QL测得，由标定空间转化因子量化分析计算得到[15-17]，代入索力计算式(23)中即可求得任意截面索力T(x)，以及该索段的最大索力Tmax、最小索力Tmin和平均索力TA。

在解析了拉索空间几何构型参数、索力计算方法以及索力测试基本原理、计算流程的基础上，设计开发了机器视觉辅助斜拉桥索力测试计算分析算法流程及程序软件，程序主要算法逻辑流程图如图7所示。

图7 主要算法逻辑流程图Fig.7 Main algorithm logic flow chart

步骤1根据将视觉像素元等效为拉索几何微元的数字图像原始数据QL，作为程序输入数据流。

步骤2对于输入数据流，计算分析灰度组分直方图与等高线云图，确定不同灰度组分闭环分割阈值，对被测结构物主体以及背景环境进行分割，对模糊边缘数据进行增强，获取拉索空间几何构型。

步骤3选定坐标系基准参考原点建立像素坐标系，标定空间转化因子，量化分析由离散化为像素微元所构成的拉索空间几何构型，确定索力计算参数。

步骤4将索力计算参数代入式(23)中，求解当前状态下的索力值。

步骤5重复步骤1～步骤4，进行多次测量，将单次试验的测量值与平均值的偏差控制在±3%内。

2 索力测试试验

2.1 室内模型索试验

工程实践中拉索材料及形式主要有平行钢丝、平行钢缆、单根钢缆、钢丝绳、钢绞线等，为使试验验证更具参考和现实意义，采用直径6 mm规格为7×19的不锈钢钢丝绳作为钢绞线缩尺试验模型索，试验参数如表1所示。

表1 Φ6 mm 7×19模型索技术参数Table 1 Model cable technical parameters of Φ6 mm 7×19

为使不同千斤顶张拉力作用下模型索空间几何构型明显且易于测量，将Φ6 mm 7×19规格钢丝绳模型索按水平向布置，传感器布置及测试示意图如图8所示。

图8 传感器布置及测试示意图Fig.8 Schematic diagram of sensor layout and test

试验工况设置如表2所示，受随机数据处理(取样、记录、分析)以及大气扰动、光照的影响，索力计算参数(像素坐标、索段跨度、索段垂度、分辨率)应采用多次试验结果的平均值，并将单次试验的测量值与平均值的偏差控制在一定范围内。

表2 试验工况及测试内容Table 2 Test conditions and test contents

为保证多次试验的稳定性，试验用拉索均由同一厂家生产，材质、规格、型号及生产工艺均相同。弹性模量、每延米质量均在试验室按标准化测试进行多次试验，选择基本稳定的弹性模量值、每延米质量值实际测定。

2.2 现场斜拉索试验

为验证复杂测试场景下的拉索空间几何构型算法性能，以重庆东水门长江大桥为试验对象，开展现场斜拉索空间几何构型测试试验，如图9所示，其中，YZ-1～YZ-9、NZ-1～NZ-9分别为斜拉索渝中、南岸测中跨短索与长索编号。

图9 现场斜拉索测试试验Fig.9 Stay cable field test

值得特别说明的是，现场测试拉索试验中，根据视觉传感器以及被测结构的运动特性，测量任务通常分别为纵桥向、横桥向以及竖向，但本例为单索面，可忽略横桥向。因此，结合1.2节的修正计算方法，按文献[5]以及文献[16]的尺度因子法[式(28)]进行简化标定，亦可采用单应性矩阵简化标定[5]，测试及标定结果详见表3像素分辨率。通常，在远距离大视场的测试场景下，采用较大的焦距可以获得较高的测试精度，公式为

表3 索力计算参数Table 3 Cable force calculation parameters

(28)

式(28)中：s为像素分辨率，即尺度因子；dpixel为结构物在图像平面的对应像素尺寸；f为镜头焦距；Z为测试距离，由现场激光测距仪进行测量；α为光轴与结构平面法线夹角，角度越大标定误差越大，因此需结合1.2节中的方法进行计算修正。

2.3 试验数据采集

使用全息视觉传感器系统[11,15-17]采集拉索数字图像试验数据(图10)，主要由Canon 5Dsr相机与Sony AX700高分辨率摄像机组成。Canon 5Dsr相机的最大分辨率为8 688×5 792像素(约5 030万有效像素)，最大帧率为5 帧/s(最大采样频率为5 Hz)；Sony AX700高分辨率摄像机的最大分辨率为5 024×2 824像素(约1 420万像素，4K动态范围)，最大帧率为1 000 帧/s(最大采样频率1 000 Hz，超慢速运动拍摄模式)。

图10 全息视觉传感器系统Fig.10 Holographic visual sensor system

试验过程中，视觉传感器画幅以保证被测拉索目标主体位于整个视场，且尽可能兼顾像素分辨率，分别采集模型试验索在不同试验工况下的数字图像原始数据，即：QL=Qi,j={Q1、Q2、Q3、Q4、Q5}，其中，QL=Qi,j为视域位置j在测试条件i下的数字图像原始数据，由Q1、Q2、Q3、Q4、Q5共同构成。Q1、Q2、Q3、Q4分别为序列数据时间标签、空间标签、角度标签、环境标签信息矩阵，为视觉传感器在当前视域测量的原始数字图像信息矩阵。

3 试验结果及分析

对于2.1节中室内模型索试验测试原始数据，拉索像素几何微元可按图5、图7的解析过程进行量化分析，计算量化分析后的拉索空间几何构型本征参数点集P(像素坐标)，如图11所示，可以发现，拉索所对应的灰度级组分被保留，而无关背景成分所对应的灰度级组分被筛除，效果较好，进而实现了对拉索空间几何构型的有效提取。

图11 空间几何构型Fig.11 Spatial geometry morphology

在此基础上，单帧信号所构成的多帧信号原始数据序列，可进一步解算[16]其在当前采样时段拉索各阶振型驻点及驻点像素坐标，如图12所示，其中，1stmode (f1=6.9 Hz)、2ndmode (f2=14.1 Hz)、3rdmode (f3=20.9 Hz)分别为1阶、2阶、3阶模态。

图12 振型驻点解算及驻点像素坐标Fig.12 Vibration mode stagnation point calculation and stagnation point pixel coordinates

对于2.2节中现场斜拉索试验测试数据，结果如图13所示。在量化分析了空间几何构型的基础上，进一步解析确定可用于式(23)索力计算的测试参数，各试验工况索力计算参数与索力计算结果如表3、表4所示。

表4 索力计算结果Table 4 Cable force calculation results

图13 空间几何构型Fig.13 Spatial geometry morphology

试验结果表明：室内模型索与现场斜拉索2类3组30次索力测试计算结果均不存在明显差异，索力计算结果趋势相同且稳定，拉索空间几何构型误差在斜拉索锚固端较大，柔性长索误差较小而刚性短索误差较大，致使在索力状态识别过程中出现较大偏差(最大相对误差为9.2%，均方根误差为2.79%)。通过多次测量对异常值进行了剔除并取平均值，柔性长索索力状态识别最大误差为2.98%，均方根误差为1.05%；刚性短索索力状态识别最大误差4.37%，均方根误差为2.79%，全桥索力误差动态波动范围(-2.72%，4.37%)，验证了机器视觉辅助斜拉桥索力测试方法的有效性与稳定性，满足工程实践测试精度及稳定性要求。相较于现有索力测试方法，受限于传感器数量限制以及布置方式，空间几何构型的测算较为复杂，技术经济性不佳，较难得到准确的全场密集拉索空间几何构型与各阶模态信息，易出现较大的误差，且不能简单通过增加传感器数量减小布置间距来提高精度，因为在实际工程中的检测/监测过程中，布置传感器是不便捷甚至是不现实的。复杂场景下机器视觉辅助斜拉桥索力测试方法实现了对量大面广的斜拉索群索力状态的粗略判断，其低成本、高测试频率的长期监测数据可作为更为细致精准的接触式与爬索机器人检测的科学依据。