冰形表面激光光带中心线快速提取方法

康含玉,刘桂华,王 斌,牛 乾

(1.西南科技大学 信息工程学院,四川 绵阳 621000;2.中国空气动力研究与发展中心 设备设计及测试技术研究所,四川 绵阳 621000;3.中国空气动力研究与发展中心 空气动力学国家重点实验室,四川 绵阳 621000)

冰形表面激光光带中心线快速提取方法

康含玉1,*,刘桂华1,王 斌2,3,牛 乾1

(1.西南科技大学 信息工程学院,四川 绵阳 621000;2.中国空气动力研究与发展中心 设备设计及测试技术研究所,四川 绵阳 621000;3.中国空气动力研究与发展中心 空气动力学国家重点实验室,四川 绵阳 621000)

在风洞结冰模型3D冰形测量中，激光三角测量法相对传统测量方法检测速度快、精确度高，具有极高研究价值。然而由于冰体对激光透射严重，影响激光中心线提取精度从而影响测量精度。针对此问题，提出一种冰形表面激光光带中心线快速提取方法。该算法具体实现步骤为：首先，采用基于三维块匹配去噪算法对图像进行降噪，并对图像进行视觉显著性计算，分割出光带区域；其次，求取梯度图并转换至频域空间，根据图像频谱特征求取能量中心区域；最后，对区域采用灰度重心法求取中心线亚像素级位置。采用冰箱冻结的半径已知圆柱冰块评估该算法，测得算法处理时效为28.57FPS，使用该算法的冰形轮廓重建精度达到0.017mm。实验证明算法满足冰形在线测量技术要求，为开展结冰实验中结冰生长过程在线三维检测技术奠定技术基础。

结冰模型；图像处理；显著图；中心线提取；频域变换

0 引 言

飞机结冰是飞行实践中广泛存在的造成飞行事故的诱因之一[1]。为了提高飞行安全，需要探索结冰机理，进行防、除冰工作[2-3]。研究表明,结冰生长过程与液态水含量、水滴平均直径、温度、结冰时间、飞行速度和迎角等参数紧密相关[4]。为探索这些参数对结冰生长过程的影响，需要获取冰形的三维时间解析模型，因此需要进一步开展在线测量冰形的三维形状研究工作。目前国内外学者主要在结冰风洞中进行模拟结冰试验，并测量结冰体的厚度、形状等三维信息。目前广泛使用的冰形测量方法是热刀法，将加热的金属片插入冰块采用描图的方式获取冰的外部轮廓。这种方法属于接触式测量，容易损坏冰形，无法得到精细的测量结果；同时此方法只能在风洞停车状态下测量，一次只能测量某一横截面轮廓，效率极低。为了提高精度和效率，国内外学者做了大量研究工作。NASA首次提出采用激光刀切法进行冰形轮廓测量[5]，大大提高了测量效率。王斌等[6]在此基础上设计了一套结冰生长过程冰形在线测量装置，证实采用线激光进行冰形轮廓测量的可行性。

研究表明激光刀切法冰形测量的精度受系统标定精度和中心线提取精度的影响。国内外学者针对激光刀切法标定精度的改进进行了大量研究[7-8]，摄像机标定中标定点投影误差达到百分之一像素级，激光平面方程通过优化方法能够精确获取[9]。然而激光中心线提取误差仍制约测量精度，这是由于冰体透明度高且表面光滑，加上激光穿透能力较强，线激光投射在冰体表面，多数光线透射冰体，只有小部分光线通过冰体表面进行反射，造成采集图像激光带区域严重扩散，表现在图像上则是一个亮斑区域。

现阶段常用中心线提取算法主要有灰度重心法、骨架提取法、梯度重心法以及基于Hessian矩阵的Steger方法等。骨架提取法属于迭代腐蚀边界的一类算法，该类算法的思想是在图像边界上某点邻域内，通过一定条件判断该点被保留或删除，迭代操作直到获取单像素中心线位置，该算法操作简单，但精度较低[10]；灰度重心法拟合出光带的灰度分布曲线，寻找曲线极大值位置即为光带中心位置[11]，该方法对光照变化极其敏感，准确性较难把握，不适合对精确度要求较高的情况；梯度重心法求取光带区域的梯度，并根据梯度进行加权平均或者求取法线方向，得到极值点作为光带中心位置[12]，该方法相对来说鲁棒性较好，但是运算量大，难以满足实时性要求；基于Hessian矩阵的Steger方法利用Hessian矩阵获得图像中光带各点的法线方向，求出法线方向上的极值点，从而得到光带中心线的亚像素位置[13]。该方法具有高精度以及良好的鲁棒性等优点，得到了广泛应用，但是运算量大，实现较慢，难以满足测量系统的实时性要求。

基于此，本文针对冰体表面的激光中心线提取方法进行研究，提出基于频域变换的中心线提取方法。首先对图像进行预处理，分割出光带区域；其次对光带区域进行频域变换，根据频域特征求取光带能量中心区域，然后对中心区域采用灰度重心法提取得到亚像素级中心线位置。本算法创新性地加入显著图计算来分割出光带区域，减少图像查询以及后续计算的运算量，提高算法的时效性。同时，相比于空域对图像的每个像素进行操作，频域是对图像整体操作，频域信息比空域更为直观，对数据的敏感性更强。

1 激光带横截面能量中心提取模型

激光刀切法冰形三维轮廓测量原理如图1所示，激光器向冰体垂直投射激光产生一条激光条，激光条受到冰形表面轮廓调制，根据标定得到的摄像机投影模型的内外参数以及激光平面方程，即可得到冰形的轮廓信息。

图1 激光刀切法冰形三维轮廓测量原理Fig.1 The principle of 3D contour measurement of ice-cutting

向冰体表面投射激光时，激光器作为一个离散的量化系统，投射的光条具有一定宽度，而所需要的是单像素宽度的激光线，因此需要进行中心线提取。在激光投射非透明物体时得到的光带截面上的能量通常呈现对称的高斯分布。然而冰体表面对线激光透射严重，从图2可以看出大部分激光能量被吸收，摄像机采集图像时，透射光线会照亮激光光条邻近区域，使激光光条与邻近区域亮度差异减弱，导致光条波峰不明晰，光带区域的灰度分布已不是简单的高斯分布，激光中心线难以准确提取。

根据前文分析，本文提出一个针对冰形表面激光带横截面的能量中心区域提取模型：

式中：I(x,y)表示光带能量中心函数，g(i,j)表示光带图像，Ith为判断能量中心的阈值。首先由阈值分割出光带能量中心区域，该区域为多像素宽度，对中心区域采用梯度重心法处理，得到激光中心位置。至此，光带中心线提取问题转化为分割阈值的求取问题。

(a) (b)

图2 冰体表面激光投射效果图以及3D显示
Fig.2Thelaserontotheicemodeland3Ddisplayeffect

2 冰体表面激光光带中心线提取流程

本文针对冰体激光线中心线提取，提出的提取方法流程为：预处理、阈值求取、中心线提取。

2.1图像预处理

获取光带图像后，首先要对图像进行预处理，削弱、剔除无用信息同时增强有效信息，以便后续处理。本文预处理包括图像去噪和光带区域分割。

2.1.1图像去噪

在图像采集时，由于相机光电噪声、镜头受到冰雾污染等原因，采集到的结冰模型图像存在椒盐噪声、高斯噪声等混合噪声。传统的中值滤波、高斯滤波等方法将滑动窗口中灰度值进行处理运算，代替中心点的灰度值，可以使图像更加平滑，但图像信息缺失较为严重。尤其是对冰体激光光条图像，需要根据光条区域的信息进行中心线的提取工作，传统的去噪方法破坏了原始值，影响中心线提取的可靠性。基于BM3D的去噪方法基于块匹配，在有效去除混合噪声的同时，能后较好的保留图像信息[15]。基于此算法采用BM3D进行图像降噪。

BM3D去噪算法分为2大步骤：基础估计和最终估计，算法流程如图3所示。

首先在图像中选择参照块，在参照块邻域内寻找若干与参照块具有高度相关性的块，整合这些与参照块相似的噪声块，形成若干三维矩阵。然后对三维矩阵进行三维酉变换，将小于阈值的变换系数置零，得到真实信号的稀疏表示。随后，通过反变换重构处理后的图像块将位于相同坐标的局部块加权平均，得到基础估计输出图像。对原始噪声图像和基础估计的输出图像执行基础估计块匹配操作，分别得到噪声图像形成的三维矩阵和基础估计结果形成的三维矩阵；采用维纳滤波对噪声图像得到的三维矩阵缩放系数；将位于相同坐标的局部块加权平均，得到去噪后的图像。

去噪效果对比如图4所示， BM3D去噪效果如图4(c)所示，在保留图像纹理和边缘信息的前提下，较好地滤除了噪声，而中值滤波模糊了图像的纹理信息。

2.1.2光带区域分割

在采集到的冰形激光图像中，光带区域只占图像的一部分。为了减少后续运算量，同时在一定程度上消减背景因素的影响，需要分割出光带区域。由于激光在冰体中透射严重，得到的光带图像边界模糊，对比度较低，传统的基于梯度的分割方法梯度边界难以确定，基于阈值的分割方法阈值难以获取。而通过分析冰形光带图像，光带区域和背景区域的颜色、强度等具有明显差异，2区域的显著程度相差较大，根据区域的显著程度可以提取光带部分。因此本文引入视觉显著性估计来分割光带区域。

分割效果如图5所示，视觉显著性增强则准确分割出了光带部分，同时可凸显图像中心线特征区域，抑制对光带中心线提取造成较大影响的冰形边界信息和背景物体信息，为后续的快速中心线提取准备。

图3 BM3D去噪流程Fig.3 Process of BM3D denoising

图4 去噪效果对比Fig.4 Filtering effect

图5 视觉显著性提取结果Fig.5 Visual significance extraction

2.2光带中心区域提取

冰体表面激光图像发散严重、对比度低，根据图像的色彩、灰度信息难以准确获取光带能量中心。本文根据时域能量与频域能量的守恒关系，将图像转换至频域，根据频域特征分割出图像高能量区域，即光带中心区域。为了减弱图像采集过程中外界光线变化对中心线提取的影响，增加对光线变化的鲁棒性，本文首先求取梯度图，对梯度图进行频域变换。基于梯度图的频域信息，得到光带能量中心位置的分割阈值。

2.2.1图像梯度矢量

图像梯度矢量图能够更好地适应图像的变化趋势，反映该点处灰度变化速率和方向信息。图像函数f(x,y)在点(x,y)处的梯度矢量为

梯度矢量包含2个重要的信息：

(1) 梯度方向指向函数f(x,y)变化率最大方向；

(2) 梯度幅值表示为

本文采用如下模板对视觉显著性增强后的图像进行卷积运行，得到光带区域的边界和光带区域的梯度矢量信息：

2.2.2求取阈值

结合(1)式提出的中心线提取模型提取光带能量中心区域，首先需要确定分割阈值。采用傅里叶变化，将梯度图像从空间域转换至频域，根据图像的频谱特征得到能量中心区域的分割阈值。

若输入图像为f(x,y),x∈M,y∈N，图像f(x,y)的离散傅里叶变换F(u,v)为：

对于图像像素点(x,y)，若其X方向卷积图像的傅里叶变换取值为a，Y方向卷积图像的傅里叶变换取值为b，X与Y方向共同卷积图像的傅里叶变换取值为c，构成矩阵：

计算矩阵H的特征值λ1和λ2。得到

选取λ作为提取模型的阈值Ith。

2.3求取光带中心位置

根据得到的阈值Ith对图像进行二次分割，得到光带高能量区域。对该区域采用灰度重心法即得到亚像素级的光条中心线。

设(xm,ym)和(xn,yn)为连通区域2个左右相邻的像素点，两者的灰度值分别为Im和In，这2点之间的中心点坐标(x0,y0)根据灰度重心的方法可以得到

通过上述2式，便可提取出线结构光的亚像素级光条中心线。

3 实验结果

在实验室条件下，验证得到蓝色激光投射至冰体表面，发散较其他颜色激光弱，因此选用蓝色激光进行投射。实验采用分辨率为640×480的彩色工业相机和线宽为650nm的可调蓝色线性激光器，2设备成45°角架设形成简易三维视觉测量系统。硬件测量系统如图6所示。

图6 硬件实验平台Fig.6 ardware experiment platform

在实验室条件下，选用内径为30mm的圆柱型容器在冰柜中冻结得到圆柱形冰块进行测量精度评估。图7(a)是拍摄的激光图像，图7(b)是激光中心线提取结果。

(a) (b)

图7 圆柱体冰块测量图像(a)及激光中心线提取结果(b)
Fig.7Thecapturedlaserlineimage(a)oncylindricalicesurfaceandtheextractedcenter-line(b)oflaserlineimage

本文采用快速离散傅里叶变换库FFTW对算法涉及的频域变换及反变换进行处理。视觉显著性增强后的图像，仅凸显中心线区域，也加速了算法执行效率。为了对比算法效果，采用骨架提取法、梯度重心法、基于Hessian矩阵的Steger方法以及本论文所述方法对投射在冰形的光带数据进行处理。算法耗时对比如表1所示，本文算法相对于其他3个常用算法耗时更短，实验验证处理时效可达28.57FPS，满足在线测量的需求。

为了进一步验证本文所述中心线提取算法的精度，分别基于4种中心线提取算法对冰形轮廓线进行测量，并将测量所得数据进行拟合，与基准值(半径为30mm的圆弧)对比，对比结果如图8所示。

图8 单条激光线重建结果对比Fig.8 Comparison the results of single laser light reconstruction

基于4种中心线提取算法的重建精度在表2中展示。基于本文算法得到的冰形轮廓测量值拟合出的圆柱形冰块半径为29.983mm，圆柱形冰轮廓线重建精度为0.017mm，均方根误差为0.532mm，满足精细的冰形轮廓测量需求。除了基于Hessian矩阵的Staple方法重建精度高于本算法，其他几个算法重建效果都不及本算法。

表1 算法耗时Table 1 Time-consuming

表2 基于不同中心线提取算法的重建精度Table 2 Reconstruction accuracy

为了验证算法是否满足冰形在线测量，对算法耗时进行评估，评估结果如表2所示。可知，本文所用算法耗时35ms，相比其他3种常用中心线提取方法时耗最短。算法整体性能对比如图9所示(越靠近左下角表示算法性能越好)。可得，本算法在激光刀切法冰形测量中，表现出良好性能。

以上分析基于霜冰圆柱，验证得到良好的效果。对明冰和混合冰采用同样的方法进行测量，得到的重建精度分别为1.982和1.523mm，基于其他3种方法的重建精度相对更差。

影响本实验系统对冰形轮廓测量精度，尤其是明冰和混合冰的主要因素有3方面：系统的硬件设备、测量系统标定精度以及冰形光带激光中心线提取精度。在实验室环境下，由于硬件系统的局限性，限制了成像效果。最重要的原因是冰的透射现象严重，尤其是明冰和混合冰具有极高的透明度，得到的图片光带极其发散，即使将图像转换至频域，提取光带的能量中心仍具有一定的困难。因此限制了本算法对于明冰和混合冰的应用。

图9 算法性能对比图Fig.9 Algorithm performance comparison

4 结 论

本文通过BM3D去除图像噪声，通过显著图计算分割光带区域，根据频域信息提取光带能量中心区域，在能量中心区域采用灰度重心法获得中心线位置。与基于灰度或梯度的中心线提取方法相比速度提高了几倍，提取精度也得到较大提高。结果表明：

(1) 采用图像的频谱特性相比空间域特征能够更准确的提取激光能量中心区域。同时采用快速傅里叶变换(FFT)将图像转换为频域，相比在空域针对每个像素点查询计算有效降低了耗时；

(2) 本文加入显著图计算分割出光带区域，减少了图像查询及计算量，提高了算法的时效性。对于冰形表面光带图像对比度低，采用显著图分割相比传统分割方法效果更好；

(3) 该方法为开展结冰试验中结冰生长过程冰形在线三维测量奠定了技术基础。

下一步研究重点为在风洞结冰实验现场存在振动、冰雾等干扰环境下如何提取得到更加精确的中心线位置。

[1]Lynch F T,Khodadoust A.Effects of ice accretions on aircraft aerodynamics[J].Progress in Aerospace Sciences,2001,37(8):669-767.

[2]巫瑞锐.结冰力学特性的理论与实验研究[D].南京:南京航空航天大学,2014.Wu R R.Research on theories and experiments of mechanical properties of impact ice[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2014.

[3]范洁川,于涛.飞机结冰风洞试验模拟研究[J].实验流体力学,2007,21(1):1-7.Fan J C,Yu T.A study of simulation for airplane icing tests in icing wind tunnel[J].Journal of Experiments in Fluid Mechanics,2007,21(1):1-7.

[4]易贤.飞机积冰的数值计算与积冰试验相似准则研究[D].绵阳:中国空气动力研究与发展中心,2007.Yi X.Numerical computation of aircraft icing and study on icing test scaling law[D].Mianyang:China Aerodynamics Research and Development Center,2007.

[5]Gong X L,Bansmer S.3-D ice shape measurements using mid-infrared laser scanning[J].Optics Express,2015,23(4):4908-4926.

[6]王斌,刘桂华,张利萍,等.基于线结构光的冰横截面轮廓测量[J].实验流体力学,2016,30(3):14-20.Wang B,Liu G H,Zhang L P,et al.Ice cross sectional profi- le measurement based on line structured light[J].Journal of Experiments in Fluid Mechanics,2016,30(3):14-20.

[7]Tsai R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]//Proceeding of IEEE Conference on Computer Vision &Pattern Recognition,1986:364-374.

[8]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[9]Zhou F,Zhang G.Complete calibration of a structured light vision sensor through planar target of unknown otientations[J].Image and Vision Computing,2005,23(1):59-67.

[10]Saeed K,Dzki M,Rybnik M,et al.A universal algorithm for image skeletonization and a review of thinning thchniques[J].International Journal of Applied Mathmatics &Computer Science,2010,20(2):317-335.

[11]苏小勤,熊显名.快速线结构光中心线提取算法[J].计算机应用,2016,36(1):238-242.Su X Q,Xiong X M.High-speed method for extracting center of line structured light[J].Journal of Computer Applications,2016,36(1):238-242.

[12]吴家勇.基于梯度重心法的线结构光中心亚像素提取方法[J].中国图像图形学报,2009,14(7):1354-1360.Wu J Y.Method of linear structured light sub-pixel center position extracting[J].Journal of Image and Graphics,2009,14(7):1354-1360.

[13]Steger C.Extracting curvilinear structures:a differential geometric approach[J].Computer Vision-ECCV’96 Lecture Notes in Computer Science,1996,1064:630-641.

[14]Steger C.An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and machine Intelligence,1998,20(2):113-125.

[15]Dabov K,Foi A,Egiazarian K.Image denoising with block-matching and 3D filtering[J].The International Society for Optical Engineering,2006,6064:354-365.

[16]汪成.图像显著区域检测算法研究[D].南京:南京信息工程大学,2016.Wang C.Research of saliency region detection of images[D].Nanjing:Nanjing University of Information Science &Technology,2016.

[17]Itti L,Koch C,Niebur E.A model of saliency based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis &Machine Intelligence,1998,20(11):1254-1259.

康含玉(1990-)，女，河南平顶山人，硕士研究生。研究方向：图像处理、机器视觉。通信地址：四川省绵阳市涪城区西南科技大学东七A座(博雅轩)(621000)。E-mail：360613216@qq.com

(编辑：杨 娟)

Afastmethodofextractingthelaserlightbar’scenterlineintheicemodel

Kang Hanyu1,*,Liu Guihua1,Wang Bin2,3,Niu Qian1

(1.School of Information Engineering,University of Southwest Science and Technology,Mianyang Sichuan 621000,China;2.Facility Design and Instrumentation Institute,China Aerodynamics Research and Development Center,Mianyang Sichuan 621000,China;3.State Key Loboratory of Aerodynamics,China Aerodynamics Research and Development Center,Mianyang Sichuan 621000,China)

The laser centerline extraction is an important step in the measurement of the ice cross sectional profile,and the extraction accuracy directly affects the accuracy of the measurement system.Especially the ice on the structural light transmission is serious,the center line extraction algorithm is put forward a higher requirement.A fast centerline extraction method based on frequency domain transform is proposed to extract the center line in the three-dimensional measurement of ice.First,the image is subjected to noise reduction based on the technique of Block-matching and 3D filtering.Second,in order to reduce the computational complexity,the visual significance of the image is calculated by using the quaternion Fourier transform of phase spectrum,and then extract the optical band’s region.Third,obtain the gradient map and convert to the frequency domain space,according to the image spectrum characteristics,we can obtain the center line position.The experimental results show that the algorithm is 28.57FPS,and the accuracy of ice contour reconstruction is 0.017mm.

icing model;image processing;significant figure;centerline extraction;frequency domain transform

V211.752

A

1672-9897(2017)05-0081-07

10.11729/syltlx20170058

2017-05-10;

2017-07-17

国家自然科学基金(11602292)；四川省科技厅科技支撑项目(2016GZ0183)

*通信作者 E-mail:360613216@qq.com

KangHY,LiuGH,WangB,etal.Afastmethodofextractingthelaserlightbar’scenterlineintheicemodel.JournalofExperimentsinFluidMechanics,2017,31(5):81-87.康含玉,刘桂华,王 斌,等.冰形表面激光光带中心线快速提取方法.实验流体力学,2017,31(5):81-87.