基于计算机视觉的三维重建技术在燃气轮机行业的应用及展望

孔祥玲，付经伦,2,3,4,5

基于计算机视觉的三维重建技术在燃气轮机行业的应用及展望

孔祥玲1，付经伦1,2,3,4,5

（1．中国科学院工程热物理研究所南京未来能源系统研究院，江苏省 南京市 210000；2．中国科学院工程热物理研究所先进燃气轮机实验室，北京市 海淀区 100190；3．中国科学院大学，北京市 海淀区 100049；4．中国科学院先进能源动力重点实验室，北京市 海淀区 100190；5．中国科学院轻型动力创新研究院，北京市 海淀区 100190)

燃气轮机的整机性能及运行安全与其各部件的性能和工作状态密切相关，部件性能优劣和健康状态直接反映在表面的形貌上。因此，根据部件的形貌特征对其性能及健康状态进行判读，是评估燃机设计和健康状态的最为高效的方法，而三维重建技术是实现这一方法的关键技术。首先围绕基于计算机视觉的三维重建，系统地阐述了基于单目视觉、基于双目视觉及基于深度学习的三维重建技术及其发展现状；之后讨论了三维重建技术在燃气轮机行业的发展现状及可能的发展方向；最后，以燃气轮机透平叶片为对象，比较了基于阴影信息及多视图学习网络的三维重建效果并讨论了其各自的优缺点。

燃气轮机；计算机视觉；三维重建；燃机设计；健康诊断

0 引言

视觉是人类认识世界和理解周围环境信息的最主要的感知手段之一，从电子计算机诞生后，人们就致力于将识别和理解人类世界的能力赋予计算机，并称这种能力为计算机视觉。计算机视觉处理包含重建和识别两大步骤：重建是指计算机对被测物体外形、位置和姿态信息的获取与表示；识别是指计算机对图像进行特征分析，并将图像的特征信息转换成计算机能够理解和处理的形式的过程。其中，三维重建是计算机视觉处理的前提和基础。

燃气轮机作为天然气、煤气化产品、氢能源利用中的关键动力设备，广泛应用于国防动力、能源电力、管道压缩等领域，是关系国家安全和国民经济发展的核心装置，也是衡量一个国家科技和工业整体实力的重要标志之一。燃气轮机的整机性能及运行安全与其各部件的性能和工作状态密切相关。燃气轮机的部件大多具有复杂的结构，且长期工作在高温、高压的环境下[1]，这种恶劣的工作环境容易导致部件形貌发生改变。精确的三维重建可以验证部件设计的有效性和可靠性，也可以为采集测量部件表面温度和压力场提供有效的解决途径。本文对基于计算机视觉的三维重建技术的研究进行了梳理，并探讨其在燃气轮机行业中应用现状及其可能的发展方向。

1 基于计算机视觉的三维重建技术

1.1 三维重建原理

计算机视觉图像处理中的三维重建是指从单张或多张二维图像中捕捉图像中物体形貌特征，以获取物体空间几何、纹理等信息的过程，其准确程度可通过衡量重建模型的几何信息与被测物体的几何信息的差值得到：

1.2 基于单目视觉的三维重建

基于单目视觉的三维重建即采用单相机获取一张或多张目标图像，通过数值计算和几何推演等方式恢复物体的空间形貌。按照有无外部触发光源可将基于单目视觉的三维重建技术分为主动光照法和被动法2类。主动光照法采用外部触发光源，根据被测物体表面的光照分布，估算被测物体表面形貌结构等空间信息；被动法是在没有外部触发光源的条件下，通过相机记录被测物体的灰度图像，通过几何光学计算获取物体的表面高度信息，从而恢复被测物体在空间的表面形状特征。

1.2.1 主动光照法

1）基于结构光信息的三维重建。

基于结构光信息的三维重建属于典型的主动光照法，它以某种形式的结构光投射到物体表面，通过记录和分析光带的调制情况估算物体的三维形状信息。

结构光成像原理如图1所示，结构光发生器将条纹投影到被测物体上，由于物体表面曲面的高度变化，透射光条纹在物体表面发生调制，相机记录下调制后的条纹图像，通过分析计算得到物体表面高度信息。

图1 结构光成像原理

常用的结构光计算算法有莫尔等高线法[2]、相位法[3]和傅里叶变换法[4]。莫尔等高线法采用2组规律的光栅叠合成水波纹后投射到物体表面，一组光栅为主光栅，另一组为基准光栅，通过基准光栅测量主光栅在物体表面的改变来获得物体的曲面形状[5-6]。相位法采用正弦光栅和相移技术，通过采集一组或多组具有相位差的调制图像，根据相机、结构光发生器和目标物体之间的三角位置关系，计算被测物体的三维形状信息[7]。傅里叶变换法采用罗奇光栅或正弦光栅产生结构光光场，通过傅里叶变换将光场数据转换至频域，使用滤波器将高频和低频波分离，再经过傅里叶反变换提取出被测物体表面高度信息[8-9]。

表1比较了莫尔等高线法、相位法和傅里叶变换法这3种算法的优缺点。由于合成大面积莫尔条纹较困难，因此莫尔等高线法只适用于小尺寸部件的精密测量。相位法和傅里叶变换法对物体表面高度变化感应灵敏、测量速度快，适合大尺寸部件测量，但是由于条纹中产生的高频噪声和图像中的散斑影响，容易产生测量误差，影响测量的准确度，需要设计补偿算法以保证其测量 精度。

表1 基于结构光信息的三维重建算法比较

2）基于激光三角测量法的三维重建。

激光三角测量法结合使用了2D相机和激 光光源。测量原理如图2所示，激光将点或线投射到相机前的场景上，由2D相机记录当前激光位置，那么被测物体表面高度可由如下几何推导得到：

式中：L和L¢分别为镜头到CCD芯片和被测对象的距离；a为激光射线与被测对象表面到CCD芯片连线的夹角；X和X¢分别为被测物体表面实际的高度及其在CCD芯片上呈现的距离差。

基于激光三角测量法的三维重建，其测量精度非常高，且对照明条件要求低，非常适合具有镜面反射或高反光难处理表面物体的测量。目前该测量方法已经广泛应用于玻璃瓶分拣及对测量精度有较高要求的金属片测量等应用中。然而，该方法需要对目标进行激光扫描，导致其测量速度较慢。另外，高精度的测量要求需要采用非常昂贵的单个组件，且设置复杂、安装及系统成本高昂。除此之外，采用激光三角测量法进行三维重建需要一定的安全防护措施，以保证使用者眼睛的安全。

1.2.2 被动法

1）基于明暗信息的三维重建。

SFS算法可被归纳为4类：最小化法、迭代法、局部分析法及线性化法[12]。最小化法由Horn最先提出来，通过最小化重建图像与灰度图像之间亮度的差值建立约束方程，从而求解SFS问题的解[13]。迭代法[14]是以图像中的一组已知点为初始条件，采用优化控制算法，依据图像的亮度寻找图像特征线，通过对特征线进行积分运算获取物体的曲面信息。然而，迭代法的敛散性易受初始条件影响，初始值选取不准确会导致寻优过程发散，因此不适用于图像成像模糊或有阴影和遮挡的情况。局部分析法[15]将图像物体的三维重建问题分解为若干个局部重建问题。通过求解物体局部形状的偏微分方程获取每个局部区域的三维形状，最后通过区域合成算法实现图像物体的完整三维复现。局部分析法不用迭代，因此计算消耗时间最少，但是算法假设物体具有球形表面，限制了其应用范围[16-17]，因而具有一定的局限性。线性化法[18]通过假设由其级数展开式中的低阶项主导，将求解的非线性问题转化为线性求解问题[19]。由于线性化法忽略了中的非线性项，容易引发频率灾难，从而使得所恢复的三维形状不连续[20]。

目前，基于明暗信息的三维重建算法虽已广泛应用于三维地形分析[21]、物体形状恢复及缺陷检测[22-23]和人脸识别与重建[24-25]中。但由于SFS算法对物体表面光滑程度和反射特性有严格的要求，且灰度信息自身也存在凹凸二义性问题及噪声扰动等问题，使其无法用于精密部件的高精度三维建模中。未来，提高SFS算法的鲁棒性和抗干扰能力将是其重要研究方向之一。

2）基于光度立体视觉的三维重建。

基于光度立体(photometric stereo，PMS)视觉的三维重建技术[26-28]也被称为经典PMS。与基于明暗信息的三维重建算法不同，该算法假设光照在物体表面有均等的反射强度，通过对物体投射不同方向的光照，获取3～6张图像及光照参数，如翘脚和方位角(如图3所示)，图像像素点(,)处的灰度值(,)由式(5)表示：

为曲面在点(,)处的单位法向量，可定义为

式中：和分别为曲面在点(,)上的沿轴和轴方向的偏导数，可定义为

基于光度立体视觉的三维重建，通过求解公式(5)获取被测物体表面的法向矢量，以确定物体表面形状。经典PMS[29]对环境光要求高，不仅需要光照均匀的远距离点光源，而且需准确记录光源的照射角度，这在实验时很难满足。其原理如图3所示。

图3 基于光度立体技术的三维重建原理示意图

为了增加光度立体技术在三维重建应用中的灵活性，Hayakawa[30]提出了基于未校准光度立体技术的三维重建算法(即未校准的PMS)。该方法通过变换光照角度获取多张被测物体照片，采用奇异值分解 (singular value decomposition，SVD)算法[31]获取方程组的解。与经典PMS相比，未校准的PMS不需要记录光源参数，但是在SVD求解时会出现解不唯一的情况。为了解决PMS算法模糊解的问题，Woodham[32]将物体表面梯度与曲率引入到经典PMS方法中，通过选取与待测物体表面特征相似的参照物，对比两物体在相同光照情况下表面反射情况[33]，估计物体表面的法矢量[34]。

1.3 基于双目立体视觉的三维重建

双目立体视觉模拟了人眼捕捉和观察事物的过程，通过判断被测物理轮廓、层次、位置信息构建物体的三维形状。基本原理如图4所示，左相机和右相机为2台参数完全相同的相机，经过调试使得两相机的光轴相互平行，两相机方向的距离记作，假设平面上有一点(,,)，点在左相机的视角下投影于(left,left)，在右相机的视角下投影于(right,right)。根据三角测量原理，可得到如下关系[35]：

点P在三维空间内的坐标为

定义视差=left-right，由此，基于双目立体视觉的三维重建问题就转化为确定像素点或特征点的空间位置问题。

基于双目立体视觉的三维重建处理流程如图5所示，相机标定和立体匹配是其中的关键。相机标定要求找到2个视点的极线几何，建立成像模型，从而构建起世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的对应关系。张正友相机标定法[36]因操作简单，是目前应用最为广泛的相机标定方法。该标定方法将棋盘格作为世界坐标系，由于棋盘格中每一个格子的大小已知，世界坐标系中点(W,W,W)T与像素坐标系(,)T的对应关系可推导为

式中：s为尺度因子；A为相机的内参矩阵，包含了相机的焦点、焦距等信息；和t为相机的外参矩阵，表征了相机的姿态。通过求解公式(11) 可获取相机的内参矩阵和外参矩阵系数，从而实现图像中物体与物理世界中物体的准确对应。

双目立体匹配的目的是计算2个视点图像像素的匹配关系。实现双目立体匹配的首要步骤是提取图像中的有用信息，即匹配基元。一般来说，匹配基元包括特征点、特征块和特征线。图像中的特征点是指图像中像素点的灰度、角点等信息；特征块是指图像中特征区域，如灰度块或区域像素点的统计特征；特征线是被测物体表面的连续曲线或图像物体轮廓信息。

立体匹配算法是立体匹配的核心，分为基于特征的匹配算法和基于区域的匹配算法2种。基于特征的匹配算法是通过图像中匹配基元，得到左、右视图的初始视差值，采用迭代优化算法从2个图像的特征向量中寻找最优的视差值以完成匹配[37]。基于区域的匹配方法通过设定扫描窗口，以窗口中提取到的灰度、颜色、边缘形态等特征向量为基准，通过选取合适的相似度匹配函数完成像素匹配。常用的匹配函数包括绝对差值和(summation of absolute differences，SAD)[38]、差值平方和(summation of squared differences，SSD)[39]、归一化相关函数(normalized cross- correlation，NCC)[40]等。

基于特征匹配的三维重建算法由于不依赖图像像素的灰度值，鲁棒性较好，且计算速度快。但是由于图像中的特征向量分布不连续，导致重建物体的表面不光滑，重建精度较低。而基于区域的匹配方法匹配精度受区域大小选择的影响，选择小尺寸的像素扫描区域，其匹配速度高，但由于包含的特征信息少，容易受到图像噪声影响，从而产生误匹配；选择大尺寸的像素扫描区域，运算量较大，从而对三维重建的效率影响较大。因此，如何在保证三维重建精度的前提下，兼顾算法的鲁棒性和计算效率是未来一个非常重要的研究方向。

1.4 基于深度学习的三维重建

深度学习[是一种模式分析与识别方法，通过提取样本数据的特征和规律，获取并理解数据信息。目前针对深度学习技术的研究主要是围绕目标识别与分类问题展开的，典型的深度学习网络结构包括AlexNet[41]、VGG-16[42]、GoogleNet[43]和ResNet[44]等。而采用深度学习技术解决三维重建问题还处在摸索阶段。

点云表示是三维模型的表示方法之一，通过对点云的分布进行运算和优化可以很好地描绘图像中物体表面的结构。Fan等[45]提出了PointOutNet网络结构，在没有人为干预的情况下，从输入的图像中直接生成了其点云表示，如图6(a)所示，PointOutNet网络包括编码和预测2个阶段。在编码阶段，采用深度卷积神经网络对图像中物体进行提取；在预测阶段，采用全连接网络生成图像中点在空间中的坐标分布。PointOutNet网络在编码阶段引入扰动模型，提高了图像编码的鲁棒性。图6(b)中的实验结果也表明，经过处理后，PointOutNet网络能够捕捉物体的轮廓信息。

图6 PointOutNet网络结构及其应用

体素是三维图像的基本单位，同点云表示一样，是三维模型的一种表示方法。Choy等人[46]基于体素，提取了3D-R2N2网络结构以实现基于图像的三维重建，如图7所示，3D-R2N2网络是表示长短时间记忆(long short term memory，LSTM)网络的延伸，通过控制LSTM网络的输入门和遗忘门，有选择地动态更新3D-R2N2网络的隐含层，并将其运算结果以体素的方式表示出来。

网格是三维模型的一种多边形表示法，它由顶点、边和表面法向量组成。基于网格表示的ResMeshNet是由Pan等人[47]在2018年提出的。

图7 3D-R2N2网络结构

如图8所示，ResMeshNet是由多层感知机组成的，由初始模块获取形状信息，经过多个执行模块运算提取出每个形状的顶点坐标，从而构建每个形状模块的网格表示，通过网格表示融合，估算出图片中物体的表面信息。

将深度学习算法运用到三维重建领域，最大优势是在提取图像特征时，可以最大化地减少人为参与程度，从而使提取出的特征信息更加适合计算机的运算与理解。但是由于尚缺乏适当的表面合成技术，现有的精度无法满足精密部件要求。

2 三维重建技术在燃气轮机行业的应用现状

三维重建技术在图像采集的方式上，经历了从单目相机采集到双目相机采集的过程‎；在算法处理上，有基于阴影信息、特征信息和深度学习网络的三维重建方法。作为无接触测量手段的基础，三维重建技术在燃气轮机领域的应用主要集中在燃烧室火焰的建模与分析及透平叶片的重建与维修2个领域。

图8 ResMeshNet网络结构及其应用

在燃烧室火焰的建模与分析领域，Ruan等[48]采用相位测量法根据火焰瞬态图像建立了湍流火焰的三维模型，为进一步分析湍流火焰在密闭燃烧室中的动力学性能奠定了基础。Wang等[49]通过建立点火器点火后烟雾的三维模型，研究了金属粉末的喷射速度与输入电压之间的关系。Huang等[50]通过建立2个独立的卷积神经网络对湍流火焰进行了三维重建并开展了基于图像的火焰诊断方法的研究。

在透平叶片的重建与维修领域，三维模型的重建主要依靠几何构建、激光扫描、工业CT扫描和X–光射线等扫描方式实现，而基于视觉识别的三维建模技术还没有得到广泛的研究和应用。

3 三维重建技术在燃气轮机行业的应用展望

燃机轮机具有部件多、设计流程繁复、生产周期长、成本高的特点。燃机部件大多具有复杂的结构，且需要长期工作在高温、高压的环境下，导致部件形状变形和结构破损。计算机视觉可以实现燃机部件形貌的快速检测，从而应用在部件检测、试验测量和性能评估方面。

1）燃气轮机复杂结构部件高精度尺寸检测。燃气轮机部件结构复杂且特征尺寸差异较大。以重型燃气轮机透平叶片为例，叶片高度一般不小于200mm，叶片表面气膜孔孔径约0.5mm。基于计算机视觉实现叶片的检测如果能同时准确捕捉到0.5～200mm的结构特征，且三维建模精度高于加工精度，将能实现燃机叶片的快速检测。

2）燃气轮机复杂结构部件表面温度及压力测量。燃机轮机热端部件在高温高压环境下的温度场及压力场测量是试验中的难点。通过计算机视觉，准确捕捉、构建部件表面颜色及纹理等形貌特征，建立其与温度、压力的关联，实现热端部件表面温度和压力分布的可视化测量。

3）燃气轮机部件性能评估及维护。采用计算机视觉构建部件的三维重建模型，调用CFD、FAE等模块及专用设计分析软件进行计算分析，可实现部件性能分析。提取三维重建模型关键参数特征和分析结果，建立相应的数据库，融合深度学习及专家系统，实现部件的快速评估，用于运行维护。

三维重建技术是计算机视觉在燃机行业应用的重要一环。图9、10给出了采用不同方法得到的透平叶片三维重建结果。图9(b)—(d)是基于 图9(a)中叶片明暗信息采用最小化法、Pentland法及Shah线性化法得到的叶片表面结构。基于图像明暗信息进行重建时，提出了大量假设，当假设条件不成立时，会导致重建失真，如图9(c)和(d)所示。另外，精确建模依赖完备的边界条件和约束条件，当条件不完备时同样会导致重建失败，如图9(b)所示。

图10为采用Mvsnet深度学习网络架构构建的叶片深度信息图。与基于明暗信息的三维重建结果相比，基于深度学习网络的三维重建方法可以更好地捕捉被测物体的形状，但是对于细节的提取还不够完善，重建精度还有待提高。

因此，实现计算机视觉在燃机中的应用，需要进一步提高三维重建的精度。具体途径为： 1）考虑在构建三维重建算法时采用被测物体的结构特征及几何约束引导深度网络的训练，减少深度网络训练对图像的需求量，提高深度网络训练的精度；2）结合现有图像处理算法，对图像中的细节特征进行提取，探索传统图像处理算法与三维重建算法的结合方法，增强三维重建算法对细节的精确描述能力。

图9 基于明暗信息的三维重建法举例

图10 基于Mvsnet深度网络的深度重建

4 结论

系统阐述了基于明暗信息、结构光、单目视觉、双目立体视觉及深度学习的三维重建方法，总结了目前三维重建技术在燃气轮机行业的应用现状。目前，三维重建技术的研究主要集中在提高深度图测量精度与点云表示的准确度上，在如何利用4种不同的图像数据形式帮助计算机识别图像物体、理解场景特征的研究并不多。另外，三维重建技术在燃气轮机设计、试验、诊断上的应用还处于萌芽阶段，未来有很大的应用空间。

[1] 方继辉，王荣．重型F级燃气轮机IGV开度对压气机效率的影响[J]．发电技术，2020，41(3)：317-319．

FANG J H，WANG R．Influence of IGV opening degree on the compressor efficiency of MITSUBISHI F4 gas turbine[J]．Power Generation Technology，2020，41(3)：317-319．

[2] BUTIME J，GUTIERREZ I，CORZO L G，et al．3D reconstruction methods，a survey[C]//Proceedings of the First International Conference on Computer Vision Theory and Applications，2015：457-463．

[3] CHEN X，LU C，MA M，et al．Color-coding and phase-shift method for absolute phase measurement [J]．Optics Communications，2013，298/299：54-58．

[4] TAKEDA M，MUTOH K．Fourier transform profilometry for the automatic measurement of 3-D object shapes[J]．Applied Optics，1983，22(24)：3977-3982．

[5] FARAJIKHAH S，MADANIPOUR K，SAHARKHIZ S，et al．Shadow moiré aided 3-D reconstruction of fabric drape[J]．Fibers and Polymers，2012，13(7)：928-935．

[6] IDESAWA M，YATAGAI T，SOMA T．Scanning moiré method and automatic measurement of 3D shapes [J]．Applied Optics，1977，16(8)：2152-2162．

[7] SRINIVASAN V，LIU H C，HALIOUA M．Automated phase-measuring profilometry of 3-D diffuse objects[J]．Applied Optics，1984，23(18)：3105-3108．

[8] TAVARES P J，VAZ M A．Linear calibration procedure for the phase-to-height relationship in phase measurement profilometry[J]．Optics Communications，2007，274(2)：307-314．

[9] 沈洋，陈文静．抽样对复合傅里叶变换轮廓术的影响[J]．激光技术，2008，32(1)：80-83．

SHEN Y，CHEN E J．Influence of sampling on composite Fourier-transform propfilometry[J]．Laser Technology，2008，32(1)：80-83．

[10] HORN B．Shape from shading：a method for obtaining the shape of a smooth opaque object from one view[D]．Cambridge：Massachusetts Institute of Technology，1970．

[11] HORN B．Obtaining shape from shading information [M]．New York：McGraw-Hill，1989：123-171．

[12] 王学梅．不同成像条件的从明暗恢复形状算法研究[D]．长沙：国防科学技术大学，2009．

WANG X M．Research on shape recovery algorithm from light and shade under different imaging conditions[D]．Changsha：National University of Defense Technology，2009．

[13] BROOKS M J，HORN B．Shape and source from shading[R]．Cambridge：Massachusetts Institute of Technology，1985．

[14] PARAGIOS N，CHEN Y，FAUGERAS O．Handbook of mathematical models in computer vision [M]．New Nork，Springer，2006：108-112．

[15] 孙玉娟．基于光学图像的三维重建理论与技术[M]．北京：清华大学出版社，2017：125-126．

SUN Y J．Theory and technology of 3D reconstruction based on optical image[M]．Beijing：Tsinghua University Press，2017：125-126．

[16] ROUY E，TOURIN A．A viscosity solutions approach to shape-from-shading[J]．SIAM Journal on Numerical Analysis，1992：867-884．

[17] KIMMEL R，BRUCKSTEIN A M．Tracking level sets by level sets：a method for solving the shape from shading problem[J]．Computer Vision and Image Understanding，1995，62(1)：47-58．

[18] ZHANG R，TSAI P S，CRYER J E，et al．Shape from shading：a survey[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(8)：690-706．

[19] PENTLAND A．Shape information from shading：a theory about human perception[J]．Spat Vis，1989，4(2/3)：165-182．

[20] TSAI P，SHAH M．Shape from shading using linear approximation[J]．Image and Vision Computing, 1994, 12(8)：487-498．

[21] ZHANG S，NEGAHDARIPOUR S．3-D shape recovery of planar and curved surfaces from shading cues in underwater images[J]．IEEE Journal of Oceanic Engineering，2002，27(1)：100-116．

[22] COOPER A P R．A simple shape-from-shading algorithm applied to images of ice-covered terrain [J]．IEEE Transactions on Geoscience and Remote Sensing，1994，32(6)：1196-1198．

[23] CHO S Y，CHOW T W S．Shape and surface measurement technology by an improved shape-from- shading neural algorithm[J]．IEEE Transactions on Industrial Electronics，2000，47(1)：225-230．

[24] KONG F H．Reconstruction of solder joint surface based on hybrid shape from shading[C]//International Conference on Natural Computation．IEEE Computer Society，2008：593-597．

[25] CASTELAN M，HANCOCK E R．Acquiring height maps of faces from a single image[C]//3D Data Processing，Visualization，and Transmission，International Symposium．IEEE Computer Society．Thessaloniki：IEEE，2004：183-190．

[26] MCGUNNIGLE G，DONG J．Augmenting photometric stereo with coaxial illumination[J]．IET Computer Vision，2011，5(1)：33-49．

[27] ZHENG Q，CHELLAPPA R．Estimation of illuminant direction, albedo, and shape from shading[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition．Maui：IEEE，2002：540-545．

[28] WOODHAM R J．Photometric method for determining surface orientation from multiple images[J]．Optical Engineering，1992，19(1)：151-171．

[29] GEORGHIADES A S，BELHUMEUR P N，KRIEGMAN D J．From few to many：illumination cone models for face recognition under variable lighting and pose[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，23(6)：643-660．

[30] HAYAKAWA H．Photometric stereo under a light source with arbitrary motion[J]．Journal of the Optical Society of America A，1994，11(11)：3079- 3089．

[31] PAPADHIMITRI T，FAVARO P．A new perspective on uncalibrated photometric stereo[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Portland：IEEE，2013：1474-1481．

[32] WOODHAM R J．Gradient and curvature from the photometric-stereo method，including local confidence estimation[J]．Journal of the Optical Society of America A，1994，11(11)：3050-3068．

[33] COLEMAN E N，JAIN R．Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry[J]．Computer Graphics and Image Processing，1982，18(4)：309-328．

[34] HERTZMANN A，SEITZ S M．Example-based photometric stereo：shape reconstruction with general, varying BRDFs[J]．IEEE Computer Society，2005，27(8)：1254-1264．

[35] ZHANG Z．A flexible new technique for camera calibration[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334．

[36] CAI J．Integration of optical flow and dynamic programming for stereo matching[J]．IET Image Processing，2012，6(3)：205-212．

[37] ANSARI M E，MAZOUL A，BENSRHAIR A，et al．A real-time spatio-temporal stereo matching for road applications[C]//International IEEE Conference on Intelligent Transportation Systems．Washington：IEEE， 2011：1483-1488．

[38] STOJAKOVIC V，TEPAVCEVIC B．Image-based modeling approach in creating 3D morphogenetic reconstruction of Liberty Square in Novi Sad[J]．Journal of Cultural Heritage，2011，12(1)：105-110．

[39] CALAKLI F，TAUBIN G．SSD：smooth signed distance surface reconstruction[J]．Computer Graphics Forum，2011，30(7)：1993-2002．

[40] MAURICIO K，YUSHI G，TUKI T，et al．Robust 3D image reconstruction of pancreatic cancer tumors from histopathological images with different stains and its quantitative performance evaluation[J]．International Journal of Computer Assisted Radiology and Surgery， 2019，14(12)：2047-2055．

[41] SZEGEDY C, LIU W，JIA Y Q，et al．Going deeper with convolutions[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)．Boston，MA，USA，2015．

[42] ZHONG Z，JIN L，XIE Z，et al．High performance offline handwritten Chinese character recognition using googlenet and directional feature maps[C]//Proceeding of the 2015 13th International Conference on Document Analysis and Recognition (ICDAR)．Tunis， Tunisia，2015：846-850．

[43] HE K M，ZHANG X，REN S，et al．Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Las Vegas，NV，USA，2016．

[44] FAVALLI M，FORNACIAI A，ISOLA I，et al．Multiview 3D reconstruction in geosciences [J]．Computers & Geosciences，2012，44：168-176．

[45] FAN H，HAO S，GUIBAS L．A point set generation network for 3D object reconstruction from a single image[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)．Honolulu：IEEE，2017：605-613．

[46] CHOY C B，XU D，GWAK J，et al．3D-R2N2： a unified approach for single and multi-view 3D object reconstruction[C]//Proceeding of the European Conference on Computer Vision．2016．

[47] PAN J，LI J，HAN X，et al．Residual meshnet：learning to deform meshes for single-view 3D reconstruction [C]//Proceeding of the 2018 International Conference on 3D Vision，2018．

[48] RUAN C， YU T，CHEN F，et al．Experimental characterization of the spatiotemporal dynamics of a turbulent flame in a gas turbine model combustor using computed tomography of chemiluminescence [J]．Energy，2019，170：744-751．

[49] WANG Q，ZHANG Y．Spark characteristics investigation of a gas turbine igniter[J]．Combustion Science and Technology，2012，184(10/12)：1526-1540．

[50] HUANG J，LIU H，WANG Q，et al．Limited-projection volumetric tomography for time-resolved turbulent combustion diagnostics via deep learning[J]．Aerospace Science and Technology，2020，106：106123．

Computer-Vision Based on Three-dimensional Reconstruction Technology and Its Applications in Gas Turbine Industry

KONG Xiangling1, FU Jinglun1,2,3,4,5

(1. Nanjing Institute of Future Energy System, IET, CAS, Nanjing 210000, Jiangsu Province, China; 2. Advanced Gas Turbine Laboratory, IET, CAS, Haidian District, Beijing 100190, China; 3. University of Chinese Academy of Sciences, Haidian District, Beijing 100049, China; 4. Key Laboratory of Advanced Energy and Power, CAS, Haidian District, Beijing 100190, China; 5. Innovation Academy for Light-duty Gas Turbine, CAS, Haidian District, Beijing 100190, China)

The operational safety and performance of gas turbine is closely related to the health status of its components. Generally, the status of gas turbine components can be evaluated by the morphological characters, such as size, shape, color, etc. Therefore, the method of feature extraction, especially the three- dimensional (3D) feature extraction, has become a key technology for component health status assessment. The existing computer vision based on 3D reconstruction algorithms was reviewed. After that, the research status and development directions of the 3D reconstruction in the gas turbine industry were discussed.In the end, the reconstruction results of a turbine bladeusing the shape from shading (SFS) algorithm and the Mvsnet were presented and compared.

gas turbine; computer vision; three- dimensional reconstruction; gas turbine design; health diagnosis

2021-04-25。

10.12096/j.2096-4528.pgt.21031

TK 05

国家自然科学基金项目(51776201)。

Project Supported by National Natural Science Foundation of China (51776201).

(责任编辑 辛培裕)