基于视觉感知的表面缺陷智能检测理论及工业应用

柴 利，任 磊，顾 锞，陈佳鑫，黄 博，叶 琦，曹 玮

(1.浙江大学 控制科学与工程学院，浙江 杭州 310027； 2.北京航空航天大学 自动化科学与电气工程学院，北京 100191; 3.北京工业大学 信息学部，北京 100124； 4.北京航空航天大学 计算机学院，北京 100191; 5.西北工业大学 机电学院，陕西 西安 710072; 6.上海市航空发动机数字孪生重点实验室,上海 200241； 7.中国航发商用航空发动机有限责任公司，上海 200241)

0 引言

基于视觉感知的无接触自动表面缺陷检测对控制和提高产品表面质量具有不可比拟的优势，在玻璃、半导体芯片、钢铁工业、机械加工、汽车工业、瓷砖等行业的应用越来越广泛[1-4]，是未来工业制造业实现完全自动化、智能化和无人化不可或缺的组成部分。工业产品表面缺陷智能检测系统的性能主要取决于3方面的关键技术：产品表面图像的快速精准采集、基于图像的表面缺陷智能检测方法，以及缺陷特征的综合定量评价。本文将介绍相关的研究进展，重点阐述图像处理和深度学习领域的最新技术，并提出面临的主要挑战以及可能的解决思路。

与计算机和智能自动化领域的大部分应用系统类似，基于视觉感知的表面缺陷智能检测系统可以分为硬件系统和软件系统两部分。硬件系统的主要功能是采集获取图像，包括光源、工业摄像机与镜头等成像装置、图像视频传输、存储装置、计算机等；软件系统的主要功能是图像处理算法、缺陷检测与识别、数据管理存储等。

国外成熟机器视觉工业检测软件产品包括HALCON、HexSight、LEADTOOLS、BANNER iVu等。HALCON是一款应用广泛的机器视觉商业化软件[1-2]，包含多种典型的机器视觉算法，其中的图像处理库支持多种编程语言。同时，HALCON也提供了几乎所有主流工业相机和图像采集卡的接口。在不同行业不同的应用中，硬件系统差异很大，需要根据具体应用需求选择配置光源、工业相机，以及图像视频采集卡、计算机等设备。成像环节非常重要，其结果直接决定了后续缺陷检测问题的难度、检测准确率和检测系统的整体性能。

1 表面图像采集与预处理

表面缺陷检测系统中的图像采集一般采用工业相机[3-4]，图像采集模块的性能直接决定了整个系统的检测精度和运行效率。实际应用中需根据不同应用场景来选择和设计图像采集模块，考虑的主要因素包括图像尺寸、分辨率、帧率、焦距、视场、景深以及接口等。图像采集模块设计考虑的另一个重要因素是光源配置与光照补偿设计，光源有LED光源、卤素灯、激光灯、荧光灯等多种类型。光照补偿设计涉及几何光学、材料光学、函数优化等理论，其设计目标是尽可能地突出缺陷特征，同时抑制噪声干扰及复杂的背景特征。现有补偿方法包括同轴光照补偿、背景光照补偿、前景光照补偿等。在某些特定场景的缺陷，可以考虑设计特殊光谱的成像补偿。

图像采集后应经过预处理过程，预处理主要是去噪与滤波、图像增强。噪声与原始图像的叠加会干扰人们理解图像信息，导致原始图像细节部分的缺失，进而影响后续图像处理的结果。图像去噪与滤波是图像处理领域中的基本问题之一，很多传统成熟的算法已进入本科生教材。图像去噪与滤波的目标是：利用合适的算法去除图像噪声，尽可能地将图像中重要的结构特征与细节保留下来，得到较高质量的复原图像[5]。

工业产品的表面缺陷在图像中常常表现为边缘特征，边缘特征是高频特征的一部分，传统的低通滤波器在消除噪声和滤波过程中，将图像边信息(线条)平滑了。与传统图像去噪要求不同，保边(Edge-preserving)性能是衡量现代图像去噪与滤波算法的重要指标。同样的，产品表面图像增强的目标也变为缺陷特征的增强，这与以提高图像的人眼视觉效果为目标的传统图像增强算法有很大不同。

1.1 图像去噪与滤波

近10年来，研究者提出了很多具有良好保边性能的现代图像去噪及滤波方法。学者们发现，通过非局部和半局部的图来建立图像像素之间的联系，不仅可以考虑图像中的像素位置依赖关系，还可以处理图像中不同像素的噪声特性。文献[5]率先提出了图谱滤波器设计的统一框架，这种框架包含了非局部均值(Non-Local Means, NLM)、三维块匹配(Block-Matching and 3D filtering, BM3D)、双边滤波(bilateral filtering)等众多常用的图像去噪和滤波算法[5-6]。BUADES等[7]通过对图像中冗余信息的充分利用，提出了针对自然图像加性白噪声的NLM去噪算法，使图像在去噪过程中,其细节特征得到最大程度的保留。NLM算法的去噪性能优于很多经典的图像去噪算法，该算法的主要思想是：当前像素点的灰度值通过图像中与它结构相似的像素点的灰度值加权平均所得。由于在处理每一个像素点时，都需要计算它与图像中所有像素点的相似度，NLM算法实现的计算量很大。后来，DABOV等[8]提出一种基于块匹配的三维变换域滤波方法——三维块匹配(BM3D)算法。BM3D算法首先对图像进行分块处理，然后在整幅图像中对每个参考块进行相似块搜索。根据块与块之间的相似性程度，将块匹配组合成具有很高相关性的三维矩阵，通过三维酉变换可以有效降低数据的相关性。三维块匹配算法将空间域和变换域的方法结合起来，同时引进非局部均值的思想，通过三维联合滤波，不仅有效地抑制了噪声信号，还较好地保留了图像的边缘细节与结构信息。

在传统的图像频域分析中，双边滤波器是不能进行谱滤波的，文献[9]将双边滤波器模拟成一个图结构，将像素点当成节点，节点的亮度值作为信号值，滤波系数作为边的权重值。该论文定义了基于这类图结构的谱滤波器，滤波响应值可通过相应Laplacian矩阵的特征值和特征向量计算得出。为了增强平滑效果，ONUKI等[10]提出了三边滤波方法，该方法先对图像的梯度进行平滑，然后利用平滑后的梯度对图像进行平滑，同时引入图谱域的参数优化方法，使去噪后的均方误差最小。

各地智慧城市建设往往缺少顶层设计或者在顶层设计中侧重考虑应用建设、投融资方式等方面的问题，导致项目之间缺乏有机联系，更缺乏对政府间部门协同、职能改革、机制创新等方面的考量。最终的建设成果违背了智慧城市的建设初衷，出现新的信息化烟囱，新的碎片化数据，简单的完成了信息化建设，但造成了新的矛盾，降低了智慧城市建设的效率和效益。

经过数年的发展，现在已有很多基于图的图像去噪和滤波方法[5-6,11-14]。KHERADMAND等[5]通过共轭梯度法将观测图像投影到图Laplacian的低维Krylov子空间来进行图像去噪，得到了与Chebyshev逼近多项式同阶次的快速图像滤波性能。TALEBI 等[11]引入基于NLM的图谱滤波器和随机游走图Laplacian矩阵，图谱滤波器能够将图像的先验信息(例如边缘、纹理和显著性)视为一个图，而将期望的信息视为图谱响应。通过设计合适的图结构以及相应的图谱滤波器，以获得期望的图像滤波效果。文献[12-14]提出了各种图像处理任务的图谱滤波器的设计方法。

在图信号的维纳滤波器研究方面，PERRAUDIN等[15]首先定义了图信号的广义平稳性(Wide Sense Stationary, WSS)概念，然后估计功率谱密度(Power Spectral Density, PSD)，从而得到最小化均方误差(Mean Square Error, MSE)意义下的图维纳滤波器。与在图谱域中执行计算图维纳滤波器不同，文献[16-17]分别提出了基于Chebyshev多项式逼近和基于Lanczos方法的快速计算方法，以上方法可以在顶点域中通过局部运算执行。文献[18]将图信号处理理论应用于正电子发射(Positron Emission Tomography, PET)图像去噪，设计了一种低通图谱滤波器，对噪声PET图像在图Fourier域进行低通滤波，最后得到的去噪PET图像质量相比于高斯滤波器和NLM都有所提高。图滤波方法虽然对于PET图像具有较好的去噪性能，但其计算速度仍需加快，并且性能可以进一步提高。

保边性能是衡量现代图像去噪与滤波算法的重要指标，边缘特征也是高频特征的一部分，传统的低通滤波器在消除噪声和滤波过程中，将图像边信息(线条)平滑了。如何既保留边的信息又滤除噪声，是一个难点问题。图谱滤波器的优势之一是能够很好地区分边特征与噪声特征。针对工业表面缺陷在图像中常常表现为线条或者边线特征，研究如何设计具有高效保边性能的图谱滤波器具有重要的意义。

图谱滤波器依赖于图结构，不同图像的图结构不同，这样在一类图像上的图谱滤波器不能直接应用于其他图像，因为图谱滤波器性能依赖于不同的空间频域。需要研究图像空间频域的泛化问题，提出新的体系结构。另一方面，空间频域允许在不同的频域进行泛化，但是在图顶点域上构造低维局部滤波器相当困难，需要研究在一般图像上构造各向异性扩散网络的图谱滤波器。

高清图像的像素点数量巨大，构造图谱滤波器时，图邻接矩阵元素为像素点之间的相似度。在处理每一个像素点时，都需要计算它与图像中所有像素点的相似度，计算量巨大。算法的快速实现和性能分析一直是重点研究问题之一。

1.2 图像增强

与图像去噪和滤波的目的类似，传统图像增强的主要目的也是提高图像的质量。对表面缺陷检测的应用来说，图像增强的目的是增大图像中缺陷特征与其他信息的对比度，为后续的缺陷特征提取、缺陷检测和识别提供方便。

GU等[19]采用在图像质量评价模型指导下逐步修正直方图、依次校正对比度和亮度到合适水平的策略，构建了基于大数据无监督学习的图像对比度客观评估模型，实现了对自然图像、低对比度图像、低光照图像、去雾图像、水下图像等的鲁棒增强。文献[20]公开了自制的大型专用对比度变化图像数据库，融合相位一致性和直方图统计特性，提出了一种分析对比度变化的半参考图像质量度量模型，同时结合主客观评估方法，寻找出了基于该模型的最优直方图映射，能实现自动增强图像对比度的功能。为了克服过增强和欠增强图像引入的噪声、伪影和视觉注意力区域改变等问题，文献[21]利用测量显著性变化辅助生成更好的增强图像，设计直方图修正框架和自动参数选择器，获得了具有自适应增强对比度功能的模型。

2 表面缺陷智能检测

表面缺陷智能检测一般分为两个步骤:首先通过图像分析方法将图像信息映射到特征空间，然后在特征空间应用各类机器学习(深度学习)方法实现缺陷检测与识别。常用的图像特征有纹理特征、颜色特征、形状特征等。当然，若有足够多的样本图像，也可以直接利用各种学习网络来实现表面缺陷检测。在大部分工业应用中，缺乏足够的表面缺陷样本图像来训练网络。因此，图像的特征提取具有重要意义。

2.1 表面缺陷图像的特征提取

图像的特征提取可视为高维图像空间到低维特征空间的映射，其目标是得到具有较小的类内聚散度和较大类间聚散度的子空间[1]。表面缺陷图像主要特征包括形状特征、颜色特征，纹理特征等。形状特征具有一定的稳定性，一般不受光照亮度的影响，包括几何特征、拓扑结构特征和轮廓特征等。颜色特征是一种基本的视觉特征，对图像的旋转、平移和尺度变换都不敏感，主要的颜色模型有RGB、HSV、HIS等。图像纹理特征能反映表面结构排列和像素相互间联系的信息，不依赖于图像的颜色和亮度，通常具有旋转不变性，是图像的一种重要特征，在目标检测中有广泛的应用。纹理特征提取是图像分析的一个重要研究问题，学者们提出了很多有效方法，主要包括统计法、信号处理法、基于模型的方法、结构法和几何法等。详见文献[1]的介绍。

2.2 几何深度学习(Geometric deep learning)

深度学习通过组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念源于人工神经网络的研究。从数学上理解，深度人工神经网络本质上是表达不同维数空间之间的一个映射(函数)。给定训练样本点后，通过调整网络的参数权重系数，不断极小化损失函数，从而得到最好拟合效果的拟合函数。然而，这个拟合过程只极小化了逐点误差或累积逐点误差，而没有考虑点与周围点之间的其他信息(如邻域几何结构、局部几何度量、整体拓扑结构等)。当研究对象是底层结构为非欧空间的数据，如图和流形时，若考虑点之间的几何与拓扑信息，则深度人工神经网络就无能为力。

深度神经网络借助卷积架构来利用数据的统计特性，从而能成功处理底层为欧氏结构或网络结构的数据。然而，非欧数据没有全局参数化、坐标系统、向量空间结构等属性。因此，欧氏空间上的卷积运算在非欧空间上没有很好的定义。2017年，BRONSTEIN等[22]系统介绍了几何深度学习这一研究领域，将卷积神经网络推广到非欧数据。该文献[22]明确指出：几何深度学习处理两类问题：第一类问题是描述数据的结构，第二类问题是分析定义在非欧空间的函数。借助几何深度学习可以描述表面图像的拓扑结构，然后学习刻画缺陷特征从而实现表面缺陷的检测与识别。

在流形数据结构的描述问题中，假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习(manifold learning)就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化[23]。流形学习是从观测到的现象中寻找事物的本质，找到产生数据的内在规律，自2000年在著名的科学杂志《Science》发表以来[24]，已成为信息科学领域的研究热点。流形学习方法包括两个步骤：首先构造数据点的局部关联表示，通常是稀疏连接图；其次，将数据点嵌入到低维空间中，并试图保留点之间的原始关联性。

目前基于流形的降维算法包括：局部线性嵌入(Locally Linear Embedding, LLE)[24]、多维尺度变换(Multi-Dimensional Scaling, MDS)[25]、随机邻居嵌入(t-SNE)[26]、谱嵌入[27](拉普拉斯特征映射、扩散映射)等。MDS类型的方法希望保持数据在低维空间的映射之后能够保持流形上的测地线距离，即全局的几何结构;LLE方法保持每个样本点与它相邻的多个点的线性组合(体现了样本的局部线性特征)来重构低维空间的点的分布，相当于用分段的线性面片近似代替复杂的几何形状，样本投影到低维空间保持这种线性重构关系;谱嵌入倾向于将具有许多连接的点映射到附近的位置。

典型的流形学习是无监督的,它从数据本身学习数据的高维结构，而不使用预定的分类。函数逼近思想来源于传统的机器学习问题，是一种有监督学习方法。采用机器学习中的有监督训练方式来更新函数的固有参数，从而得到训练变量间的映射关系。文献[28]研究了组合图上的函数抽样和逼近问题。利用组合拉普拉斯算子生成的算子薛定谔群对图进行滤波。通过图上函数的Poincare和Plancherel-Polya型不等式构造了抽样理论。对于流形上的值函数逼近问题，由于高维数据空间中数据的稀疏性以及神经元“接受域”对数据空间的良好覆盖约束，利用神经网络逼近高维非线性函数是一个经典难题。然而，若高维数据通常聚集在低维支持流形附近，则考虑目标函数的低维逼近会比高维逼近更精确。文献[29]采用局部线性嵌入方法寻找到数据点到低维空间(对应于流形)的映射，并基于变换后数据训练神经网络来逼近函数，发现比基于原始数据训练的神经网络具有更好的函数逼近性能。文献[30]提出了一种基于流形移动最小二乘(Manifold Moving Least-Squares，MMLS)算法来逼近定义在流形上的函数，该算法不需要除了流形维数信息以外的其他先验知识，另外，该算法在定义域和值域上都具有很好的抗噪性能。该算法对于环境空间的维数在时间上是线性的。因此，在环境空间维数非常大的情况下，可以避免维数的诅咒，而不需要进行非线性降维，不会给流形带来失真。对于流形结构信号，从训练样本数据出发，将流形上的深度学习与函数逼近理论相结合，建立低维流形到高维信号空间的映射表示。

2.3 基于深度学习的目标检测

深度学习在目标检测与识别方面取得了较大发展，新的成果层出不穷[2]。基于深度神经网络的目标检测性能依赖于网络结构的深度，一般来说，网络层次越多，目标检测效果越好。但是深度网络结构复杂，算法计算量巨大，不适用于工业应用中的表面缺陷检测。而轻量级学习网络结构的检测准确率和鲁棒性相对较差。文献[31]利用人类视觉感受野的概念将感受野大小和偏心率关联，建立了感受野块的网络结构，增强了轻网络结构的检测准确率和鲁棒性，有望应用于工业产品表面缺陷检测。

实际应用中具有表面缺陷的图像样本很少，绝大多数的表面图像是正常的，因而基于机器视觉的表面缺陷检测是典型的小样本学习问题。小样本学习既是机器学习中一个重要的研究方向，也具有非常广阔的应用前景。基于深度学习传统目标检测方法需要大量的标注数据进行训练。这面临着两方面困难：①获取大量高质量标注数据成本很高；②一些工业应用中缺陷图像很少，难以得到缺陷图像样本。尺度不变性对于少样本情况下的目标检测性能的影响很大。少样本目标检测中的尺度分布是不平衡的，一般而言，少样本情况下目标尺度分布比大样本情况下的分布发散的多，少样本目标检测精度和鲁棒性都较差。文献[32]提出一种多尺度正样本增强策略，通过引入一个增强分支到Faster RCNN框架来提升少样本目标检测效果。

文献[33]研究了领域自适应学习问题，提出了一种两阶段跨域目标检测的由粗到细自适应方法，利用复杂的检测模型逐步对深度特征进行精准匹配。文献[34]提出一种基于熵的主动学习目标检测方法。多模态融合检测可以提高检测精度，ZHANG等[35]提出一种有效的多模态目标检测数据对比增强方法，通过Pointformer、Imageformer和交叉模态Transformer模块联合，实现多模态信息的充分挖掘。文献[36]提出一种两阶段的三维点云目标检测方法，通过设计点云补全模块和图神经网络模块，显著提高了检测性能。

3 工业图像检测与识别的典型应用

3.1 钢铁冶金

钢板表面缺陷检测领域已有成熟的工业应用，美国、英国、欧洲、韩国等公司针对冷轧、热轧以及连轧机等产线的钢板质量开发了成熟的自动检测系统[1]，可实现高精度、高可靠性地实时检测。我国宝武集团、北京科技大学、东北大学也开展了深入研究，取得了一系列成果。针对带钢表面缺陷检测问题，HE等[37]将主干网络的多级特征图组合为一个多尺度特征图，提出一种改进的快速R-CNN的深度网络，取得了良好的检测效果。

回转窑是煅烧或焙烧工艺中所用的热工设备，用于对输入物料进行机械、物理或化学处理，广泛应用于冶金、水泥和环保等工业。回转窑在工艺生产过程中是不断旋转的，受回转窑自身结构特殊性以及生产工艺运行机理复杂性的影响，熟料质量指标无法用准确的数学模型进行描述，且无法实现熟料质量的在线实时测量。其熟料的质量取决于回转窑烧成带温度，但是窑内恶劣的环境使得烧成带温度的精确测量至今无法实现。由于回转窑烧成带火焰图像含有丰富的温度场信息和熟料烧结信息，很多研究尝试通过烧成带火焰图像来识别烧成状态。文献[38-39]研究了回转窑火焰图像的滤波去噪、图像分割、特征提取、检索聚类等问题，为回转窑质量监测及自动控制提供了依据。典型的回转窑图像如图1所示。

文献[40]提出一种基于火焰图像空间域结构相似性(Structural SIMilarity, SSIM)的燃烧状态识别方法。从回转窑火焰图像的亮度、结构和对比度3个方面度量两幅图像间的结构相似性。给定一幅实际火焰图像，快速计算比较其与标准图库中火焰图像的结构相似性差异，从而识别火焰图像的燃烧状态。SSIM具有表达形式简单、计算复杂度低的优点，识别过程无需对图像进行训练与学习，能够满足回转窑控制系统在线识别的快速性要求。GUO等[42]利用奇异值分解(Singular Value Decomposition, SVD)和支持向量基(Support Vector Machine, SVM)提出了一种基于火焰图像的回转窑烧成状态识别方法，该方法可以实时地确定燃烧状态。以由正常燃烧状态和欠烧状态下两个库的图像SVD分解后的特征作为输入，利用SVM分类器进行离线训练。该方法具有精度高、时间复杂度低的特点，使得回转窑实时识别成为可能，提出的多标签识别方法可以将烧成状态分成多个模态，有助于后续的精准控制。

文献[40-42]系统研究了基于回转窑火焰图像的烧成状态识别问题，利用图滤波方法研究了面向回转窑火焰图像的预处理和去噪方法，提出了专用的去噪和预处理算法，并提出了多种基于火焰图像的回转窑烧成状态识别方法。该方法具有精度高、时间复杂度低的特点，可用于在线自动监测和反馈控制。主要的流程图如图2所示。

3.2 大气污染监测

基于电化学传感器的大气污染常规监测技术易受温湿度干扰、数据易被篡改，存在空间分布密度低和延迟时间长等局限，文献[43]根据基于变换域的特征提取和基于宽度深度学习的非线性映射策略，构建了基于图像的细颗粒物浓度实时监测模型。针对放空火炬烟气浓度识别中含浓烟的图像数据少和为烟浓度打标签困难的问题，文献[44]先用元学习在自动选择的多相似任务上预训练神经网络，再用最优梯度和学习率微调网络，最终构建出基于集成元学习的烟气浓度识别模型。GU等[45]针对放空火炬烟气图像受环境背景干扰大和受压缩噪声影响而难以准确定位等问题，利用broadly tuned颜色通道、背景颜色通道和K-means方法等实现烟气定位，设计出了一种基于视觉的火炬烟气监测系统。文献[46]研究了烟气图像的形状、纹理等复杂特征，设计了两个子深度神经网络分别提取并融合烟气图像的底部纹理特征和高层全局轮廓特征，提出了基于分解模型的双流烟气检测深度网络，实现了“无感式”智能烟气检测。PM2.5的实时估计非常困难，文献[47]利用优质天气下拍摄的“零PM2.5”海量影像样本研究大数据统计建模理论与方法，根据细颗粒物改变影像局部分歧度和全局信息熵的先验知识，分别设计并系统融合局部和全局特征，构建了面向大气细颗粒物监测的大数据统计模型，达到了实时估计所处环境的大气PM2.5浓度指标的实际效用。

3.3 航空发动机叶片表面缺陷检测

发动机叶片是高性能航空发动机的核心部件之一，叶片型面质量对发动机的性能具有决定性的影响。航空叶片通常设计为变截面、强扭曲的薄壁曲面，具有复杂拓扑形状。叶片缺陷是危害飞行安全的重要因素，典型的表面缺陷包括叶片疲劳裂纹、叶尖卷边、叶面压坑、凹痕、烧伤等。孔探检测是叶片质量监测的重要设备，应用于航空发动机装配、试验、服役各阶段，对保证发动机安全有重要作用。

现有孔探检测主要为人工检测，检测结果受检测人员经验、责任心、工作时长等人为因素的影响较大，人工检测一般效率较低。为了提高检测质量和效率，研究基于视觉感知的发动机叶片损伤检测与识别技术具有重要的意义。文献[48]等利用卷积神经网络实现了大型涡扇发动机的燃烧室、高压涡轮、叶片等不同部位的孔探检测图像分类。旷可嘉等[49]利用Faster R-CNN和SSD网络模型实现了叶片的凹痕(dent)、裂纹(gap)和烧蚀(ablation)3类缺陷识别问题，图像共400张，测试集仅40张图像，因此该方法检测性能一般。马瑞阳等[50]收集了CFM56系列发动机高压涡轮的烧蚀、裂纹、涂层缺失和材料缺失4类缺陷损伤图像共1000余张，通过数据增强、数据标注等构建了缺陷数据集，提出了一种改进的Yolov4-B网络模型，同时利用构建的缺陷数据集进行训练，并在实际环境中测试了训练后模型的性能。

4 总结与展望

基于视觉感知的表面缺陷检测是未来智能无人工厂的关键环节，目前已有大量的研究成果，国内外公司的成熟产品成功应用于很多不同行业生产中。但是，在理论和应用层面仍存在很多未解的重要问题。当前面临的主要挑战性问题包括：

(1)适用于特定工业场景的快速成像技术 复杂恶劣工业环境下特殊光源选择，光照设置等。

(2)图像预处理与增强新方法 在恶劣工业环境或复杂光照条件下，采集的表面图像通常含有很强的噪声、质量差，如何在保持缺陷的边缘或轮廓特征的同时尽可能消除抑制噪声具有很大的挑战性。

(3)表面缺陷检测与识别的高性能学习算法 很多工业场景中，缺陷特征图像数据集很少，面向小样本和弱监督的能够实际应用的学习方法严重不足。如何在学习算法中融合缺陷检测与识别的专家经验也是重要的研究问题之一。

(4)集成化的表面质量检测管控软件与装备 国产软件平台或者开放平台上的算法集成软件包、基于国产品牌的硬件装备、包容国内外市场中大部分主流产品的数据接口、以及不依赖于特定平台的自主运行环境等都存在严重不足，开发设计高端高性能的检测管控软件与装备非常有挑战性，具有重要的意义。

(5)国家重大工业场景的表面缺陷检测问题 例如航空涡轮叶片缺陷的孔探检测中，受到成像空间有限、镜头角度有限、光照条件复杂、叶片表面形状多样、叶片转动的动态影响等多种因素影响，如何在有限的时间进行高质量的缺陷检测，难度很大。由于国外技术封锁，开发相关高端产品具有重要的意义。

基于视觉感知的表面缺陷检测方法涉及到多个学科领域的交叉，图像采集与成像是根本，智能检测算法是基础，工业软件与装备是保障，三者相辅相成，研究中需综合考虑。本文总结介绍了基于视觉感知的复杂产品表面缺陷检测理论及典型工业应用，重点论述了图像预处理与图像增强、几何深度学习和基于深度学习的目标检测方面的前沿进展。然后讨论了工业图像检测与识别在钢铁冶金、大气污染监测以及航空发动机叶片检测等领域的应用。最后，给出了几个仍未解决的挑战性问题，期望对相关领域的科研工作者有所帮助。