基于多源数据融合的白车身表面缺陷检测和分级方法

摘 要：本文分析了传统人工检查白车身表面缺陷的局限性，揭示了研发表面缺陷视觉检测系统的必要性，简介了检测系统的构成及技术要求，构建了表面缺陷数据采集的方式，创建了基于多源数据融合实现白车身表面缺陷检测和分级的深度学习方法，运用搭建的白车身表面缺陷视觉检测实验平台进行算法模型训练和方法验证，整体人工检测与机器检测一致率达到97.1%，达到准确检测和分级的效果。

关键词：白车身 多源数据融合 缺陷检测 分级

白车身表面质量是影响整车外观的重要因素。人工检查是对白车身表面缺陷进行质量检测的传统方式，如目视检测、触摸检查、油石打磨[1-2]等等。人工检测方式受情绪、疲劳和技能等因素的影响，容易出现表面缺陷流出到涂装车间才发现的现象，而视觉自动化检测系统能够按照预设的运行轨迹检测，检测质量稳定、可靠性高。

基于人工的白车身表面缺陷检测面临着诸多问题。第一，人工检测的效率低，想要达到实时的检测效果，需要花费很大的人力。第二，人工检测结果受人员技能水平影响大，不同的工人因为经验差异，检测结果和检测标准不统一。第三，人工检测难以定量检测缺陷大小，往往凭借经验判断是否有缺陷，缺陷的信息无法量化。第四，人工检测方式记录的缺陷位置描述不准确，缺陷追溯记录查询困难，这种方式对以后缺陷追溯和查询分析带来很大困难。第五，对于工人来说，微小缺陷、坑包等容易漏检，而在后工艺修复比较复杂。为了解决实际生产需要，我们研发自动化视觉检测设备解决白车身表面检测难题。

1 白车身表面缺陷视觉检测系统

白车身表面视觉检测系统目的是要解决焊装车间白车身表面缺陷的人工质检难题，逐步取代人工进行缺陷质量检查和缺陷分级，提高生产效率，降低生产成本。

1.1 白车身表面视觉检测系统的构成

白车身表面视觉检测系统主要包含4部分：（1）3D视觉检测头的开发，包括光源模组、光栅模组、工业相机等模组的集成和标定，通过表面条纹投影的方式实现白车身表面的3D成像；（2）机器人携带3D视觉检测头对整体白车身进行拍摄扫描，覆盖整个白车身的数据采集，保障实时性和生产节拍的要求；（3）智能分析服务器部分，根据采集到的白车身数据进行缺陷检测和分级[4]，通过与白车身奥迪特评审员检测结果的对比，不断优化检测算法，实现科学准确的白车身表面缺陷检测和分级；（4）用户交互部分，包含缺陷检测结果展示，检测数据展示追溯等。

其中，第3部分智能分析服务器部分的研发是检测系统的关键部分，依据采集到的白车身表面数据，进行白车身表明缺陷检测和分级算法网络的设计、训练和部署，实现高效率、高质量和低成本的检测效果。

1.2 白车身表面缺陷检测和分级要求

白车身表面视觉检测系统需要对焊装车间白车身表面常见的典型缺陷进行准确检测，包括凹/凸、钣金不规则、划伤、飞溅、刨痕等。冲压件表面缺陷，如缩颈、缩痕、双线、开裂等可能会出现在冲压车间，极少会流出焊装车间，暂不在考虑范围内。

视觉检测系统需要对焊装车间白车身表面常见的典型缺陷进行准确科学分级，通过对白车身奥迪特评审结果经验的学习，依据红旗白车身奥迪特评审标准，根据表面缺陷分布位置及缺陷情况，将表面缺陷划分为A、B、C1、C四个级别。实际在焊装车间白车身阶段，A级别的缺陷出现较少，主要是B/C1/C级别的缺陷[1]，数据集制备和采集以实际车身出现的情况为准。

2 数据采集和缺陷检测及分级方法

2.1 白车身表面数据采集

白车身表面数据采集装置是一个条纹结构光3D扫描仪，如图２所示，包含一个条纹投影模组和一个工业相机。

条纹投影向待扫描物体表面投射条纹结构光，CCD（电荷耦合器件）相机捕获物体表面反射的条纹结构光图像，并基于捕获的结构光图像恢复物体表面的3D数据信息。根据条纹图图像，通过3D重构算法计算可以获取表面的3D图像数据。

图３为3D视觉检测头获取的图像信息。左上图为手机拍摄的蓝光投影图像，蓝光条纹由3D视觉检测头的投影模组发出，投射到白车身表面表面上；右上图为3D视觉检测头工业相机拍摄的原始条纹图像，根据条纹图像的变化体现高度和深度的差别；左下图为增强条纹图像，该图像由右上图进行增强处理后获得，使得条纹更加清晰、准确；右下为3D图像，根据增强后的条纹图像基于3D重构算法生成，包含每个像素点的深度信息。所示图像为伪彩色渲染后的结果，不同颜色表示不同深度变化，这样便于直观的看到相同深度变化下3D信息。

图4为白车身部件表面凸起缺陷采用3D视觉检测头拍摄，可以看到缺陷局部条纹扭曲变形，根据3D重构算法进行3D计算后获取的点云图像正视图（左下）和侧视图（右下）可以看到凸起缺陷。

基于原始条纹图像、增强条纹图像和3D图像，我们研究多源数据融合的表面缺陷检测和分级算法，用于白车身表面缺陷的精确检测和科学的表面缺陷奥迪特分级[2]。

2.2 基于多源数据融合的表面缺陷检测和分级方法

该检测系统是基于深度视觉检测技术完成对白车身表面缺陷等级划分，但是通过对采集的数据观察分析（图5），发现单模态深度视觉缺陷检测方法存在以下不足：单一特征如条纹图像、增强条纹图像、3D图像无法全面体现缺陷特征，如缺陷的类别和等级检测严重依赖于深度信息，在其他特征分布图中不易察觉；若采用单一特征进行缺陷检测识别，这极容易会造成误检出现。

为了提升检测系统整体的检测精度，满足客户需求，该检测系统采用基于多模态融合的深度学习方法（图6）检测白车身表面缺陷。

该算法包含3个特征提取网络，首先分别对原始条纹图、增强条纹图和3D图进行特征提取，其中增强条纹图和3D图是基于原始条纹图进行特征提取和3D重构后获取的。然后对这3个特征提取网络输出的特征进行通道融合，然后将融合的特征送入到特征金字塔进行缺陷位置和类型检测，这样算法能够从多个维度获取白车身材料表面缺陷信息，保证信息来源的多样性[3]，这样可以解决单一特征无法全面描述所有缺陷特征的问题。通过基于多源数据融合的深度学习方法，实现表面缺陷的准确检测。

最后针对多源数据信息，构造分类网络算法，对于同一类型不同级别的缺陷进行缺陷分级[4]，参考标准来源于白车身表面缺陷的奥迪特评审员的分级评审结果。该部分基于多源融合的缺陷分级方法，实现表面缺陷的精确分级。通过缺陷检测网络和缺陷分级网络的级联，实现基于多源数据的缺陷检测和准确分级。

3 实验测试结果分析

3.1 缺陷制作策划和数据集制备

在实验室的测试样车上，基于实际生产的需要制作白车身表面的缺陷。缺陷策划时，邀请生产车间的质检专家、质量保证部门的奥迪特评审专家和工程技术专家共同进行缺陷策划，对于缺陷的种类、等级、分布位置、数量等进行了详细的设计，最终在测试样车上制作适合的缺陷，包括凹凸缺陷、波浪变形缺陷、飞溅缺陷、划伤缺陷和刨痕缺陷等。

基于实际的缺陷策划（表１），我们制备了包含不同类别、不同等级的缺陷数据集，总共包含1552个缺陷点位，其中坑包缺陷1160个点位，波浪变形缺陷308个点位，划伤缺陷38个点位，刨痕缺陷13个点位，飞溅缺陷33个点位。

3.2 实验结果及分析

实验平台选取了研华工业计算机，标准x64架构，XEON Gold-5318Y处理器，32GB内存以及标准PCIE插槽，NVIDIA A4500显卡，80英寸显示器，操作系统是正版WIN 10。

在缺陷策划和数据集制备的基础上，使用其中70%的数据进行算法模型的训练，然后在所有数据集上进行测试和验证，基于多源数据融合的白车身表面表面缺陷检测和分级算法整体的准确率达到了97.1%。

从结果上看（表２），整体检测准确率基本满足白车身面品检测在线实施的需求。限于实验室的条件，数据集制备有限，后续会在生产线实施中进行更多的缺陷数据收集，同时重新训练和更新整体算法模型，已达到更加稳定的检测效果。

4 结论

白车身表面质量是影响整车外观的重要因素。基于实际白车身生产的需要，我们研发了一套白车身表面视觉检测系统，其中关键的缺陷检测和分级算法部分，使用原始条纹数据、增强条纹数据和3D图像数据作为输入数据源，采用了基于多源数据融合的缺陷检测和分级网络模型，在实验室数据集上实现了97.1%的整体检测准确率，达到了较好的检测效果。

参考文献：

[1]上汽大众汽车有限公司.汽车覆盖件表面质量评价方法：CN201910115362.8[P].2019-04-12.

[2]吴琼兴.汽车覆盖件面畸变量化评价方法及应用[J].模具工业，2023，49（3）：53-58.

[3]张克武，刘红武，李彦波.基于JSTAMP/NV的汽车外覆盖件表面缺陷仿真[J].计算机辅助工程，2013，22（5）：129-131.

[4]李丽明.车身A级曲面表面畸变的识别和可视化定量评估[J].塑性工程学报，2019，26（3）：262-267.