基于结构光的强反射表面三维重建方法研究

薛峰 陈龙 张峰峰

摘要：采用结构光进行工件表面三维重建时，经常出现因亮度饱和而导致重建缺失和精度低的问题。针对该问题，提出一种相位融合和多频外差算法相结合的解决方法。首先，从实际的工作环境和从三维重建的物理模型角度分析了工件表面亮度饱和对三维重建的影响。然后，针对亮度饱和引起的该区域相位丢失的问题，在结构光相移法的基础上提出了相位融合的方法来求解高质量相位。进而利用多频外差法进行绝对相位的求解，提高三维重建的精度。最后，通过搭建基于结构光的工件三维重建实验平台对本文提出的方法进行验证。实验结果表明：基于本文提出的方法进行工件表面三维重建的平均精度和完整率分别为0.013mm和99.71%。相比于传统的结构光三维重建方法，本文提出的方法在精度和完整率方面分别提高了79%和22%，具有较好的效果。

关键词：结构光;相位融合;多频外差;亮度饱和;三维重建

DOI：10.15938/j.jhust.2021.05.003

中图分类号：TP242 文献标志码：A 文章编号：1007-2683（2021）05-0018-07

0 引言

自从上世纪基于结构光三维重建的技术诞生以来，其因为非接触、速度快和精度高等原因，在工业、医疗和军事等领域便较为广泛的使用[1-3]。在日常生活中，人们可以利用结构光技术进行雕塑、医学器官等物体的三维重建，并且已经取得很好的效果。但是就目前而言，采用结构光进行物体表面的三维重建，大多希望物体表面发生漫反射而不是镜面反射[4-6]。主要因为当物体表面发生镜面反射时，相机采集到的图像中将可能存在局部亮度饱和的问题，进而导致结构光的相位缺失[7-8]。特别是在工业领域，部分工件的表面光滑且材料相对易反光，会在实际的重建过程中导致工件表面三维重建缺失，从而间接影响三维重建的精度[9-11]。因此如何克服工件表面的强反射造成的局部区域亮度饱和而导致的三维重建缺失问题，是目前关于结构光三维重建的重要研究之一。

早在多年前，有研究人员提出利用在工件表面喷射漫反射的材料来进行三维重建的方法[12]。但是该方法也存在一定的问题，例如该方法会导致生产工序增加，并且由于喷涂的厚薄不一样将直接影响工件自身的三维重建的精度。也有研究者从采集图像的相机进行研究，UMEY-AMA等[13]曾提出在相机的镜头前方增加偏振片，以此来过滤物体表面发生的镜面反射光线。该方法会使得大量的光线被剔除，进而导致三维重建的精度下降。刘飞等[14]也曾经提出过利用投射格雷码图案来寻找工件表面的局部亮度饱和区域，在确定区域位置后进行区域过渡补偿来提高重建的质量。由于格雷码的稳定性相对要低一点，在实际的使用过程偶尔会出现误解码的问题。除此以外，Chen和Shaffter等[15-16]团队也提出过自适应条纹光栅投影和双色反射模型等方法，这些方法取得一定的效果，但也存在着不足。

针对上述问题，本文从实际问题出发，从亮度饱和对重建缺失的影响以及工件表面物理光学反射模型人手进行研究。进而提出了一种相位融合和多频外差算法相结合的方法来解決重建缺失和精度低的问题。该方法的优点在于可以不需要依赖物体自身的颜色和外在的设备等因素，可以非常快速、精确和完整的重建工件三维表面。除此以外该方法仍具有较广的使用范围，在实验过程中均取得较好的三维重建的效果。

1 方法和模型

1.1 亮度饱和对工件表面三维重建的影响

在同一个环境光下，相机从不同角度捕捉零件时，在捕捉的图片中会显示不同部位和显示不同的明暗程度。除此以外金属物体表面的粗糙度、材质以及形状等因素也会在结构光三维重建过程中造成物体局部表面出现光线强反射的问题，进而会影响该物体三维重建的完整性。如图1所示，图中的工件出现强反射的高亮度区域，因此在实际的基于结构光的三维重建的效果中，该位置对应的三维点云将存在缺失。

从物理光学角度进行分析，相机采集到的光线主要包括自然环境光和投影仪投射的光栅条纹。如图2所示，假设投影仪投射至工件表面0点的光线为Lp，反射的光线的方向为Lb，工件表面O点处的法线用Nf表示。工件表面的反射光线通常包括其漫反射和镜面反射，其中镜面反射主要由镜面反射叶瓣和镜面尖峰组成。当相机采集的图片对应的是镜面反射的时候，此时图片中对应的位置将会出现高亮度情况。只要当进入相机的光线为漫反射的光线时，此时相机采集的图像才能较为完整的重建出工件物体本来的面貌。

1.2 基于相移法的相位主值求解

在同一频率下，基于传统方法主要利用相移法来计算出投射在工件表面的条纹光栅图的相位主值。在N步的相移过程中存在条纹光栅的强度的分布满足：式中：Ii（x，y）为图像中同一频率下的不同像素点的光强分布;IA（x，y）为该点对应的条纹光栅的平均光强;IB（x，y）为条纹亮度的调制;δi=2πi/N为相邻两步间的相位的差值;φ（x，y）为相位的主值，代表被投射的工件的高度信息。

在实际的过程中需要考虑饱和区域与周边区域的过渡的问题，此时相机所能采集到投射至工件表面而发生畸变的条纹光栅图像为式中：Icn为相机采集的图像的灰度的分布;IB（xc，yc）为相机采集的图像中该像素点的调制的幅度。

结合式（1），可以求解出此时经过相移法获得的相位主值为

1.3 基于相位融合法的高质量相位求解

正在相机采集的图像中，存在局部强反射而造成的局部亮度饱和现象。一般通过对该区域的像素点的对应的最大的光强值是否超过CCD相机最高值255进行判断，当该值超过255，则认为该区域为局部亮度饱和区域。但是该方法与真实的光强的值存在一定的误差，将会导致后续的饱和区域的误判。

为了避免该问题的发生，本文抛弃传统的基于图像融合的算法，提出基于多重曝光的相位融合方法来求取高精度的相位。该方法主要通过如图3所示的步骤进行实施，以此来获取较好的三维重建的先决条件。

在理想的环境光条件下，不考虑工件表面的强反射问题时，此时相机可以采集并记录到每个图像中的像素值对应的正确的光强值。但在实际的情况下，相机记录的强反射表面的光强值要小于实际的光强的值。因此相机所能记录的光强值Ic与实际的工件在该区域的光强值IR之间的差异值为其中相机所能记录的最大的光强的量化的值Ic=2k-1，k通常表示相机自身的量化的等级大小。

因此将该式与式（3）相位主值求解的方法相结合，可以推导出强反射高亮饱和区域的相位的误差值应为其中M表示投射的光栅的图像的个数。从式（5）可以看出饱和亮度区域的相位的误差与投射条纹光栅的数量以及相机自身的光强的幅度相关。

假设在同一频率下遵循二相移光栅图案具有的对称和周期性，则相机拍摄的第，和第t幅图像的光强Isc（xc，yc）和Itc（xc，yc）呈现相反的结果。可以进一步对在该频率下的相机采集的亮度饱和区域的像素對应的光强的饱和值进行计算：

一般情况下T=1，表示设定的阈值。根据上式可以求图像中的每个像素的饱和点的光强值IE，并根据计算当IE=M的时候，该区域为亮度饱和区域，进而可以计算出图像中的饱和区域。

在确定亮度饱和区域后，需要对亮度饱和区域进行进一步的还原，使其能够记录工件原来的三维信息。此时需要将其分成两部分进行考虑：

1）当存在于该区域的某个像素值达到饱和强度值时，此时需要在i次投影中，选择该像素值对应的最小的饱和度值作为该点对应的饱和度值。该像素点对应的光强饱和度值为

2）当该区域的某个像素值未能达到饱和时，此时在i次投影中，必然会存在多幅投影图像中对应的该点符合预定的要求。此时需要将这些图像中该点光强最大的那幅图像作为投影光栅条纹：

S=max|Q|其中Q表示该像素点在不同次投影中达到要求的点的集合;S表示利用符合条件的最大的光强替换之前的光强后的该组图像的序列号。

因此可以获得经过修复后的高质量的相位为

在获得修复之前由亮度饱和而导致的缺失的相位后，凭借此刻的相位便可以为后续较高精度的还原工件本来的信息奠定基础。

1.4 基于多频外差法的绝对相位值求解

不同频率的相位主值可以通过外差解相原理叠加在一起，进而求取绝对相位。将图像范围内不具有唯一性的相位主值展开成连续唯一的绝对相位值，根据叠加原理可得：式中：T12为叠加之后的相位的频率;λ1和λ2分别为两种不同的频率。

假设λ1和λ2频率对应的相位主值的节距分别

2 实验与结果

2.1 基于结构光的工件表面三维重建实验平台的搭建

基于结构光的工件表面三维重建实验平台如图4所示，其主要由双目结构光（包括投影仪和相机）、显示器、工作站、零件等硬件组成。其主要硬件的重要参数和作用如表1所示，为了方便研究，本文采用的两个相机为同一型号相机。

2.2 投影光栅条纹的制作

本文采用四步相移法对三种不同的频率（f=32，64，128）分别进行生成不同的条纹光栅图像，展现部分的条纹光栅图像如图5所示。在实际的操作过程中每次对工件表面进行扫描时，均需要向其表面投射12幅条纹光栅图像。本文采用圆形标定板进行标定，该圆形标定板主要有19×15个圆组成，其中圆形距为10mm。圆形标定板中包括5个用于确定世界坐标系的大圆以及用于圆形特征点检测的280个小圆。调节标定板的位置，使其能够清晰、完整的出现在双目相机的视野范围内，用双目相机拍摄标定板。不断改变标定板的位姿，使其始终出现在双目相机的视野范围内，双目相机同时拍摄20组标定板的图片。在双目结构光系统标定完成后，通过投影仪进行投射，并且由相机进行采集后返回到工作站来进行解相重建等操作。

2.3 工件表面强反射三维重建实验

本文首先以桌扣作为实验对象，利用结构光对其进行三维重建。在实际的三维重建过程中发生如图1所示的因为桌扣局部区域强反射造成亮度饱和而导致该区域的三维重建缺失。为了克服该问题，本文采用相位融合的方法来解决局部区域出现高亮的情况而导致结构光相位缺失。首先对相机的帧率进行设置，本实验在相机帧率fps=60的情况下进行。其次设定不同的相机的采集曝光时间，为了进行一定的区分并且获得更好的实验效果，本实验采用的相机曝光的时间分别为5ms，20ms，40ms，100ms。通过每个曝光时间序列的不同，相机采集多组不同的图像，具体的效果如图6所示。

此后利用多频外差算法对拍摄的图像进行解相，并根据三角测量原理对桌扣进行三维重建。如图7所示，从图中可以看出采用本文提出的方法，桌扣因强反射高光区域的三维重建缺失已基本重建完整。相比于传统的结构光方法，本文提出的方法从视觉上已看出具有更好的效果。

为了进一步对传统方法和本文提出的方法进行量化的比较，本文采用面积占比的方式进行衡量三维重建的完整性。将不同的方法三维重建出的工件的表面积SR与工件实际的表面积SW进行比较，将其定义为完整率：

同时借助Matlab软件对本文提出的三维重建方法的精度与传统方法三维重建的精度进行对比分析。如图8所示，可以更加直观的看出本文提出的方法具有较好的完整性和较高的精度。最终通过计算可以求得本文提出的方法和传统方法之间的各项结果对比，结果如表2所示。

为了进一步证明本文提出的方法的适用性，进而选择表面光滑的金属片作为实验对象。同样按照上述的实验流程，基于传统方法和本文提出的方法的最终三维重建的效果如图9所示。

从图9中可以看出采用传统的方法进行金属片的三维重建结果依然存在高光区域三维重建缺失的问题，相比于传统的方法，本文的方法几乎肉眼无法看见重建缺失。本文的方法将因高光而导致的重建缺失的区域已经重建完整，各项三维重建的数据对比如表3所示。

从上述两组不同的实验结果可以看出无论在三维重建的精度和完整性上，本文提出的方法都要优于传统的方法。结合表2和3中的数据可以清晰看到，相比于传统的方法，本文提出的方法在工件三维重建的平均精度方面达到了0.013mm，提高了约79%。在三维重建的完整度方面，基于本文提出方法的平均完整率达到99.71%，相比于传统方法，整体提高了约22%。

2 结论

本文通过桌扣和光滑金属片这种表面具有强反射效果的物体作为实验对象，搭建了基于结构光的工件三维重建实验平台。通过两组不同的实验，来验证对比本文提出的方法和传统的结构光方法在面对工件表面出现高光区域时的三维重建的精度和完整性。

实验结果表明，采用本文提出的方法进行工件表面三维重建的平均精度和完整率分别为0.013mm和99.71%。相比于传统的结构光方法，本文提出的方法在精度和完整率方面分别提高了79%和22%。由此可见，本文提出的方法针对解决工件表面出现的局部高光区域问题时，具有较好的效果。

相比于国外的结构光設备，本文所提出的改进后的结构光的应用具有一定的针对性。其主要针对工厂室内环境下，生产线上强反光的工件表面进行三维重建。该产品对室内的光源的要求相对较低，并且在室内常温环境下应用即可。在这些应用环境下，本文提出的改进后的结构光的三维重建精度和完整性相比于传统结构光有重大改善，与国外先进水平仍有一定的差距。但从成本角度考虑出发，本文提出的改进后的结构光具有极高的性价比，有很强的适用性。

参考文献：

[1]韩成，杨华，蒋振刚.基于结构光的计算机视觉[M].北京：国防工业出版社，2015.

[2]LIN H，GAO J，MEI Q，et al.Adaptive Digital Fringe ProjectionTechnique for High Dynamic Range Three-dimensional ShapeMeasurement[J].Optics Express，2016，24（7）：7703.

[3]QI Z，ZHAO W，HUANG J，et al.Highlight Removal Based onthe Regional-projection Fringe Projection Method[J].Optical En-gineering，2018，57（4）：041404甲

[4]XW A，ZZ A，FZ B，et al.Complete Calibration of a StructuredLight Stripe Vision Sensor Through a Single Cylindrical Target-Sci-ence Direct[J].Optics and Lasers in Engineering，131（12）：106096.

[5]王北一.条纹结构光三维测量中多频相位展开与高亮抑制方法研究[D].哈尔滨：哈尔滨理工大学，2018.

[6]BABA M，OHTANI K.Determining 3D Shapes of Hybrid Surfacesby Laser Rangefinder[J].Proceedings of Spie the InternationalSociety for Optical Engineering，2001，23（12）：234.

[7]张宗华，刘小红，郭志南，等.基于结构光的镜面/漫反射复合表面形貌测量[J].红外与激光工程，2020，49（3）;206.

[8]YANG Z，PENG W，LI X，et al.3D Laser Scanner System UsingHigh Dynamic Range Imaging[J].Optics&Lasers in Engineer-ing，2014，54（3）：31，

[9]SONG Z，JIANG H，LIN H，et al.A High Dynamic Range Struc-tured Light Means for the 3D Measurement of Specular Surface[J].Optics and Lasers in Engineering，2017，95（8）：8.

[10]杨鹏斌，邓林嘉，陈元，等.基于结构光的高反物体三维形貌测量方法[J].中国激光，2019，46（2）：110.

[11]陶涛，郭红卫，何海涛.镜面反射面形光学不维测量技术综述[J].光学仪器，2005（2）：90.

[12]吴翔，陈天飞.一种非接触式机器人表面涂层厚度检测系统[J].控制工程，2017，24（6）：1266.

[13]UMEYAMA S，GODIN G.Separation of Diffuse and SpecularComponents of Surface Reflection by Use of Polarization and Sta-tistical Analysis of Images[J].IEEE Transactions on Pattern A-nalysis&Machine Intelligence，2004，26（5）：639.

[14]刘飞，何春桥，申爱民，等.结构光饱和区域分区投射优化补偿方法[J].光学学报，2018，38（6）：168.

[15]CHAO C，GAO N，WANG X，et al.Adaptive Projection IntensityAdjustment for Avoiding Saturation in Three-dimensional ShapeMeasurement[J].Optics Communications，2018，410：694.

[16]TAN P，YANG J，LEI B，et al.Illumination-ConstrainedInpaint-ing for Single Image Highlight Removal[J].Journal of Software，2004，15（1）;36.

（编辑：温泽宇）

收稿日期：2021-09-03

基金项目：国家重点研发计划项目（2018YFB1307700）.

作者简介：薛峰（1979-），男，副研究员;

陈龙（1995-），男，硕士研究生.

通信作者：张峰峰（1979-），男，副教授，硕士研究生导师，E-mail：zhangfengfeng@suds.edu.cn.