基于regionprops函数的并行彩色共聚焦测量系统的三维重构

2022-01-20张雅丽余卿程方王翀王寅

光学精密工程 2022年1期

张雅丽，余卿，程方，王翀，王寅

张雅丽，余卿*，程方，王翀，王寅

（华侨大学机电及自动化学院，福建厦门 361021）

针对并行彩色共聚焦测量系统在进行三维重构时质心识别效果差，处理效率低等问题，提出一种高效率、高精度的三维重构方法。该方法首先对三维重构实验得到的所有图像进行目标提取和图像拼接，得到待处理的拼接图像，通过MATLAB的regionprops函数和形态学处理提取拼接后各个被测点的质心及质心连通区域，并利用颜色转换算法进行相应的“值-高度”转换，最后，比较并结合插值拟合算法实现了物体表面三维形貌的重构。为了验证该算法的可行性，针对一元硬币的“N”字和“E”字进行处理。实验结果表明，该系统的轴向测量范围为80 μm，测量精度可达到微米级别。该算法可以快速有效地实现物体表面三维形貌的还原，相较于传统方法，处理效率提高5～6倍。

三维形貌测量；彩色共聚焦；并行测量；图像处理

1 引　言

彩色共聚焦技术作为物体表面三维形貌测量技术之一，常用于厚度测量［1-2］，粗糙度和瑕疵检测［3-4］，三维重构［5-6］和生物医疗［7］等。与传统激光共聚焦技术［8］相比，彩色共聚焦技术避免了轴向扫描，提高了测量效率和测量精度。为了提高传统单点彩色共聚焦系统的测量效率，并行彩色共聚焦测量技术［9-10］应运而生，该技术主要利用光分束器件［11］将一束光分成多束光以实现并行测量。在并行彩色共聚焦测量装置中，彩色相机采集图像时常常受到杂散光和离焦光的影响［12］，所采集的每一幅图像由于图像质量不同，很难一次性识别所有光点的质心，进行目标被测点的定位、提取和处理。尤其是在并行测量的过程中，采集到的图像质量较差，质心识别效果差，图像数量比较多，处理耗时长且效率低。针对这些问题，本文首先利用图像拼接技术［13-14］将彩色相机采集到的结果用掩膜［15］进行抠图处理，截取圆形光点的目标区域，圆形的形状方便了后续的质心识别。之后再将这些目标区域拼接在一起，进一步利用MATLAB的regionprops函数［16-17］进行质心及质心连通区域提取，并结合实验室自主研发的颜色转换算法［18］实现“值-高度”转换，进行物体表面三维形貌的还原和插值拟合［19-20］。本文提出了一种用于并行彩色共聚焦技术的三维重构方法，不仅大大减少了计算量，而且明显提高了处理效率，能行之有效地实现质心提取以及三维形貌的重构。

2 系统原理及实现

2.1　测量原理及系统搭建

基于光纤束的并行彩色共聚焦测量系统以传统的单点彩色共聚焦测量技术［21］为基础，利用光纤束作为光分束器件实现并行测量的效果，其原理如图1所示。光源发出的复色光经光纤束分束后，通过分光镜到达色散管镜［22］产生色散效果，使得不同波长的光线按照一定规律聚焦在光轴不同高度上。其中，只有聚焦在被测物表面的光线，经被测物面反射后能够通过探测光路的小孔阵列，并由面阵彩色相机接收，而其他波长的光线则无法通过小孔阵列。光纤束出瞳、小孔阵列和被测物表面相对应的焦点三者互为共轭关系。彩色相机拍照后，利用标定结果，根据图像的不同颜色对应不同的物方高度，结合位移平台的一维线扫描运动，即可得到整个被测物面的高度信息，从而还原被测物面的三维形貌，达到三维重构的效果。

图1　基于光纤束的并行彩色共聚焦测量原理

基于光纤束的并行彩色共聚焦测量实验平台［23］如图2所示。

图2　并行彩色共聚焦测量实验平台

2.2　颜色转换算法

颜色空间是使用一组数值表示颜色的抽象数学模型。并行彩色共聚焦测量系统中所涉及的颜色空间主要是RGB颜色空间和HSI颜色空间，如图3所示。

图3　RGB颜色空间与HSI颜色空间

实验室的前期研究工作表明，彩色图像的RGB颜色空间可以转换为HSI颜色空间，而HSI 颜色空间中的色调值可以与物体高度值建立良好的对应关系，即“值-高度”对应关系，因此可以通过颜色转换算法得到被测点的值，进而得到各个被测点处相应的高度信息，并最终测得整个被测物面的三维形貌。色调表示角度，其范围为［0，2π］。其中，纯红色的角度为0，纯绿色的角度为2π/3，纯蓝色的角度为4π/3。

根据以上分析，将彩色相机直接采集到的颜色信息RGB值转换为与波长相关的色调参数值，转换公式如下：

这里：

2.3　三维图像采集

231标定

首先，需要对系统进行标定实验。在标定过程中，被测物以50 μm为固定步距进行轴向移动，在轴向的不同高度位置处彩色相机拍照得到系统成像面不同颜色的变化。以光纤束其中的一根光纤为例，利用实验室自主研制的颜色转换算法得到“值-高度”曲线，如图4所示。

图4　标定实验结果

最后，对“值-高度”曲线80 μm线性范围内的数据进行直线拟合，以光纤1为例，拟合结果如图5所示。对应的“值-高度”拟合关系式为：

图5　线性拟合结果

其中：为值，为载物台的轴向高度。根据标定实验结果可知：该系统的测量范围约为80 μm，且所有光纤对应的拟合方程的线性相关系数均在0.99左右。

232三维图像采集

在进行物体表面三维重构时，实验选择一元硬币背面的“N”字和“E”字作为测量目标，如图6所示。在测量过程中，位移台沿垂直于光纤束和系统光轴的方向进行一维线扫描运动，运动方向与光纤束垂直，如图7中的白色箭头所示，同时也与系统光轴垂直。位移台一维线扫描速度为0.025 mm/s，扫描长度为2.5 mm，彩色相机以每秒5张的拍照频率共拍照得到500张图像，每张图像上有42个光纤测量点，共计21 000个光纤测量点。

图6　一元硬币实物图

图7　“N”字测量示意图

3 图像处理算法

3.1　三维重构算法流程

本文提出的三维重构算法结合OpenCV和MATLAB来实现。首先，通过OpenCV库实现图像拼接，得到完整拼接图像之后利用MATLAB中的Regionprops（Get the Properties of Region）函数识别质心并提取质心连通区域。Regionprops函数是MATLAB中用来度量图像区域属性的函数，可以用来测量标注矩阵中每一个标注区域的一系列属性。利用该函数结合形态学处理得到被测点质心之后，再对每个质心连通区域都进行“值-高度”转换，实现自动识别、定位和处理拼接图像上所有的被测光点，最终还原得到物体表面的三维形貌。本文提出的图像处理算法的流程如图8所示。

图8　图像处理算法流程

311图像拼接

图像拼接流程如下：依次读取图像之后进行图像预处理、掩膜抠图、底片融合拼接等。

第一步，图像预处理。由于相机接收端获取的图像像素和尺寸较大，且冗余的背景区域占据较大的处理空间，因此需进行预处理操作，即对所有待处理图像进行批量旋转、裁剪等方式来去除冗余的背景区域，只保留待处理的光点区域，以节省内存空间，提高处理效率，预处理前后的图像如图9所示。

第二步，掩膜抠图。掩膜又称为掩码，相当于硬件系统中的滤光片。当使用掩膜参数时，操作只会在掩膜值为非空的像素点上执行，并将其他像素点的值置为0，从而可以提取所需要的光点目标像素，屏蔽冗余背景像素，直接生成呈行排列的圆形光点图像。这里利用自制的掩膜抠取目标图像，目的是避免图像中不同位置的光点质量情况不一致而造成根据原图生成的掩膜不够准确，影响目标图像的精度以及后续光点质心的识别。自制掩膜图像以及利用掩膜抠取的图像如图10所示。

图10　掩膜抠图的相关图像

第三步，底片融合。需要先根据并行彩色共聚焦测量得到的彩色图像的数量和预处理后的尺寸设计一个合适的空白图片，称之为底片。设定底片的感兴趣区域（Region of Interest， ROI），然后将步骤二中利用掩膜抠取出来的图像一一按图11所示的位置关系叠加到底片的ROI中。在图11中，1，2，…，42分别代表光纤束的光纤序号（图10中从左至右依次排列）；1，2，…，500分别代表按照时刻依次拍照得到的照片序号。现将每张照片中每根光纤的位置按照图11所示的位置关系布置，图12为拼接完成的图像，从图像中可以看到拼接后轮廓清晰可见的字母“N”和“E”。

图11　ROI中光点的位置关系

图12　拼接后的“N”字和“E”字

312质心连通区域提取

对拼接好的图像，需要得到每个被测光点质心的位置坐标以及质心连通区域。在对拼接图像直接进行质心提取之前，需要对拼接后的字母进行形态学处理，主要涉及数学形态学中的开运算，即先将图像腐蚀，再对腐蚀结果进行膨胀，从而去除图像噪点，选取的局部拼接图像如图13（a）所示，对原图进行二值化并取反后的图像如13（b）所示。如果不经过形态学处理直接利用MATLAB 中的regionprops函数进行质心识别，图像中的噪点会对质心识别产生一定的干扰，产生如图13（c）中的圆圈所示的错误识别结果。经过形态学处理后的图像如图13（d）所示，图像中的光点在去噪后更加圆滑，利用regionprops函数的属性“Centroid”和“BoundingBox”可以更准确地提取出质心坐标及质心连通区域，如图13（e）所示。

Regionprops函数的调用格式为STATS=regionprops（，properties），该函数可用来测量标注矩阵中每一个标注区域的一系列属性。中不同的正整数元素对应不同的区域，例如：中等于整数1的元素对应区域1；中等于整数2的元素对应区域2；以此类推。返回值STATS是一个长度为max（（：））的结构数组，结构数组的相应域定义了每一个区域相应属性Properties下的度量。本文中的Properties没有指定，等于“basic”，即属性：“Area”“Centroid”和“BoundingBox”。如表1所示，ndims（）是指图像包含的相应区域的个数。

表1部分Properties属性介绍

Tab.1　Description of partial properties

本例的各部分区域的“Centroid”（质心）和“BoundingBox”（质心连通区域）如图13（e）所示。其中，光点圆心为光点质心，光点外部的矩形虚线轮廓为该光点的质心连通区域。依据图13（e）为例，利用MATLAB中的regionprops函数将500×42个光点的质心位置及质心连通区域全部提取出来。

313二维差值拟合

在得到每个被测光点的质心及质心连通区域之后，将标定实验得到的“值-高度”线性关系式和图像中的各个质心连通区域相对应，通过计算每个质心连通区域的平均值，得到相应的高度值，再结合三维绘图指令进行二维插值拟合。图14为进行二维插值拟合前的“N”字原始图像。

图14　“N”字原始图像

二维数据插值，即曲面插值。通过构造一个二元插值函数去近似插入更多的插值点，使得图像更为精确和平滑。常用的几种插值方法如下：双线性插值、自然邻域插值、最近邻域插值和双三次插值等。

图15　“N”字三维重构

双三次插值法不仅考虑到周围4个直接相邻像素点灰度值的影响，还考虑到它们灰度值变化率的影响，因此克服了前面3种方法的不足之处。如图15（c）和15（b）所示，双三次插值法能够产生比双线性插值更为平滑的边缘，处理后的图像质量最佳。

综上所述，本文选择双三次插值作为插值拟合算法还原物体表面的三维形貌。插值拟合后的图像如图15（d）所示，图中所有高度值均为物体的实际高度值。为了验证双三次插值算法的可行性，还对硬币表面的“E”字进行了双三次插值法处理，处理结果如图16所示，可见利用双三次插值法进行插值拟合有较好的三维还原结果。

图16　“E”字三维重构图

从还原结果可以看出，该并行彩色共聚焦测量系统具备较好的三维形貌恢复能力，且针对该系统研究的三维重构方法也具备较好的适用性。

3.2　不同算法的比较

传统的三维重构方法处理流程如图17所示。本文提出的三维重构方法的不同主要体现在图像拼接和质心连通区域提取这两个方面。

图17　传统三维重构方法流程

在图像拼接方面，传统的三维重构方法在处理三维形貌扫描测量得到的多张图像时，主要是通过依次对单张图像进行截图和质心识别，提取三维物体的质心位置，并通过“值-高度”转换得到对应质心位置的高度，从而得到被测物体的三维重构图。与传统的依次对单张图像一一进行处理的三维重构方法相比，基于regionprops函数的并行彩色共聚焦测量系统三维重构方法的优势在于：先利用OpenCV库将图像拼接，再对拼接图像进行三维重构，从根本上避免了同时对多张图像处理的耗时长和效率低，一定程度上提高了处理效率；在质心连通区域提取方面，传统的三维重构方法主要是通过对每个质心区域进行二重循环，对轴和轴的数据进行遍历，即找到每个质心区域的所有像素值对应的轴坐标和轴坐标，对它们进行平均值处理，从而求出质心位置，再对每一个质心区域进行以一定像素为半径的圆形截取，即可得到每个光点对应的质心连通区域。而本文提出的三维重构方法应用MATLAB中的regionprops函数，可以直接快速地识别被测点质心及质心连通区域，比一般的质心提取算法效率更高。

实际结果表明，利用本文提出的三维重构方法进行物体表面三维形貌还原耗时20 min左右，处理效率提高了5～6倍。两种方法的处理结果对比如表2所示。综上，基于OpenCV库的图像拼接和MATLAB中regionprops函数的应用提高了并行彩色共聚焦测量的处理效率，利用该方法进行三维重构具有一定的可行性。

表2两种处理方法结果对比

Tab.2　Comparison of results of two treatment methods

3.3　不同三维重构方法的比较

除了上述本文所提到的三维重构方法之外，这里将蔡司激光共聚焦显微镜LSM700和泰勒霍普森表面轮廓仪PGI1240作为参考，与本文所提的并行彩色共聚焦测量方法进行对比，结果如表3所示。

表3本文方法与商用仪器的耗时对比

Tab.3　Time-consuming of proposed method compared with commercial instrument

由表3可知，本文提出的并行彩色共聚焦三维测量系统在保证测量精度的前提下，具备耗时短、效率高的特点。

4 结　论

本文研究了一种基于regionprops函数的并行彩色共聚焦测量系统三维重构方法。该方法在光纤束并行彩色共聚焦原理的基础上，首先对原始图像进行图像预处理，去除冗余背景区域，对预处理后的图像借助OpenCV库实现目标区域的抠取和图像拼接，再利用MATLAB中的regionprops函数提取目标光点的质心及其连通区域，进行“值-高度”转换，最后根据不同测量位置处的光点对应的不同高度值建立三维图像，比较不同的插值算法的原理并选择双三次插值法进行插值拟合，优化物体表面三维形貌的还原结果。本文提出的算法避免了杂散光和离焦光所导致的图像噪声的影响，可以精确地提取出所需要处理的目标光点区域，提高了处理精度，精度在微米级别；同时，图像拼接的应用也极大地缩短了处理时长，提高了处理效率。实验结果表明，该算法对材料表面三维形貌的还原结果具备良好的应用和参考价值。

［1］冯国华. 基于光谱共焦的厚度检测系统研究［D］. 杭州：浙江大学， 2020.

FENG G H.［D］. Hangzhou： Zhejiang University， 2020. （in Chinese）

［2］ BERKOVIC G， ZILBERMAN S， SHAFIR E，. Chromatic confocal displacement sensing at oblique incidence angles［J］.， 2020， 59（10）： 3183-3186.

［3］何宝凤，丁思源，魏翠娥，等. 三维表面粗糙度测量方法综述［J］. 光学精密工程， 2019， 27（1）： 78-93.

HE B F， DING S Y， WEI C E，. Review of measurement methods for areal surface roughness［J］.， 2019， 27（1）： 78-93. （in Chinese）

［4］ DU H L， ZHANG W H， JU B F，. A new method for detecting surface defects on curved reflective optics using normalized reflectivity［J］.， 2020， 91（3）： 036103.

［5］ LUO D， TAPHANEL M， CLAUS D，. Area scanning method for 3D surface profilometry based on an adaptive confocal microscope［J］.， 2020， 124： 105819.

［6］ CHUN B S， KIM K， GWEON D. Three-dimensional surface profile measurement using a beam scanning chromatic confocal microscope［J］.， 2009， 80（7）： 073706.

［7］ OLSOVSKY C， SHELTON R， CARRASCO-ZEVALLOS O，. Chromatic confocal microscopy for multi-depth imaging of epithelial tissue［J］.， 2013， 4（5）： 732-740.

［8］赵维谦，王龙肖，邱丽荣，等. 激光聚变靶丸内表面轮廓测量系统的研制［J］. 光学精密工程， 2019， 27（5）： 1013-1023.

ZHAO W Q， WANG L X， QIU L R，. Development of inner-surface profile measurement system for ICF capsule［J］.， 2019， 27（5）： 1013-1023. （in Chinese）

［9］张一，余卿，张昆，等. 基于数字微镜器件的并行彩色共聚焦测量系统［J］. 光学精密工程， 2020， 28（4）： 859-866.

ZHANG Y， YU Q， ZHANG K，. Parallel chromatic confocal measurement system based on digital micromirror device［J］.， 2020， 28（4）： 859-866. （in Chinese）

［10］ HILLENBRAND M， WEISS R， ENDRÖDY C，. Chromatic confocal matrix sensor with actuated pinhole arrays［J］.， 2015， 54（15）： 4927-4936.

［11］余卿，余晓芬，崔长彩，等. 并行共焦测量中的并行光源技术综述［J］. 中国光学， 2013， 6（5）： 652-659.

YU Q， YU X F， CUI CH C，. Survey of parallel light source technology in parallel confocal measurement［J］.， 2013， 6（5）： 652-659. （in Chinese）

［12］ CHEN L C， NGUYEN D T， CHANG Y W. Precise optical surface profilometry using innovative chromatic differential confocal microscopy［J］.， 2016， 41（24）： 5660.

［13］李玉峰，李广泽，谷绍湖，等. 基于区域分块与尺度不变特征变换的图像拼接算法［J］. 光学精密工程， 2016， 24（5）： 1197-1205.

LI Y F， LI G Z， GU SH H，. Image mosaic algorithm based on area blocking and SIFT［J］.， 2016， 24（5）： 1197-1205. （in Chinese）

［14］代少升，姚俐. 基于ROI的高精度红外全景拼接算法研究［J］. 半导体光电， 2020， 41（4）： 572-577.

DAI SH SH， YAO L. Research on the method of infrared panoramic image mosaic based on ROI［J］.， 2020， 41（4）： 572-577. （in Chinese）

［15］王云艳，周志刚，罗冷坤. 基于Sobel算子滤波的图像增强算法［J］. 计算机应用与软件， 2019， 36（12）： 184-188.

WANG Y Y， ZHOU ZH G， LUO L K. Image enhancement algorithm based on sobel operator filtering［J］.， 2019， 36（12）： 184-188. （in Chinese）

［16］李波，董明利，张帆. 端面不透光的PDMS微柱阵列制备与图像处理方法研究［J］. 红外与激光工程， 2018， 47（12）： 380-387.

LI B， DONG M L， ZHANG F. Research of preparation and image processing method of PDMS micropost arrays with opaque top surfaces［J］.， 2018， 47（12）： 380-387. （in Chinese）

［17］ YANG S W， LIN C S， LIN S K，. Automatic defect recognition of TFT array process using gray level co-occurrence matrix［J］.， 2014， 125（11）： 2671-2676.

［18］张昆，余卿，邵尊桂，等. 基于彩色相机颜色转换算法的彩色共聚焦测量方法［J］. 光学学报， 2019， 39（12）： 151-158.

ZHANG K， YU Q，SHAO Z G，. Chromatic confocal measurement method using color camera and color conversion algorithm［J］.， 2019， 39（12）： 151-158. （in Chinese）

［19］马岩，张超子，刘也，等. 采用双三次插值的空间目标偏振成像［J］. 光学精密工程， 2019， 27（12）： 2555-2563.

MA Y， ZHANG CH Z， LIU Y，. Polarization imaging of space target based on bicubic interpolation［J］.， 2019， 27（12）： 2555-2563. （in Chinese）

［20］龚道然，李思宁，姜鹏，等. 激光雷达三维距离像超分辨重构方法研究［J］. 红外与激光工程， 2020， 49（8）： 60-66.

GONG D R， LI S N， JIANG P，. Research on super resolution reconstruction of laser radar range profile［J］.， 2020， 49（8）： 60-66. （in Chinese）

［21］ RUPRECHT A K， WIESENDANGER T F， TIZIANI H J. Chromatic confocal microscopy with a finite pinhole size［J］.， 2004， 29（18）： 2130-2132.

［22］崔长彩，李煌，余卿，等. 彩色共焦系统可调制色散物镜设计［J］. 光学精密工程， 2017， 25（4）： 343-351.

CUI CH C， LI H， YU Q，. Design of adjustable dispersive objective lens for chromatic confocal system［J］.， 2017， 25（4）： 343-351. （in Chinese）

［23］张雅丽，余卿，程方，等. 光纤束并行彩色共聚焦测量系统及实验研究［J］. 仪器仪表学报， 2020， 41（12）： 23-31.

ZHANG Y L， YU Q， CHENG F，. Parallel Chromatic confocal measurement system based on optical fiber bundle and its experimental study［J］.， 2020， 41（12）： 23-31. （in Chinese）

Three-dimensional reconstruction for parallel chromatic confocal measurement system based on regionprops function

ZHANG Yali，YU Qing*，CHENG Fang，WANG Chong，WANG Yin

（，，361021，），：

To solve the problems of poor centroid recognition and low processing efficiency in 3D reconstruction of parallel chromatic confocal measurement systems， a high efficiency and high precision 3D reconstruction method was proposed in this paper. In this algorithm， target extraction and image splicing were performed on all the experimental images to obtain spliced images. In addition， using the regionprops function in MATLAB， the centroid and its connected area of each measured point were extracted， and the-value and height relationship was constructed with the color conversion algorithm method. Finally， the interpolation fitting algorithm was used to reconstruct the 3D surface topography of the object. To verify the feasibility of the algorithm， the letter “N” and “E” on a one-yuan coin was measured in the author’s self-built parallel chromatic confocal system. The experimental results show that the axial measuring range of the system is 80 μm. Therefore， the measurement accuracy can reach the micron level， and this algorithm can quickly and effectively reconstruct the 3D surface topography of the sample. Compared with the conventional method， the processing efficiency is 5-6 times higher.

three-dimensional profile measurement； chromatic confocal measurement； parallel measurement； image processing

TH742

10.37188/OPE.20223001.0045

1004-924X（2022）01-0045-11

2021-04-26；

2021-05-13.

国家自然科学基金资助项目（No.52075190，51505162）；福建省科技计划项目（No.2019I0013）；华侨大学中青年教师科研提升资助计划项目（No.ZQN-PY604）

张雅丽（1997），女，安徽六安人，硕士研究生，2019年于山东科技大学获得学士学位，主要从事光电检测的研究。E-mail：1612737648@qq.com