微型相机模组贴装过程画胶表面三维测量方法

吴福培，余冠霖，乐聪，叶玮琳，朱树锴

（1 汕头大学 工学院 机械工程系，广东 汕头 515063）

（2 广东奥普特科技股份有限公司，广东 东莞 523860）

0 引言

作为一种便携式视频图像输入器件，微型相机模组已被广泛应用于视频会议、实时监控、远程医疗、智能手机等领域。微型相机模组的生产工艺包括洗板、烘板、画胶、贴晶、邦定、烘胶、检测等。其中，画胶质量对微型相机模组的贴装性能具有重要影响。当前常采用自动画胶机进行画胶。然而，受画胶机工艺水平限制和画胶质量影响，易产生溢胶、少胶、刮胶、断胶、偏移等画胶缺陷，从而导致相机模组功能的缺失。虽然当前已发展的二维视觉检测方法可区分良品和缺陷品，但无法给出画胶的用量信息，且难以准确辨识相似缺陷的细微差异，易导致误判［1］。因此，如何发展针对画胶表面的三维检测方法是当前画胶工艺亟需解决的关键问题。

三维检测法可分为接触式检测和非接触式检测［2-4］。接触式检测法，如三坐标测量机，其稳定性强，测量精度可达纳米级，但测量速度慢，测量范围有限，并且测量时其探头直接接触物体表面而对物体产生挤压，不适用于画胶等柔软物体的表面三维测量［5-8］。非接触检测法又可分为主动检测法和被动检测法［8-9］。主动检测法通过向待测物体表面投射光信息，并经物体表面反射、调制与解调后可得待测物体三维信息。主动检测法为非接触式测量，其测量精度高，但光学成像过程复杂，易受外部环境影响，难以满足画胶的连续测量需求［10-13］。被动检测法主要包括双目立体视觉法、单目视觉法。双目立体视觉法通过两幅图像间像素点的对应关系，获得待测物体的深度信息［14］，其特征匹配过程复杂，难以精确匹配特征点是其面临的主要问题［15］。而单目视觉法因其测量速度快和非接触性，成为画胶表面三维测量的最佳选择［16］。

针对画胶表面三维测量需求，基于单幅图像提出一种画胶表面三维测量方法。首先，建立单目视觉系统下的画胶表面光照反射模型。其次，通过分析与揭示反射模型中图像灰度值与光照强度、画胶表面倾角、漫反射系数、画胶表面反射光偏角之间的关系，建立高度信息映射模型。然后，给出高度映射模型中画胶表面高度值的求解方法以恢复待测画胶表面三维形貌。最后，通过实验验证所提方法的有效性。

1 单目视觉系统的三维信息表征

图1 为用于采集画胶样品图像的单目视觉系统示意图。其中，三色CCD 图像传感器通过光电效应映像画胶的真实颜色，红、绿、蓝色LED 光源组成三色环形结构光源。该光源的三色光以不同角度、不同高度照射被测对象，因而所获图像将包含画胶样品的表面三维信息［17］。

图1 单目视觉系统Fig.1 The monocular vision system

相机采集的画胶图像包含丰富的背景信息，为减少背景信息的干扰及提高三维检测的速度，需要对图2（a）中的画胶图像进行分割处理。根据图像中画胶区域的分布规律，结合模板匹配方法分割出图2（b）中的芯片特征。在图2（b）中，画胶表面在环形结构光源照射下具有丰富的红、绿、蓝三种颜色信息。因此，采用基于颜色阈值的图像分割方法可分割出如图2（c）所示的画胶特征。

图2 微型相机模组Fig.2 Miniature camera module

照射在画胶表面的三色光经反射后进入相机，聚焦于CCD 图像传感器成像面。由于画胶表面各点所处的高度和表面形状差异、以及其对红、绿、蓝三色光照强度及入射角不同，画胶图像上的各像素点将响应相应的灰度值。系统分析该图像灰度值的分布规律将有助于重建画胶表面三维形貌［18］。因此，拟通过系统地分析单目成像系统的成像规律建立图像灰度与物体高度的映射模型，从而求解待测画胶表面各点的高度信息，实现表面三维测量。

2 基于单幅图像的三维重建模型

2.1 可见光聚焦成像的影响因素分析

入射光线经被测表面反射后，部分反射光通过镜头聚焦于相机成像面。理想条件下，入射光照射到介质均匀分布的表面时，由于待测物体表面各向辐射均匀，可视其为入射光的辐射源。假设视场中待测物体表面面积为dB0，图像中其对应的像素面积为dBp。设dB0的光辐射度为Lr，dBp的光辐射度为Li，其关系可表示为

式中，d表示透镜直径，f为相机光心至图像传感器成像面中心的距离，α与摄像机视角相关，且一般情况下cosα可近似为1。实际条件下，入射光照射至介质不均匀分布的被测表面时，受待测表面材料性质和几何形状的影响［19］，一部分光被待测物体吸收，另一部分光经物体内部不均匀介质多次反射和折射后反射出曲面，成为新的辐射源。被测表面区域dB0上的光辐射度和漫反射光辐射度Ld的关系为

式中，fd为漫反射系数，与物体的材料性质相关，一般情况下fd<1。图像感光像元将接收到的光能强弱转换为电荷量的大小，并最终将电荷量按其量化准则以图像灰度值显示，即相机接收到的光辐射强度越大，其图像灰度值越大。待测物体表面凹凸不平的形状引起的漫反射光向各个方向均匀辐射，该辐射是相机成像时光量的主要来源。由此分析可知，图像灰度值G与漫反射光辐射度Ld成正比。环形结构光源可视作由若干个点光源汇合而成，其辐射效应等同于若干个点光源辐射之和。单个点光源的辐射特性分析同样适用于环形结构光源，而对单个点光源而言，可将其视作以S为圆心的光辐射球，其辐射模型如图3。

图3 点光源辐射模型Fig.3 The point source radiation model

如图3 所示，来自光辐射球S的光辐射于面积为dS的物体表面区域，由S发出的入射光线和辐射区域dS组成的密闭锥面内的空间为光立体角dw0，则来自辐射球的辐射强度，即点光源的光强I可表示为

式中，dΦ表示点光源S发出的能量流，光立体角dw0可表示为

式中，r表示辐射球球心距辐射区域中心的距离，θ为平面法线与辐射方向的夹角。由式（3）和（4）可得

在图像成像面上，单位面积接收到的待测物体表面辐射的能量流dϕ对辐射区域dS求导可得辐照度Li

因此，被测表面区域的光辐射度Li与点光源光强I为线性关系，图像灰度值G与被测表面区域的光辐射度Li成正比。因此，图像灰度值G与点光源光强I和物体表面倾角余弦值cosθ均为线性关系。由图3 可知，理论上镜面反射光线与实际的镜面反射光线之间存在夹角γ。将该夹角定义为反射光偏角，由物体表面粗糙度引起。物体表面粗糙度可视为微尺度上的物体表面倾角。因此，图像灰度值G与反射光偏角γ成正比。

2.2 单色光照模型

在光学成像系统中，图像中每一个像素点均对应图像传感器上一个微小的感光元，像素点的灰度值反映进入相机光线的强度信息。因此，采用单个光源可建立被测表面的单色光照模型（如图4）。

图4 中，直线L1L2表示透镜，f表示透镜焦距，直线M1M2表示图像传感器成像面，d表示透镜光心OL至图像传感器成像面M1M2的距离，曲线AWB表示待测物体表面。来自光源S的光线经表面倾角为θ的待测点W反射后，其理论反射光线为WR，而实际反射光线为WOL，且反射光偏角为γ，图像中像素点M对应的图像灰度值为G。光源光照强度为I。光源入射光线与X轴的夹角为β，可表示为

图4 单色光照模型Fig.4 The monochrome lighting model

反射光偏角γ可表示为

在单目视觉成像系统中，待测物体表面倾角θ的大小固定，且相机的透镜光心位置固定，则φ的大小也固定。因此，反射光偏角γ与β成线性关系。由于图像灰度值G与反射光偏角γ成线性关系，进而可分析出图像灰度值G与cosβ亦成线性关系。又已知图像灰度值G与体表面倾角余弦值cosθ、点光源光强I均为线性关系，由此可建立其表面高度信息的映射模型

式（9）中包含两个未知量，分别为θ和zW。该式中的其它参数可通过系统标定或实验标定获得。若要求解θ和zW，仍需建立新的约束方程，以完善所提的表面高度信息映射模型。

2.3 三色光照模型

采用的环形结构光源由红色、绿色和蓝色LED 共同组成，并由此建立如图5 所示的三色光照模型。

图5 三色光照模型Fig.5 The trichrome lighting model

图5 中，环形结构光源中的红色、绿色和蓝色光源分别被简化为红色、绿色和蓝色发光点：Sr(xr，zr)、Sg(xg，zg)、Sb(xb，zb)，且其光照强度分别为Ir、Ig、Ib。三色光入射光线与X轴的夹角分别为βr、βg、βb。其大小可表示为

将式（9）拓展至三色光照的表面高度信息映射模型，并结合式（10）可得

式中，Gr、Gg和Gb分别表示彩色图像中红色灰度值、绿色灰度值和蓝色灰度值，Ir、Ig和Ib分别表示红、绿、蓝色光源的光照强度。fr、fg和fb分别表示待测物体表面对红、绿、蓝光的漫反射系数。

2.4 三维重建算法

在已标定光源位置的单目视觉系统中，已知发光点Sr、Sg和Sb在世界坐标系下的坐标(xr，zr)、(xg，zg)和(xb，zb)，其图像坐标系下的坐标值可通过坐标系转换获得，且光照强度Ir、Ig和Ib可通过照度计标定。待测点W坐标(xW，zW)中的xW可通过其像点M的位置确定，zW为待测点W的高度。点W对光的漫反射系数fr、fg和fb可通过标定实验求解。此外，像素点M的图像灰度值Gr、Gg和Gb可从图像中获取。因此，式（11）中仅包含θ和zW两个未知量，任意选取其中两组等式建立方程组即可求解出未知量θ和zW。由于单目视觉系统的对称性，图像中待测物体所有检测区域均可采用相同的方法求取相应的高度信息，从而完成被测表面的三维重建。

3 实验结果与分析

为检验所提方法的有效性，使用图6 所示的单目视觉系统对现有的画胶样品进行三维测量实验。实验所用芯片的尺寸为8.5 mm×8.5 mm，相机成像视场为15 mm×11.25 mm（可对现有的画胶样本进行检测），相机分辨率为640 pixel×480 pixel。检测前，标定环形结构光源焦点处的光强，分别为Ir=950 cd，Ig=1 262 cd，Ib=197.5 cd。为获取漫反射系数，采用与画胶相似材质且已知高度及表面倾角的标定物进行实验，结合式（11）可得漫反射系数。实验结果分别为fr=0.784 9，fb=0.898 5。

图6 单目视觉系统Fig.6 The monocular vision system

画胶尺寸小且易产生形变，普通接触测量难以准确获得胶水的三维形貌，因此采用激光三角法所得的测量结果作为实际高度进行误差分析。采用所提方法对图2 所示的画胶进行三维测量，结果如图7（a）。为检验实验结果的有效性，采用基于单目视觉的灰度迭加法［20］和基于单目视觉的方程计算法［21］对同一画胶进行三维测量和结果对比。相应的重建结果分别如图7（b）、图7（c）。

图7 画胶重建结果对比Fig.7 Comparison of reconstruction results of glue

如图7（a）、图7（c）所示，画胶表面的较高位置位于画胶轮廓骨架处，与实际画胶形状相符。图7（b）中，画胶表面的较高位置亦位于画胶轮廓骨架处，且具有明显的高度转折处，不符合画胶时胶水的实际流动情况。以所提方法与其它两种方法进行实验，检验各方法的测量精度，分别取图7 中y轴总高度1/4、1/2、3/4的截面（画胶截面如图8）为截面1、截面2、截面3，将其所测的画胶三维重建结果与画胶样品的实际高度进行对比。

图8 画胶截面图Fig.8 The cross-section of the glue

在所选画胶截面中，分别对每个截面的所有点与相对应的点的实际高度进行对比。其结果如表1（表中数据的单位均为mm）。

表1 三种重建方法的检测结果比较Table 1 Comparison of measurement results based on three reconstruction methods

从表1 可知，论文方法的平均误差、最大误差在三种方法中均最小。论文方法的重建误差比文献［21］方法小，主要原因在于文献［21］所建立的高度信息映射模型中存在冗余未知量，而论文对其模型进行优化并减少该冗余量，导致此两种方法的重建误差区别明显；文献［20］方法利用像素间的关联性，采用梯度迭加的方式，从已知高度的起点处迭加高度分量获得下一点的高度。在高度分量存在误差时，随着迭加的进行，误差逐渐增加，从而导致该方法的误差范围较大；而论文所提方法基于建立的高度信息映射模型直接求解被测表面高度，无需迭加，因而误差较小，进一步验证了所提方法的有效性。

为检测所提方法的实时性，选取相同尺寸的10 张画胶样品图像进行连续检测，并与文献［20］和文献［21］方法的检测时长进行对比。其检测结果如图9。实验结果表明，所提方法、文献［20］方法和文献［21］方法对单张图像的平均检测时长分别为0.130 s、0.105 s 和0.168 s。与文献［20］方法相比，本文方法的检测时间略长，主要原因在于论文方法比文献［20］方法具有更高的算法复杂度；与文献［21］方法相比，本文方法的检测时间略短，主要原因在于该方法比文献［21］方法少一个未知量，在物体表面区域所有像素点高度计算中明显减少了计算量，说明所提方法的实时性有较明显的提升；且本文所提方法的检测时长在0.2 s 内，可用于高速生产过程的画胶表面三维测量。

图9 三种重建方法的检测时长对比Fig.9 Comparison of detection time based on three reconstruction methods

4 结论

基于单目视觉系统建立物体表面的高度信息映射模型，提出了恢复待测物体表面形貌的三维测量方法。在建立物体表面光照模型中揭示了模型参数对图像灰度值的映射规律：在小范围内，图像灰度值与光源光强、物体表面倾角、漫反射系数及反射光偏角可分别近似为线性关系。基于建立的高度信息映射模型给出了被测表面高度信息的求解方法，该方法可准确恢复微型相机模组芯片上的画胶表面三维形貌。实验结果表明：本文方法的测量结果与实际高度的平均误差小于10 μm，且单张图像的检测时间小于0.2 s，验证了该方法的有效性和实时性。在该模型中，当实际测量中物体表面倾角过大时对光线会产生遮挡，某倾斜表面可能会出现不同待测点投影至相同像素点，从而影响灰度值的大小，因此该方法适合于较为平缓的被测表面。