Gray码结合线移的结构光三维测量

石爱军，白瑞林，田青华

(江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122)

Gray码结合线移的结构光三维测量

石爱军，白瑞林，田青华

(江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡214122)

针对二值条纹的边缘扩散问题，本文提出了一种改进型线移的结构光三维测量方法。该方法根据图像像素的邻域关系和逻辑关系，采用优化预处理方法得到了条纹图像的单像素边缘；根据边缘扩散对边缘定位的影响，采用一种二值图案对称线移的方法，线移条纹以Gray码最后一幅图案的条纹中心为基准向两侧对称线移，线移条纹宽度与Gray码最小周期宽度相等、方向与Gray码条纹方向平行；采用正交投射实现了对测量视野的唯一性编码。实验结果表明，该方法对平面重构的相对误差为0.07%，耗时5.41 s，满足精度和实时性的要求。将该方法应用在混合物体的表面测量实验中，结果验证该方法对不同工件具有良好的适应性。

三维测量；结构光；Gray码；线移

0 引言

随着机器人产业不断发展，机器人已经能快速处理并记忆相关任务，但在自动装配过程中，仍需要人工引导机器人精确移动并抓取目标。从一个随机堆放或未经整理的箱体中以一个正确的姿态抓取目标，这种能力被叫做“随机箱体抓取”(Random Bin Picking，RBP)[1]。1986年，MIT教授Berthold K.P.Horn在《机器人视觉》一书中指出，推广工业机器人应用的障碍之一就是缺乏处理未精确定位工件的能力。

结构光法具有成本低、分辨力高和速度快的优势，是实用性最强的光学非接触三维测量技术。其中，Gray码结合线移的方法可在不改变解码准确度的同时提高采样点密度，被广泛应用于物体表面三维测量[2]。相对于相移法易受物体形状变化的不连续、采集条纹图像的非正弦性和图像噪声的影响[3]，线移法由于采用图案条纹边缘上的点作为采样点，因而具备更好的抗干扰能力，但受被测物表面散射、光学系统点扩散特性及投影仪和摄像机的离焦等因素的影响，二值条纹边缘会发生扩散[4]，线移条纹编码和边缘提取方法直接影响重构精度和速度。Stančić I等[5]使线移条纹宽度为Gray码最小周期的1/8，细条纹宽2 mm，将细条纹中心线上的点作为图像采样点。该方法提高了采样点密度，但是对硬件要求较高，未考虑强反射对边缘定位的影响；Song Z等[6]采用1/2 Gray码最小周期宽度作为线移条纹宽度，每个线移周期由1个白条纹和1个黑条纹组成，若Gray码最小条纹宽度为m个像素，则线移图案平移m-1次，并利用Gray码反码和改进的过零检测器提取亚像素边缘，该方法对平面重构的平均误差仅为1.4 μm，但测量视野小，适用于较小物体的致密三维重构；其他抑制边缘扩散的方法有辅助编码法[7]、亚像素定位法[8]等。因此，当线移条纹宽度较宽时，对硬件要求较低，边缘定位误差小，但是采样点密度低；反之，当线移条纹宽度较窄时，对硬件要求高，需要采用亚像素技术或辅助编码，定位精度高，但耗时长，不符合实时性要求。

本文针对结构光测量中的边缘扩散问题，结合Gray码边缘解码，提出了一种改进型线移的组合编码方法。首先，针对阴影、多像素边缘和干扰边缘，本文采用图像像素的邻域关系和逻辑关系对边缘优化处理，得到单像素边缘；然后，在未精确定位Gray码边缘的情况下，线移图案以Gray码最后一幅图案中心为基准向两侧对称线移，避开Gray码边缘引起的定位误差，提高解码的正确率。

1 Gray码编解码

1.1 Gray码编码

由于CCD像素点中心解码存在固有的一位解码误差，本文采用Gray码条纹边缘进行编解码[9]。首先由投影仪向被测物投射六幅Gray码黑白条纹图案，然后利用左右摄像机采集经被测物高度调制后的变形条纹图案。图1为待测量的混合物体图像，图2为6位Gray码图案及右摄像机采集图像序列，图3为5次线移图案及右摄像机采集图案序列。

图1 混合物体初始图像Fig.1Original image of mixed targets

图2 Gray码图案与右摄像机采集图像序列Fig.2Gray code patterns and images from right camera

图3 线移图案与右摄像机采集图像序列Fig.3Line-shift patterns and images from right camera

1.2 图像预处理

利用边缘进行解码，在Gray码解码前需要对图像进行预处理，得到条纹图案中有效测量区域的单像素边缘。具体操作如下：

1)采用中值滤波对采集图像进行预处理，去除图像传感器及传输过程中产生的椒盐噪声；对滤波后图像归一化处理，消除左右摄像机光照不一致造成的影响。

2)利用Ostu法对图像进行阈值处理，得到二值图像后，采用半径为5的圆盘结构元素对图像进行先闭后开的形态学处理，去除毛刺和内部孔洞。

3)利用边缘检测器提取像素边缘，提取结果如图4(a)所示，图4(b)、4(c)、4(d)分别为图4(a)中三处标记的放大图。

图4 边缘提取结果与局部放大图Fig.4Result of edge detection and enlarged views of marks

4)去除阴影边缘。阴影为摄像机拍摄不到的区域，左右摄像机位姿不同，采集图像中阴影区域也不同，由图4(b)可以看出，阴影边缘对条纹边缘产生影响。由于混合物体高度不同，产生的阴影区域大小不一，采用一般的形态学方法难以去除。为了提高边缘解码的正确率，先对测量对象投射全亮图案，然后利用上述步骤1和步骤2对采集到的图像进行处理，再采用半径为6的圆盘结构元素对图像进行腐蚀形态学操作，结果如图5(a)所示，最后将该阴影图像与图4(a)的条纹图像进行“与”逻辑运算，去除阴影边缘。标记“1”去除阴影边缘后的图像如图5(b)所示。

图5 优化处理结果Fig.5Optimized results of marks

5)对边缘优化处理。由图4(c)可以看出，在边缘弯曲的部分存在多像素边缘，图4(d)显示主方向条纹两侧存在干扰边缘，为了防止匹配时存在一对多的情况，需要细化多像素边缘并消除非主方向干扰边缘。分析可知，这两种干扰边缘垂直于主方向的方向上存在不少于一个像素，可通过下面的方法进行优化。

若条纹边缘非零像素的地址为(x,y)，有效边缘像素地址为(x',y')，(x,y)处对应的灰度值为f(x,y)，则横向条纹的有效像素地址为

纵向条纹的有效像素地址为

利用上述预处理方法，既消除了不同物体造成的阴影边缘，也细化了多像素边缘并抑制了非主方向干扰边缘，得到了单像素边缘，有利于边缘解码和匹配。图4(c)、4(d)优化处理后的结果如图5(c)、5(d)所示。

1.3 Gray码解码

解码时，将边缘上的点作为图像采样点，并根据采样点的二进制码值求解Gray码码值。

若求第i(i£n)幅二值图像中某条边缘的码值，按其在前几幅二值图像中相应位置处的二进制码值求取Gray码，边缘码值k计算式：

2 线移条纹中心编解码

2.1 边缘扩散影响

影响边缘定位精度的因素有很多，包括表面散射、光学系统点扩散和离焦。此外，曝光时间也会影响边缘扩散，实验发现，当曝光时间在1/1 502 s～1/400 s之间时黑白条纹宽度趋于稳定，且黑条纹宽度略大于白条纹宽度，本文重构实验选取曝光时间为1/1 000 s。

2.2 计算线移区间

计算Gray码最小周期条纹相邻边缘之间的距离Wk，对周期宽度进行分类，并计算线移区间。

选取不含工件的L行像素(纵向条纹选取L列)，L行第k个最小周期条纹相邻边缘的平均距离为

设投射Gray码图案中最小条纹宽度为Wmin，设置阈值1s、2s，且，则存在三种周期宽度：

其中：Wh为宽度远小于Wmin的周期宽度，Wz为宽度接近Wmin的周期宽度，Wb为宽度远大于Wmin的周期宽度。

图6 4位Gray码最小周期宽度示意图Fig.6Schematics of minimum stripes width of four Gray code patterns

为防止线移条纹在平移时发生周期错位，应选取Gray码周期中最小宽度作为线移图案的平移区间Ws，但为了避免大误差值对取值的影响，选择Gray码三种周期条纹宽度中较小值的均值作为Ws，单位平移距离d计算公式为

2.3 线移条纹编解码

投射Gray码图案后，继续投射宽度与Gray码最小周期宽度相等、方向与Gray码条纹方向平行的二值条纹图案，将该图案条纹向左、向右对称平移s次，单次平移距离为d。线移图案采集图像经预处理后得到线移条纹边缘，取中值得到各条纹的中心，根据该条纹对应的Gray码条纹确定线移条纹所处的周期，对线移条纹进行解码。

设某线移条纹处于第k个Gray码周期内，即该Gray码条纹的前一个边缘码值为k，后一个边缘码值为k+1，若该线移条纹为第i(i£s)次向左平移的条纹，则该条纹的周期内编码为

结合Gray码周期的码值为

同理，若该线移条纹为第i次向右平移的条纹，则该条纹周期内编码结合Gray码周期的码值为

Gray码结合线移的解码示意图如图7所示，Gray码边缘图中，虚线为理论定位线，实线为实际定位线。

利用条纹中心向两侧对称位移的方法，避开了因边缘扩散造成的边缘定位误差，从而消除了线移条纹周期定位的解码误差，提高了全局解码的正确率。

图7 Gray码结合线移解码示意图Fig.7Decoding of combining edges of Gray code and line-shift patterns

3 求解三维坐标

利用正交投射的方法，左视图正交方向上的码值lh-code、lv-code和右视图正交方向上的码值rh-code、rv-code，获得左、右视图全局编码值：

其中：Lcode为左视图全局编码值，Rcode为右视图全局编码值。利用式(10)可得整幅视图的唯一性编码。

在右视图中搜索与左视图中码值相同的点，将左右视图对应点坐标分别存储在有效地址Lmask和Rmask中，并采用四阶径向畸变模型[10]对Lmask和Rmask中的地址进行校正，利用三角测量法求解各点的三维信息。

4 实验与分析

为了验证本文的三维测量方法，搭建了结构光双目视觉测量系统，如图8所示。该系统由两台IMAGING 500W分辨率的COMS相机、两个焦距为12 mm的镜头、分辨率为800×600的EPSON投影仪、网格标定板、两台计算机等构成，计算机B的配置为Intel(R)Core(TM)i7-4790 CPU，3.6 GHz，8.00 GB内存，软件平台为Matlab R2014a。

图8 结构光测量系统Fig.8Structured light measuring system

图9 平面重构结果Fig.9Reconstructing results of planar

表15 种算法的性能对比Table 1Performance comparison of five algorithms

由表1数据可以看出，本文方法的重构精度比文献[7]方法精度更高，相对误差为0.07%，而文献[9]由于采用了亚像素定位方法，精度比本文方法高，但耗时长。本文方法的测量速度快于文献[9]方法和文献[7]中采用8位、9位Gray码的方法，其中文献[7]采用7位正反Gray码的重构时间少于本文方法，主要原因是处理的图像少，且得到的点云数量少于本文方法。

采用本文方法和文献[7]中的方法分别对图1中混合物体表面进行重构，得到的点云结果如图10所示，由图10(a)可以看出，本文方法不仅对大塑料瓶、小塑料瓶和不同位姿的木块有很好的重构结果，对于高亮的螺栓，虽然实体部分重构出的点云较少，但基本轮廓明显，若采用3D边缘进行后期处理[11]，本文方法可以得到螺栓的位姿信息。而文献[7]的方法只对大塑料瓶、小塑料瓶和不同位姿的木块的重构效果较好，对螺栓的重构结果很差，看不出工件的形状。因此本文采用的方法对不同的工件具有较好的适应性。

图10 混合物体表面重构点云Fig.10Point clouds of mixed targets

5 结论

结构光三维测量技术对机器人的推广有着重要的意义，在自动装配过程中，三维视觉提供机械手待抓取工件的位姿信息，获取混乱工件场景的三维点云是位姿定位的前提。本文针对结构光测量中的边缘扩散问题，在Gray码边缘解码基础上，提出一种改进型线移的组合编码方法。利用条纹的像素邻域关系以及逻辑运算，得到了用于匹配的单像素条纹边缘；利用二值条纹图案由中心向两侧对称线移的方式，消除了边缘定位误差对线移条纹周期定位的影响，提高了解码的正确率；采用正交投射条纹的方法，实现了对测量视野的唯一性编码；相对于传统方法，采用二值条纹在Gray码条纹内部多次线移，提高了采样点密度。实验表明，本文方法在保证精度的同时有效提高了系统的实时性，同时对不同的工件具有较好的适应性。进一步提高实时性和计算点云位姿是下一步研究工作的重点。

[1]Consultant R B.Random bin picking：has its time finally come?[J].Assembly Automation(S0144-5154)，2014，34(3)：217-221.

[2]Bruno F，Bianco G，Muzzupappa M，et al.Experimentation of structured light and stereo vision for underwater 3D reconstruction[J].ISPRS Journal of Photogrammetry and Remote Sensing(S0924-2716)，2011，66(4)：508-518.

[3]ZHANG Song，YAU Shing-Tung.Generic nonsinusoidal phase error correction for three-dimensional shape measurement using a digital video projector[J].Applied Optics(S1559-128X)，2007，46(1)：36-43.

[4]吴海滨，于晓洋，关丛荣.基于灰度曲线交点的结构光编码条纹边缘检测[J].光学学报，2008，28(6)：1085-1090. WU Haibin，YU Xiaoyang，GUAN Congrong.Structured Light Encoding Stripe Edge Detection Based on Grey Curve Intersecting Point[J].Acta Optica Sinica，2008，28(6)：1085-1090.

[5]Stančić I，Musić J，Zanchi V.Improved structured light 3D scanner with application to anthropometric parameter estimation[J]. Measurement(S0263-2241)，2013，46(1)：716-726.

[6]ZHAN Song，CHUNG Ronald，ZHANG Xiaoting.An Accurate and Robust Strip-Edge-Based Structured Light Means for Shiny Surface Micromeasurement in 3-D[J].IEEE Transactions on Industrial Electronics(S0278-0046)，2013，60(3)：1023-1032.

[7]Scharstein D，Szeliski R.High-accuracy stereo depth maps using structured light[C]//IEEE Computer Society Conference on Computer Vision&Pattern Recognition，Madison，Wisconsin，USA，June 16-22，2003：195-202.

[8]Tsai Ming-June，Hung Chuan-Cheng.Development of a high-precision surface metrology system using structured light projection[J].Measurement(S0263-2241)，2005，38(3)：236-247.

[9]于晓洋，吴海滨.基于Gray码和线移条纹的结构光3D测量技术[J].仪器仪表学报，2008，29(4)：701-704. YU Xiaoyang，WU Haibin.Structured-light-based 3D measurement technique using Gray code and line-shift fringe[J]. Chinese Journal of Scientific Instrument，2008，29(4)：701-704.

[10]徐德，谭民，李原.机器人视觉测量与控制[M].北京：国防工业出版社，2011：89-95. XU De，TAN Min，LI Yuan.Visual Measurement and Control for Robots[M].Beijing：National Defend Industry Press，2011：89-95.

[11]JongKyu Oh，Baek Kyeong Keun，Kim Daesik，et al.Development of Structured Light Based Bin–Picking System Using Primitive Models[C]//IEEE International Symposium on Assembly and Manufacturing，Seoul，Korea(South)，Nov 17-20，2009：46-52.

3D Measurement Based on Structured Light Using a Combination of Gray Code and Line-shift Patterns

SHIAijun，BAI Ruilin，TIAN Qinghua
(Key Laboratory of Advanced Process Control for Light Industry(Ministry of Education),Jiangnan University,Wuxi214122,Jiangsu,China)

In order to solve the problem of edge diffusion existing in binary patterns,an improved 3D measurement method based on structured light was proposed.Edges with pixel accuracy were obtained by adopting an optimized preprocessing approach according to pixel neighborhood relation and logic relation of images.Considering the influence of edge diffusion for edge detection,a line-shift strategy was applied which translated line-shift patterns symmetrically based on the centerline of the last Gray code pattern’s stripes.At same time,the width of line-shift stripes was equal to the minimum of Gray code stripes width and its direction was same as Gray code patterns’.Finally,codes of the whole-field were calculated by projecting vertical and horizontal patterns respectively.Experiments show that the relative error of reconstructing a plane is 0.07%and the reconstruction time is 5.41 s,which meets the accuracy and real-time demands. Applying this method in measuring surface of mixed targets,results prove that the proposed strategy has good adaptability of different parts.

3D measurement;structured light;Gray code;line-shift

TP24

A

10.3969/j.issn.1003-501X.2016.11.005

1003-501X(2016)11-0026-07

2016-05-12；

2016-07-13

江苏高校优势学科建设工程资助项目(PAPD)；江苏省产学研前瞻性联合研究项目(BY2015019-38)

石爱军(1992-)，男(汉族)，江苏如皋人。硕士研究生，研究方向为机器视觉理论与应用。E-mail:sajwuxi@163.com。

白瑞林(1955-)，男(蒙古族)，黑龙江双城人。教授，博士生导师，主要研究机器视觉与机器人技术。E-mail:bairuilin@hotmail.com。