基于数字光处理的结构光三维扫描系统的设计

楼永坚 黄晗骋 林斌

摘要：结合结构光投影三维扫描的原理，设计了数字微镜器件（DMD）作为结构光的发生装置，主控芯片为FPGA，实现了高速的DMD的控制和相机的同步采集。搭建了一个嵌入式三维扫描光学平台，并应用四步相移法完成实验。首先指定不同方向和周期的正弦条纹结构光，同步采集图像；然后通过软件设计完成对采集图像的预处理、相位的解调、相位的展开、相位 高度映射还原得到三维的深度信息并建模；最终获得最高464.8帧/s不同方向和周期的正弦条纹结构光显示，达到194帧/s的相机触发采集，三维扫描效果图清晰，还原和重建效果理想。

关键词：三维扫描； 数字微镜器件（DMD）； PWM调制； 四步相移法

中图分类号： TN 247 文献标志码： A doi： 10.3969/j.issn.1005 5630.2018.03.012

Abstract： According to the principle of the 3D scanning structured light projection，we design the DMD（digital micromirror device） as a generator of the structured light and use FPGA as the master chip of the device to achieve high speed DMD camera control and synchronization acquisition.We build an embedded 3D scanning optical platform and apply the four step phase shift method to complete the experiments.First，we project different directions and periods of the sinusoidal fringe structure light and acquire image synchronously.Then，we design a software to complete the pre processing of the captured images，phase demodulation，expansion of the phase，and phase height mapping to give a 3D depth information and modeling.Finally we obtain 464 . 8 frames per second in the different directions and periods of the sinusoidal fringe structure light and realize the camera trigger acquisition with 194 frames per second.The 3D scanning image is clear and the restored and reconstructed images are good.

Keywords：

3D scanning； digital micromirror device（DMD）； PWM modulation； four steps phase shift method

引 言

光學三维扫描技术是以计算机为基础，融合现代光学、计算机图形学、电子学、信号处理学等多学科的专业技术，通常包含图像投影设备和图像采集设备。随着国内外学者对光学三维扫描技术的研究不断深入，基于各种测量原理提出了多种测量方法，其中投影结构光法具有结构简单、分辨率高、精度高、速度快和价格便宜等优点，20世纪90年代后期该方法与数字投影技术、数码相机技术和计算机技术相结合，使相位编码、结构光投影到图像记录、信息处理与显示等完全数字化处理，因此在三维轮廓测量领域的应用越来越广泛[1]。

在结构光三维扫描系统中，商用投影仪的传输和显示速度慢，会引入Gamma误差，同时物理光栅响应速度慢，控制结构复杂，成本高，局限性大，这些因素直接影响了三维扫描效果。所以通过提升结构光投影的速度和质量，就能提升三维扫描系统的性能。数字光处理（digital light processing，DLP）技术具有质量高、高速和高稳定性等特点，由美国德州仪器公司（TI）垄断的数字微镜器件（DMD）芯片是DLP技术的核心。DMD光能利用率高，亮度、对比度都很好，所有微镜同步，调制的线性度高，并且响应速度快，每秒可达到上万次的翻转。而现场可编程门阵列（field programmable gate array，FPGA）的开发技术的发展使三维扫描系统进一步达到了高质量、低成本，小体积和便携性[2 4]。

本文结合数字投影结构光三维测量的原理，设计了一种嵌入式结构光三维扫描系统，利用DLP快速和高分辨率、FPGA超强的并行操作特性和高速相机的同步采集触发能力，达到快速三维扫描，显示和重建效果好。

1 系统设计原理

1.1 结构光三维扫描的原理

结构光三维扫描基本原理：通过光栅发生器向被测物体表面投射系列光栅条纹，这些条纹分别被被测物体表面的形状所调制；利用摄像机摄取这些被调制的光栅图像，根据各图像的灰度特征，计算其各像点的相位值，然后根据左、右相机对应像点的相位值相等的特性，再结合外极线理论，确定彼此的立体匹配点；最后通过整个系统模型的定标演算得到被测物体的实际三维信息。

式中：d为结构光投射点与摄像机采集点之间的距离；L0为测试点相对于参考平面的高度。

这样，物体的深度信息就可通过相位差分布来求得，从而进一步获得物体的三维分布。

1.2 结构光三维扫描的流程

结构光三维扫描的一般流程如图2所示。

1.3 DMD的工作原理及灰度调制显示[5]

目前所有投影机产品中的核心部分是美国TI公司（德州仪器）研发的DMD芯片，DMD器件是DLP的基础和核心，它相当于一个半导体光开关，有50～130万个微镜片聚集在CMOS硅基片上。一片微镜片表示一个象素，这种微小镜片的构造的动态图像切换速度非常快（是一般Si TFT的1 000倍），而且这种特殊的单板式构造相对成本较低。

DMD的工作原理：借助微镜装置反射需要的光，同时通过光吸收器吸收不需要的光来实现影像的投影，而其光照方向则是借助静电作用，通过控制微镜片角度来实现的；通过数据加载、块操作、块清零、块的分阶段等操作来完成DMD的工作。

DMD微镜器件的快速开关功能与双脉冲宽度调制的一种精确的图像颜色和灰度复制技术相结合，使图像可以随着窗口的刷新而更加清晰，通过增强对比度，达到最佳边界线。系统设计中采用了一种改进的PWM（plus width modulation）的调制方法用于灰度复制，使8位灰度图的帧率可以达到464.8 Hz，相比于传统的PWM的调制方法实现了高帧率高分辨的投影。

2 三维扫描系统的设计

基于DLP的嵌入式三维扫描的硬件系统，主要包括由DLP芯片组搭建的结构光投射平台、FPGA最小系统模块和图像采集处理模块。硬件系统的总体设计框架如图3所示。

2.1 结构光发生器的设计[6]

如图3所示，虚线框内是TI公司的DLP Discovery 4100套件（包括0.7XGA 2x LVDS A类DMD、Xilinx公司Virtex系列XC5VLX50的FPGA、DMD微镜驱动器（DLPA200）、DMD控制器（DLPC410）、DLP配置PROM DLPR410，以及一些常用接口如DDR2 SODIMM DRAM接口、USB 2.0接口、多用途I/O等），作为结构光发生器，结构光正弦条纹的生成和投影实现过程如下：由控制功能选择开关来设置条纹的方向、周期以及一些DMD的控制参数；FPGA读取单口ROM内的LUT列表，产生所需的结构光PWM灰度调制的数据，存入DDR2中；读取DDR2数据，控制DLPC410，对DMD加载数据，同时控制其脉冲复位信号。

DMD在PWM调制下的灰度显示可以达到464.8 Hz，为了配合相机200 Hz的采集速度，重新选择PWM的调制基数为20 μs，这样加载一帧8位灰度图的时间是5 145 μs，刷新帧率就为194 Hz，符合设计要求。

2.2 图像采集模块设计[7]

图像采集模块的主要功能是实时地采集和处理被测物体的图像数据，采用黑白CCD高速相机（JAI的RM 6740CL），分辨率为640×480，逐行扫描，配有CameraLink接口、8 mm的定焦镜头、DALSA的Xcelera CL LXl和相应的Software Development Kit软件开发工具包。

相机的同步触发是高速采集过程中的关键因素，相机的曝光时间、“频闪”现象和灰度图像投影的时间不匹配等都是相机实现同步触发的主要问题，我们采取对GPIO口信号的放大实现了稳定的相机同步触发和采集。实验证明，电压放大前后的脉冲触发信号周期和宽度并没有改变，实际测得的触发信号频率为194.20 Hz，理论计算值为194.36 Hz，误差仅为0.082%，达到了触发信号实时同步的要求。

采集模塊的流程图如图4所示。

在采集、保存条纹图像以及图像预处理后，进行四步相移，通过实现相位解调算法、空域的相位展开算法，由相位 高度映射关系还原出三维信息，最后对三维数据进行分析和储存。系统结合相机的SDK，采用C/C+ +语言，并用OpenCV库辅助显示和预处理图像。

2.3 三维扫描系统的软件系统设计

系统的软件流程图如图5所示。上位机主要在FPGA内实现，按2.1描述实现结构光正弦条纹的生成和投影。下位机按2.2描述实现图像采集与处理。

对上位机FPGA进行设计，实现结构光投射模块的功能，并进行信号仿真。对下位机调用OpenCV库进行相机设计与图像预处理，用C/C+ +语言编写三维数据处理等算法。最后用MATLAB进行数据分析以及轮廓图显示。

3 实验结果与分析

根据图3的系统框架和设计思路，搭建了基于DLP的嵌入式结构光三维扫描光学平台，CCD相机和DLP投影仪由FPGA控制，PC上位机对采集的图像进行处理，并根据图5完成了软件系统的开发。实测时采用四步相移法，保证目标物体位于CCD相机的正前方中心位置，设置不同条纹周期、不同条纹方向的结构光进行三维扫描实验。实验结果显示，各周期、各方向的实验结果均有所不同，但总体效果较好，下面选取两个具有代表性的实验结果进行讨论。

如图6所示的结构光为正弦横条纹，64行条纹为一个周期。

如图7所示的结构光为正弦竖条纹，16个像素为一个条纹周期。

图6和图7中（a）～（d）分别为四步相移中四个相差π/2相位的条纹图叠加在目标物体上的效果图，图像已经过3×3的高斯模糊去噪，（e）为相位解调后得到的包裹相位图，（f）为解包裹相位得到真实连续相位的分布，（g）为相位 高度映射的还原图。无论竖条纹和横条纹，三维扫描的结果都清晰，细节完整。

实验结果表明：

（1） 如果适当提高采集速度，或者采用三步相移以及其他单帧或少帧的实验方案，扫描速度可以进一步提升；

（2） 采用竖条纹比横条纹会得到更好的三维扫描效果，因为实验效果图显示竖条纹相比于横条纹要更密集一点；

（3） 为取得更好效果的包裹相位图，在图像采集后，光用3×3的高斯模糊去噪再进行相位解调，能获得更精确的三维深度信息。

4 结 论

本文分析和研究了结构光三维扫描技术，利用DLP的快速和高分辨率、FPGA超强的并行操作特性和高速相机的同步采集触发能力，实现了基于DMD的结构光发生器的研制和控制系统软件的设计。在基于DLP的嵌入式三维扫描光学平台上完成了四步相移法三维结构光扫描。

所设计的三维扫描系统根据需求指定不同方向和周期的正弦条纹结构光，同步采集图像，然后通过软件完成对采集图像的预处理、相位的解调、相位的展开、相位 高度映射关系还原，最终获得三维深度信息并建模。该系统获得最高464.8帧/s不同方向和周期的正弦条纹结构光显示，达到194帧/s的相机触发采集，三维扫描效果图清晰，还原和建模效果好。

参考文献：

[1] SALVI J，PAGES J，BATLLE J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827 849.

[2] 李如斌.高速光栅投影实时三维测量系统硬件设计与研究[D].南京：南京理工大学，2014.

[3] 许琦欣，侯文玫，盛世杰，等.基于数字微镜器件的三维轮廓测量及其性能分析[J].仪器仪表学报，2011，32（5）：1138 1144.

[4] 陈坦，赖建军，赵悦.DMD芯片在光栅投影三维轮廓测量技术中的应用[J].红外，2006，27（9）：24 28.

[5] 田文超，贾建援.DMD及DLP显示技术[J].仪器仪表学报，2005，26（z2）：358 359.

[6] 杨盛亚，谢捷如，崔海华.基于FPGA的存储空间可扩展的高速微型投射器研究[J].机械设计与制造工程，2016，45（2）：27 32.

[7] 曹健，焦海，王源，等.基于FPGA与DLP的体三维显示系统设计方法与研究[J].北京大学学报（自然科学版），2014，50（4）：605 610.

（编辑：刘铁英）