编码光系统的颜色耦合与颜色失衡校正

吴海滨，唐莎猷，程 浩，王 会，于晓洋

（哈尔滨理工大学测控技术与仪器黑龙江省高校重点实验室，黑龙江哈尔滨150080）

编码光系统的颜色耦合与颜色失衡校正

吴海滨*，唐莎猷，程 浩，王 会，于晓洋

（哈尔滨理工大学测控技术与仪器黑龙江省高校重点实验室，黑龙江哈尔滨150080）

为了减小编码光系统中的颜色耦合与颜色失衡的干扰，提高形状与颜色重建的准确度，建立了彩色编码光系统，并对其所采用的编解码方法、颜色重建的两个相关环节及颜色校正方法进行了研究。首先，给出了系统的彩色梯形相移强度比编解码法，分析了编解码过程中存在的RGB基色相互耦合现象，设计了应用Caspi模型硬件标定的颜色耦合校正方案；然后，给出了系统的逐点颜色重建法，分析了颜色重建过程中由表面曲率导致的颜色失衡现象，设计了利用表面几何信息校正颜色失衡的方案。实验结果表明：校正后单一绿色图像中的红色分量值约为校正前的1/10；单色表面色差约为0.1，趋近于人眼颜色分辨率，远低于校正前的0.4；重建的单色复杂被测表面颜色均匀、视觉效果良好，符合实际情况。提出的方法符合编码光系统抗干扰能力强的要求，有助于提高形状与颜色重建的准确度。

编码结构光；彩色编码；颜色重建；颜色校正

1 引 言

视觉测量领域的编码结构光法以其准确度和效率的综合优势成为非接触三维测量的主要方法之一。近年来，国内外研究机构广泛开展了视觉测量技术的研究，并注重于该项技术的实用化［1-3］。目前，集成化程度高、速度快、准确度较高的视觉测量设备已经问世，并应用于医学、玩具、服装等逆向工程领域。编解码方法是决定系统测量准确度的主要因素之一。目前，编码方法主要包括［4-6］二值编码、N值编码、相位法、强度比法，以及结合法等。多种方法中，相位法结合强度比法具有抗被测物表面特性（几何特性、颜色特性等）影响能力强的优点。其投射的图案多为灰度图案，优点是抗干扰能力强，不足是处理速度慢。因此，彩色编码由于信息量大成为提高测量速度的更佳选择。彩色编码多采用相互干扰最小的R、G、B三基色构建编码图案［7-8］，或进一步增加两种基色的复合色构建编码图案，颜色编码编码信息相对多，因而提高了测量效率，但颜色信息相对于灰度信息易受表面特性干扰产生颜色误差，带来解码错误从而导致测量误差。研究者在提出彩色编码方法的同时，设计了降低颜色对测量影响的方案，主要有两类［9-11］。一类为通过调整编码颜色之间的时空关系，降低颜色之间的相互耦合作用；代表性的有Monks提出的以黑条纹分隔伪随机序列彩色图案，增加颜色之间的距离从而降低耦合程度；孙军华提出的窗口颜色排列法，利用4种相邻颜色综合解码，相对单一颜色解码，降低了受干扰程度；Asla M.利用编码颜色对自身归一化，具有一定去耦合效果。另一类为通过域变换突出颜色信息；代表性的有Oleksandr A.利用傅里叶滤波滤除编码颜色之间的耦合；M.Wegiel在HSI空间处理编码图像取代RGB空间，以突出颜色信息，采用类似方法的还有天津大学曹茂永等人。这两类方法都利用编码图像自身进行颜色耦合校正，具有不增加编码图像的优点，但辅助信息较少，效果有待进一步提高。对此本文设计了应用Caspi模型硬件标定的颜色耦合校正方案。

仅通过三维点云数据重建被测表面的形状，不能真实、全面地展示其颜色、纹理，因此，需要将形状数据和颜色数据结合重建被测表面。目前，颜色信息获取技术通常可分为扫描法和图像法。普遍采用的方法是在白光条件下拍摄景物的彩色图像，从中提取颜色信息并完成颜色重建。如IBM技术中心、斯坦福大学、天津大学等研究机构都对颜色信息的获取及校正进行了研究［12-13］。两类方法均能较好地重建表面颜色，但未考虑被测物表面三维几何特征影响颜色信息的情况，由此产生的颜色失衡会导致颜色重建误差（失真）。

针对编码光系统中的颜色耦合与颜色失衡问题，本文分别给出了校正方案并进行了实验验证。

2 系统组成及其数学模型

图1 系统组成Fig.1 System composition

系统主要包括被测景物、投影机、摄像机和用来图像处理的计算机，如图1所示。投影机向被测景物投射彩色编码图案，摄像机将被投射了彩色编码图案的被测物体拍下送回计算机进行图像处理。被测物体表面的空间坐标值根据系统数学模型和图像信息求得。

编码结构光系统数学模型可以分为解析几何模型和射影几何模型两类，本文采用易于标定的射影几何模型并加以简化。空间点P的世界坐标（Xw，Yw，Zw）与摄像机图像坐标（uc，vc）存在式（1）的转换关系。

式中：（nc，mc）为摄像机图像点坐标，Nc和Mc表示摄像机像面尺度，和表示摄像机视场角，Rc、Tc为摄像机位姿矩阵。式中忽略了摄像机主光轴与DMD面不垂直导致的误差项tanα·，主光轴与CCD像面间交点不在CCD像面中心。同理，投影机的数学模型如式（2）所示。

式中，负号含义同摄像机模型参数。投影机的编码图案较主光轴高，即为离轴投射，故式（2）中主点坐标（，）中不为零，甚至超出DMD芯片。

摄像机和投影机对应采样点的关系体现为np，它需要根据编码图像进行解码得到，是mc、nc、Np的函数，可表示为式（3）形式，它取决于具体的编解码方法。

式中，ΦV（nc，mc）为数码相机图像采样点的编码值。

联立式（1）、（2）、（3），就可求解出空间点P的世界坐标（Xw，Yw，Zw）。

3 颜色相关环节

编码光系统中，颜色校正技术主要用于颜色编解码和颜色重建两个环节。

3.1 颜色编解码

基于线性变化灰度级的编码，即所谓的强度比方法。强度比法具有处理速度快的优点，但测量噪声大。传统正弦相移法具有较高的垂直分辨率，测量准确度高，但由于计算反正切函数得到相位而比较耗时，为此出现了梯形相移法。利用RGB基色，强度比法结合梯形相移，兼具二者测量速度快和分辨率高的优点，拉伸了解得的绝对码值的取值范围，提高了抗噪能力。此外，由于避免了反正切运算，降低了求解复杂程度，提高了实时测量能力。

图2（a）所示为3幅彩色编码图案中的1幅，3幅图案依次移相2π/3周期，编码利用RGB三基色完成，每个基色的灰度曲线见图2（b）。

图像中任意采样点（x，y）的区域强度比和全局强度比分别如式（4）和式（5）所示，进而强度比可转换为式（3）中的np，如式（6）所示。

图2 彩色梯形相移Fig.2 Color trapezoidal phase-shifting

3.2 颜色重建

如图3所示，被测表面上一点P的空间坐标为（x，y，z），其对应的摄像机像面位置量化为1个摄像机像素（u，v），将该像素的颜色值（R，G，B）赋给点P即可重建被测表面颜色。

图3 颜色重建Fig.3 Color reconstruction

颜色重建需要1幅彩色图像，彩色图像的拍摄角度与形状重建的编码图像的拍摄角度需完全相同。颜色重建的基础是形状重建，即首先根据测量得到的空间点坐标重建三维形体，然后为其表面赋色。为了便于逐点赋色以实现颜色重建，本文采用点云数据格式。图中数据均为测量所得。重建表面上的每个采样点都能找到其在彩色图像中的对应像素，该像素的颜色保存为（R，G，B）格式，颜色重建时将（R，G，B）值赋予重建表面上的采样点，即可实现颜色重建。

4 颜色校正方法

图4 颜色耦合Fig.4 Color coupling

4.1 颜色耦合校正

光谱重叠导致颜色耦合，因而在编码图像中三基色互相包含，使梯形相移产生形变，导致解码误差。这在投影机和摄像机等设备中常见，耦合程度受其光谱滤波器性能与质量的影响。

图4是产生颜色耦合的两个图像中某行像素的颜色分量。图4（a）为单一绿色图像、图4（b）为绿色条纹图像。在仅投射全绿图案时，摄像机图像中仍包含红蓝成分，即颜色耦合。由于红蓝成分与耦合情况相同，图中仅表示了红色耦合情况。颜色耦合将会导致很大的测量误差，因此在解码之前，需要对彩色图像进行校正。

为了校正颜色耦合，本文设计了颜色标定方案。即通过耦合后的彩色图像得到耦合前的彩色图像（未耦合的标准图像）。本文根据Caspi光照模型［14］进行基于硬件设备的颜色标定，如式（7）所示。

式中：O为投射图案，A为耦合系数（矩阵形式），R为体表反射参数（矩阵形式），N为非线性变换矩阵，S为校正后图像，S0为待校正图像。

标定时，红、绿、蓝、白、黑为标定标准色，投射到被测景物，拍摄相应图像，利用图像信息根据式（7）求取各项参数，然后利用得到的参数构建校正矩阵，修正彩色编码图像。

4.2 颜色失衡校正

颜色失衡是颜色分量的强度变化范围不一致。这给根据彩色图像恢复物体表面真实颜色带来了误差。导致颜色失衡的主要原因是由于表面几何特征导致的被测表面入射和反射光强的变化。

如图5所示，一个彩色圆柱体由上至下分为7种颜色，由于测量过程中投影机的入射光强和摄像机的反射光强变化，右图重建的圆锥体右侧的颜色鲜艳，而左侧较为暗淡。在观察时，即使旋转重建的模型，鲜艳和暗淡区域仍然不变，这即造成了颜色重建误差。

图5 颜色失衡Fig.5 Color unbalance

被测表面入射、反射光强的主要是受到入射距离（投影机光心到被测表面的距离）、入射角（投影机主光轴与被测表面的夹角）、反射角（进入摄像机的散射光线与被测表面的夹角）的影响。根据三维测量数据，本文将表面划分为多个微小平面，即空间重建点附近的切面，以切面表征被测表面局部几何特性，针对切面作入射光强分析和反射光强分析，进而计算出空间重建点的颜色校正系数。

在入射角确定的前提下，总投射面积与入射距离的平方成正比，因此入射光强与入射距离的平方成反比。切面1和切面2的入射距离分别为L1和L2，入射角分别为θ1和θ2，两种不同几何特性切面的入射光强比A如式（8）。

式中：Ir1、Ir2表示两个切面的反射光强，它们符合朗伯（Lambert）方程。

综合入射和反射光强，中心采样点的颜色校正系数由入射光强校正系数和反射光强校正系数相乘得出，如式（9）。

式中：γ1、γ2表示两个切面的反射角度。校正过程如下：任选一个中心采样点切面作为基准，设其颜色校正系数为1。再利用式（9）计算其它中心采样点切面的颜色校正系数Ci。用各中心采样点的颜色校正系数Ci分别乘以相应的颜色信息（R，G，B）值即可得校正的颜色信息（Ci·R，Ci·G，Ci·B），最后利用线性拉伸法将颜色信息拉伸至［0，1］之间即可得真实的颜色信息。

5 颜色校正实验

利用第4节方法分别进行两类颜色校正实验。图6（a）为采用图1系统获取的彩色图像，对其局部进行颜色校正实验，（b）、（c）是基于硬件颜色标定的颜色耦合校正数据，其实验数据来源于图（4）。由图（b）、（c）可知，校正后的颜色耦合误差为未校正前的1/10，证明了本文方法的有效性。

图6 颜色耦合校正Fig.6 Color coupling calibration

表1 校正前后采样点的颜色Tab.1 Sam p le colors before and after corrections

针对单一红色表面进行了基于光强分析的颜色失衡校正实验，结果见表1。表中R1和R2分别表示校正前后同一像素的R分量。校正前，R的最大差值可达0.4以上，其颜色差异以人眼即可识别，校正后，R的最大差值＜0.1，趋近于人眼对颜色分量R、G、B的分辨率。对于复杂表面，图7中箭头所指为被测复杂表面的颜色失真点。由图可知，未经颜色校正图中蓝色箭头所指的点的颜色有误，而非立体效果导致。旋转观察视角即可看出，这些点的颜色始终不变，即颜色失真点。校正后，重建表面颜色均匀，视觉效果良好，符合实际情况。需要说明的是，若被测表面为单色表面，则校正后的重建表面颜色均一，对比未校正前减少了立体感。但这只是错觉，在适当的光照环境下，校正后的表面即能产生立体感且表面局部的颜色随其与光源的位置关系而改变；然而，未校正表面的局部颜色与光源位置关系与实际情况不符。

图7 颜色失衡校正Fig.7 Calibration of color unbalance

6 结 论

本文根据编码光系统形状重建与颜色重建准确度高、抗干扰能力强的要求，给出了彩色编码光系统的结构和工作原理，分析了系统中编解码方法、颜色重建两个颜色相关环节产生颜色耦合、颜色失衡现象的原因，设计了针对这两种颜色误差的校正方案。实验结果证明：校正后单一绿色图像中的红色分量值约为校正前的1/10；单色表面色差＜0.1，远低于校正前的0.4；重建的单色复杂被测表面颜色均匀、视觉效果良好，符合实际情况，提高了形状与颜色重建的准确度和抗干扰能力。

参考文献：

［1］ PAGES J，SALVI J，GARCIA R.Overview of coded light projection techniques for automatic 3D profiling［C］//IEEE International Conference on Robotics and Automation，Sept14-19，2003，Taipei，China，2003，1：133-138.

［2］ ZHANG S.3D surface data acquisition［D］.New York at Stony Brook：Stony Brook University，2003.

［3］ BENVENISTE RIFAT，UNSALAN CEM.A binary coded structured light system to scan shiny surfaces［C］//2010 IEEE 18th Signal Processing and Communications Applications Conference，Apr 22-24，2010，Diyarbakir，Turkey，2010：292-295.

［4］ 单鹂娜，曹沈楠，于晓洋，等.结构光时间编码技术进展［J］.哈尔滨理工大学学报，2010，15（1）：98-102. SHAN LN，CAO SH N，YU X Y，etal..The review of structured light time encoding technologies［J］.J.Harbin University of Science and Technology，2010，15（1）：98-102.（in Chinese）

［5］ 苏显渝，张启灿，候志凌.三维面形信息压缩的虚拟结构光编码算法［J］.光学学报，2011，31（5）：0510003. SU X Y，ZHANG Q C，HOU ZH L.3D shape compression based on virtual structural lightencoding［J］.Acta Optica Sinica，2011，31（5）：0510003.（in Chinese）

［6］ XAVIER M，PIERREG，CHRISTOPHED.Real-time structured light patterns codingwith subperfect submaps［J］.SPIE，2010，7724：77240E.

［7］ 许丽，陈黎霞，张之江.结构光系统的周期编码光设计［J］.光学精密工程，2010，18（2）：294-302. XU L，CHEN L X，ZHANG ZH J.Alternate coded pattern for structured light system［J］.Opt.Precision Eng.，2010，18（2）：294-302.（in Chinese）

［8］ ZHANG S，RONALD CH.Grid point extraction and coding for structured light system［J］.Optical Eng.，2011，50（9）：093602.

［9］ OLEKS，SKYDAN R A，LALOR M J，et al..Burton.using coloured structured light in 3D surfacemeasurement［J］.Optics and Lasers Eng.，2005，43：801-814.

［10］ 孙军华，杨扬，张广军.基于相移的彩色结构光编码三维扫描技术［J］.光学技术，2008，34（1）：122-125. SUN，JH YANG Y，ZHANG G J.Three dimensional scanning technique using color structured light patterns based on phasemoving coding strategy［J］.Optical Technique，2008，34（1）：122-125.（in Chinese）

［11］ EGIELM，KUJAWINSKA M.Fast3D shapemeasurementbased on color structure lightprojection［J］.OpticalMetrology for Arts and Multimedia，2003，（16）：121-132.

［12］ 叶声华，许智钦.三维彩色扫描测量技术［J］.光电子技术与信息，2001，14（5）：34-37. YE SH H，XU ZH Q，ZHENG Y ZH.Three dimensional colorful scanning［J］.Optoelectronic Technology&Information，2001，14（5）：34-37.（in Chinese）

［13］ 陶立，孙长库，何丽，等.基于结构光扫描的彩色三维信息测量技术［J］.光电子激光，2006，17（1）：111-114. TAO L，SUN CH K，HE L，et al..A color 3-D acquisition method based on structured-light scanning［J］.J.Optoelectronics.Laser，2006，17（1）：111-114.（in Chinese）

［14］ CASPID，KIRYATIN，SHAMIR J.Range imagingwith adaptive color structured light［J］.Pattern Analysisand Machine Intelligence，1998，20（5）：470-480.

Calibration of color coupling and color unbalance in coded structured light system

WU Hai-bin*，TANG Sha-you，CHENG Hao，WANG Hui，YU Xiao-yang
（The Higher Educational Key Laboratory for Measuring&Control Technology and Instrumentations of Heilongjiang Province，Harbin University of Science and Technology，Harbin 150080，China）
*Corresponding author，E-mail：woo@hrbust.edu.cn

To reduce the interference of color coupling and color unbalance and to increase the reconstruction accuracy of shape and color in a coded structured light system，a color coded structured light system was established and two color-related sections（coding principle and color reconstruction）and their color calibration methods were investigated.First，based on the coding principle by color trapezoidal phase-shifting intensity ratio，themutual coupling phenomenon between RGB primary colors in coding processwas analyzed，and color coupling calibration scheme by Caspimodel and hardware calibration was designed.Then，based on point-bypoint color reconstructionmethod，the unbalance phenomenon caused by surface curvature in color reconstruction processwas analyzed，and color unbalance calibration scheme using surface geometry information was de-signed.Calibration experimental results indicate that the red component in pure green after calibration is about 1/10 of that before calibration；and calibrated chromatic aberration of unicolor surface is about0.1，which approaches to the visual resolving power and is significantly less than that before calibration（0.4）.Moreover，the reconstructed unicolor complex surface has uniform color and good visual effect and is accorded withmeasured surface.It can satisfy the system requirements of strong anti-interference，and is conduced to the reconstruction accuracy of shape and color.

coded structured light；color coding；color reconstruction；color calibration

TP391；O432.3

A

10.3788/CO.20130604.0521

吴海滨（1977—），男，上海人，博士后，教授，硕士生导师，2000年于哈尔滨工业大学获得学士学位，2002年于哈尔滨工业大学获得硕士学位，2008年于哈尔滨理工大学获得博士学位，主要从事视觉检测与图像处理方面的研究。E-mail：woo@hrbust.edu.cn

王 会（1987—），女，吉林长春人，硕士研究生，2012年于吉林师范大学获得学士学位，主要从事三维重建方面的研究。E-mail：765724425@qq.com

唐莎猷（1990—），女，吉林长春人，本科生，主要从事视觉图像处理方面的研究。E-mail：shayou0930@163.com

于晓洋（1962—），男，黑龙江双城人，博士，教授/博导，1999年于哈尔滨工业大学获得博士学位，主要从事视觉检测与图像处理等方面的研究。E-mail：yuxiaoyang@hrbust.edu.cn

程 浩（1987—），男，黑龙江齐齐哈尔人，硕士研究生，2011年于哈尔滨理工大学获得学士学位，主要从事三维拼接等方面的研究。E-mail：chaizxq@163. com

1674-2915（2013）04-0521-08

2013-04-14；

2013-06-17

国家自然科学基金资助项目（No.61005035，No.61071051）；黑龙江省教育厅科学技术研究资助项目（No. 12521069）；黑龙江省研究生创新科研资助项目（No.YJSCX2012-116HLJ）；哈尔滨理工大学青年拔尖创新人才培养计划资助项目；哈尔滨理工大学大学生创新创业训练计划资助项目