基于光度立体法的中医舌体三维表面重建

蔡轶珩 张琳琳 盛 楠 张新峰 王立娜



基于光度立体法的中医舌体三维表面重建

蔡轶珩*张琳琳 盛 楠 张新峰 王立娜

(北京工业大学电控学院 北京 100124)

在中医舌诊客观化研究进程中，以2维舌图像为基础进行分析所获得的舌体特征信息有限，制约了舌诊的客观化发展。在将光度立体法用于静态舌模型表面3维重建的可行性研究基础之上，为了对真实舌体表面进行3维重建，该文设计一种舌体3维动态信息采集系统，用于舌像采集；然后采用光度立体法依次求出舌体表面的法向量、纹理反射率和深度信息，并基于DirectX进行3维显示；最后针对舌体表面高光区域对重建结果的影响，采用高光剔除算法剔除高光。经高光剔除后的重建结果和原来相比，在重建精度和鲁棒性等方面都有更好的表现。经实验证实，该重建方法的平均相对误差约为7.24%，重建结果可形象地表达舌体的表面形态和齿痕等细节信息，可辅助中医进行诊断。

图像处理；光度立体法；3维重建；高光；表面法向；舌诊客观化

1 引言

舌诊是中医望诊的重要内容之一，在中医理论体系及临床诊疗实践中占有举足轻重的地位。传统的中医舌诊主要是医生通过肉眼观察对患者的舌形、舌态、舌色及苔色、苔质进行分析判断[1]，这种判断往往依赖于医生的个人经验，缺乏客观的数据评判，制约了舌诊的继承和发展。近几十年来舌诊的客观化研究受到普遍重视，目前这些研究都集中在以2维舌图像为基础进行分析，所获得的舌体形态和细节特征信息有限[2]，不能表达观察真实舌体时所感知的3维信息。舌体的3维信息不仅可以形象地表达舌体的形态轮廓，也可以再现舌体表面齿痕、裂纹等细节特征。相对于2维舌图像来说，一方面可以为医生提供更加丰富全面的信息，另一方面也为医生诊断提供客观量化的依据。因此，获取舌体的3维信息并重建出具有真实感的舌体表面对推动舌诊的客观化发展具有重要意义。

目前，物体3维表面重建方法分为两大类[3]：一类是利用传统的接触式方法实现表面重建，如深度扫描仪、激光器等。该方法仪器造价高且不便携带，难以满足实际应用的要求。另一类方法是非接触式测量方法，研究热点在于运动恢复法、立体视觉法[4]、光度立体法。其中，光度立体法在恢复物体3维表面形状的精度和易实现性等方面都有较好的表现[5]。

光度立体法最早由美国的Woodham[6]提出，即利用不同光照方向下从同一视角拍摄的多幅图像(至少3幅)求解物体的表面方向。光度立体法是在假设物体表面符合Lambertian散射模型的情况下展开的，也就是完全漫反射的情况[7]。在过去的研究中，文献[8]设计了一套静态信息采集系统，采用光度立体法对静态舌模型表面进行3维重建，结果表明该方法可以较好地重建出舌模型的表面形态和细节信息，初步验证了将光度立体法用于对舌体3维表面重建的可行性。由于光度立体法要求保持摄像机和被拍摄物体的位置固定不变，只改变光照方向来完成拍摄，然而真实舌体在伸出时无法保证其静止不动。

为了实现对真实舌体表面的3维重建，本文首先设计了一种基于光度立体法的舌体3维动态信息采集系统来完成舌图像的采集工作。然后采用光度立体法依次求解舌体表面的法向量，纹理反射率和深度信息实现3维重建。针对对真实舌体进行重建的过程中舌体表面出现的高光区域对重建结果的影响，采用一种高光剔除算法。实验证明该方法可较好地重建出舌体的表面形态和细节信息，可辅助医生进行诊断。

2 舌体3维动态信息采集系统设计

针对真实舌体的特点，我们首先设计了一种基于光度立体法的舌体3维动态信息采集系统。该系统的目的是达到光源的循环点亮和摄像机拍摄的同步性，以实现在不同光照条件下舌图像的采集。

2.1 系统组成及实现

系统主要由高速摄像机、图像采集卡、光源以及时序控制电路等组成，系统内部构造的原理图及实物图分别如图1(a)和图1(b)所示。

球形箱体置于升降台上，箱体上有两个开孔，左侧为摄像孔，右侧为舌体伸入孔。在两个孔的外侧均有一个遮光罩以阻挡外界光线的进入[9]。摄像机的镜头与舌体的中心处于同一高度，两者的水平距离约为30 cm。

高速摄像机和图像采集卡配合使用，通过摄像机配带的软件可对帧频、曝光时间、触发方式、图像大小等进行设置。高速摄像机有内外两种触发方式，为了使光源的点亮和摄像机的同步拍摄易于控制，本文选择外触发的方式完成拍摄。触发信号由时序控制电路提供。该摄像机帧频可以达到500 fps。由于曝光时间和帧频成反比关系，所以当帧频过高时，曝光时间很短，会导致所拍摄的图像亮度不能满足要求。舌体伸出时的抖动频率约为3~5次/s，根据奈奎斯特采样定理，最终选择帧频为40 fps[10]，可以完整地捕捉到舌体的动态信息。

TTLA和TTLB(图2)是由时序控制电路产生的两组在相位上有延时的脉冲信号，TTLA的下降沿用于控制光源的循环点亮，随后，TTLB的下降沿触发摄像机快门，以确保每一个方向的光源点亮时，摄像机拍摄一帧图像，达到同步拍摄的目的。

2.2 光源分布设计

选用正白光LED作为系统的光源。根据光度立体法的基本理论，要想恢复物体的3维形状，至少需要在3个不同方向的光源照射下的图像。研究表明，当光源个数增加时，获得的物体表面信息更加充分，但在计算复杂度上会有所牺牲[11]。在文献[8]中对静态舌模型进行重建的静态信息采集系统中，采用8个光源均匀分布在一个竖直圆环上以获得图像序列。本文采用此光源系统进行采集得到一组舌图像序列，如图3所示。

图1 舌体3维动态信息采集系统

图2 触发信号时序关系

图3 8光源下采集的舌图像序列

图3中出现不同程度的高光区域，这是由于真实舌体表面存在唾液，使局部区域发生镜面反射的结果。由于光度立体法是通过分析图像亮度与光照的变化关系来获得物体表面方向[12]，图像在亮度上的突变直接导致建模结果的不准确，通常解决的办法有两种：一种是使用复杂的表面反射模型(如Torrance-Sparrow模型)[13]，这种方法可以获得更好的建模但计算量较大。由于实际拍摄的图像中除了一小部分的高光区域外，其它区域都可以大致建模为Lambertian散射模型。所以本文采用一种高光剔除算法来完成建模。这种方法只要保证对物体表面上的任意一点，在多个不同光源方向下拍摄的图像序列中至少可以找到3个非高光的亮度值[14]，即可继续使用散射模型求解。

为了确定物体表面上的某一点有几个非高光亮度值是可用的，将8幅图像由RGB颜色空间转换到YCbCr颜色空间，对亮度分量Y采用阈值的方法进行高光区域检测。将各幅图像中高光的位置在同一坐标系中显示，即可直观地观察到高光的分布情况，如图4。图中大片的紫色区域代表物体上的点在8个光源照射下拍摄的图像中高光互不重叠的区域，即在此区域只有一个亮度值为高光，其余7个亮度值都可用于计算。白色区域和蓝色区域分别代表在此点处有2个和3个高光点重叠，即分别有6个和5个非高光亮度值可参与计算。如上文所述，至少3个可用的亮度值即可完成某一点的表面法向求解。因此，在确保重建精度的前提下，本文在原8光源分布的基础上，选用最少数量的光源完成重建，以减少算法复杂度。

图4 8光源下的舌图像高光位置分布

如果4幅图像中的高光区域互不重叠，那么对物体表面任意一点都可以找到3个非高光亮度值完成计算。选取4个光源均匀分布在舌体的周围，调整光源的位置和朝向，以获得在此光源照射下的4幅高光区域互不重叠的舌图像序列，如图5所示。

图5 4光源下采集的舌图像序列

将每幅图像中的高光从左至右分别用不同的颜色标记，高光区域检测结果如图6所示。此时对物体上任意一点都可找到最少数量的3个满足条件的非高光点完成计算，高光影响被成功剔除。对多个形态不同的舌体在此光源分布下采集图像，也都得到高光区域互不重叠的4幅图像，由此可论证该系统具有一定的适用性。

图6 4 光源下的舌图像高光位置分布

因此，本文选用4个光源分布在舌体周围，每两个光源之间的间隔为，舌体表面中心距离每个光源约为22 cm[15]。在这种分布下可以达到在最小计算复杂度的前提下剔除高光的目的。

3 基于光度立体法的舌体3维表面重建

对舌体3维动态信息采集系统得到的舌图像序列，进行真实舌体3维表面重建的具体算法流程如图7所示。

图7 真实舌体重建算法流程

首先，遍历舌图像中所有像素点，采用阈值法依次判断是否为高光点；对舌体表面的非高光区域，直接求解其表面法向量和纹理反射率；对高光区域，进行高光剔除，采用在其他光源下拍摄图像中的非高光点完成表面法向量和纹理反射率的求解；最后，求解深度信息完成建模。

3.1法向量和纹理反射率

对于彩色图像，每一个像素点的亮度均由R, G, B 3个值来表示，这里以R通道为例进行求解。假设待重建物体表面符合理想的Lambertian散射模型，此时，图像中像素点的亮度方程数学表达为

要利用散射模型求解表面法向量，首先要计算光源方向。光源方向的计算方法采用在不同光源方向下拍摄一组高光黑球图像，每一个高光黑球图像与所拍摄的舌体表面图像是配对的，即拍摄角度与光线角度一致。通过查找每一个高光黑球图像中高光点的位置，获取光照方向，作为舌体表面的光源方向[8]。

单位法向量为

经计算4个光源的方向向量为

此时选取4个亮度值中的任意3个和与其配对的光源向量进行求解。由于为单位向量，因此式(2)左边向量的模就是纹理反射率的值，左边向量的方向就是表面法向量的方向。

3.1.2对高光像素点的求解方法 当检测到图像中的像素点为高光点时，由于4 幅图像中高光区域不重叠，因此使用除高光点以外的其他3 幅图像中的非高光像素点完成计算。假设高光点在第1 幅图像上，此时令：

继续利用式(2)求解法向量和纹理反射率。

除了整体性比较，还有一些论文着眼于创作个案的对比分析，如杨春红、郑友奇《素雅婉约的女性之歌——曼斯菲尔德的〈幸福〉与凌叔华的〈花之寺〉之比较》、熊文艳《女性价值的追寻与幻灭——曼斯菲尔德的〈第一次舞会〉与凌叔华的〈茶会以后〉之比较》等。另外，还有少数论文研究凌叔华与曼斯菲尔德的女性意识等，如，杨梅《试析凌叔华与曼斯菲尔德文本中的女性意识》等。

依次对图像中的所有像素点进行以上判断，综合高光区域和非高光区域的求解结果，即可得到剔除高光影响后的舌体表面的法向量和纹理反射率。

最后，对R, G, B 3个通道，分别计算每一个像素点的单位法向量：

将其构成舌体表面的法向量图。

3.2 深度信息

深度信息可直观地表达3维物体的形状，获得舌体表面的法向量之后，采用基于切平面理论的代数法对深度信息进行求解[16]。由切平面理论，法向与切平面方向两个主轴垂直，所以对每个像素点的深度都可以列两个约束方程。

物体表面的切向可以用深度值来表示，即

物体表面每一点的法向和切向垂直，则

同理可得

4 实验结果

4.1 3维重建结果分析

本文选取具备医生对舌体初步诊断结果的10位受试者进行实验。这10位受试者舌体特征各不相同，以论证该重建系统的可行性及通用性。每位受试者在实验之前先进行多次伸舌训练，使受试者尽量张口，舌尖向下，舌体放松，舌面尽量展平[18]，最终完成舌图像的采集，采集的图像均为99×66像素。选取其中具有典型特征的两位受试者A和B的舌图像采集结果进行展示，如图8所示，图8(a)为受试者A的舌像，表面整体较平滑，边缘区域有明显齿痕，图8(b)为受试者B的舌像，表面有局部凹陷。

图8 受试者A和B的舌像采集结果

上述两位受试者A和B舌体3维重建结果的正面及侧面图如图9(a)和图9(b)所示。

图9 受试者A和B的舌体3维重建结果

舌体的3维重建结果表明，该方法可以重建出舌体的整体形态和表面齿痕、凹陷等信息。受试者A的舌体，边缘存在齿痕，齿痕即舌体出现牙齿痕迹，主要表现为在舌体边缘的凹陷。截取经过齿痕区域的3行水平方向的像素点的深度数据(分别为=43,45,47)进行分析，将3组数据在3维坐标系中显示，结果如图10。可见随着像素的减少，当经过舌体表面齿痕区域时，所选3行深度数据的走向有明显的急剧下降的趋势，即舌体表面的齿痕特征被准确地重建出来。

图10 受试者A舌体齿痕截面的深度走向图

受试者B的舌体表面存在明显凹陷，截取其经过凹陷区域的3行水平方向的像素点的深度数据(分别为=20,23,25)进行分析，将3组数据在3维坐标系中显示，结果如图11。

图11 受试者B舌体凹陷截面的深度走向图

可见随着像素的增加，当经过舌体表面凹陷区域时，所选3行深度数据的走向有明显的下降的趋势，即舌体表面的凹陷特征被准确地重建出来。齿痕舌多由气虚、脾虚或阳虚所致，选取50位受试者，这些受试者经中医诊断有20位为齿痕舌，在没有先验条件的情况下再让医生观察舌体的3维重建结果进行诊断，实验表明，通过观察舌体3维重建结果，可以达到92%的齿痕舌识别率。因此，重建出的3维舌体对于临床辨证论治有很大的指导意义。

4.2经高光剔除和未经高光剔除的舌体重建结果对比

以受试者A为例对采集的4幅舌图像分别进行未剔除高光和剔除高光的3维表面重建。法向量图结果如图12所示。

舌体表面的法向量图显示了舌体的形态属性和整体轮廓，图中舌尖较浅的地方表示其法向量是接近垂直向外的。图12(a)表明舌尖部位由于受到高光的影响，法向量出现偏差，图12(b)表明经高光剔除后的法向量得到明显修正。

受试者A舌体未剔除高光和剔除高光的3维重建结果如图13所示。

图12 舌体表面法向量图

图13 舌体表面3维显示图

对高光区域较明显的舌尖部位，未经高光剔除的重建结果在该区域凸现出来，不是实际的平滑现象，如图13(a)中虚线标注的区域。而经过高光剔除算法，当计算到高光区域时，会自动检测出异常并将此区域出现高光的图像进行剔除，所以舌尖部位变得平滑，如图13(b)中虚线标注的区域，建模出来的效果更加逼真。

4.3 误差分析

本实验通过对已知半径的标准的Lambertian半球体表面进行3维重建来评价算法性能。采集的图像宽度与高度均为50像素，球体半径为8 cm。选取重建结果在图像宽度方向为25像素处的截面信息进行误差分析。

图14中所示实线代表标准半球截面的真实高度，虚线代表本实验算法重建出的半球截面高度。由这两组数据可以得到重建的平均相对误差约为7.24%。对于舌体，其伸出时舌根部与舌尖部的垂直距离约为5 cm，所以该方法用于重建舌体的平均误差约为3.6 mm。而舌体表面凹陷、齿痕等尺寸约为5~10 mm。由此可见该方法可以较好地重建出物体的表面形状和齿痕等细节信息。

图14 半球真实高度与重建结果对比图

5 结束语

舌诊是中医望诊的重要内容之一，基于2维图像的舌诊研究具有一定的局限性。因此，重建出具有真实感的3维舌体表面对推动舌诊的客观化发展具有重要意义。本文设计了一种舌体动态信息采集系统，基于光度立体法实现了对舌体表面的3维重建。针对舌体表面高光区域对重建结果的影响，本文采用一种高光剔除算法。实验表明，经高光剔除之后，在重建精度和鲁棒性方面都有更好的表现。

通过对标准半球进行重建得出重建算法的平均相对误差约为7.24%。重建结果可形象地表达舌体的表面形态和齿痕等细节信息。但在边界区域的重建上误差较大。因此，如何减少边界的误差，实现更精确的表面重建是今后研究的重点。

[1] 陈雪姣, 王玉臣, 王德才. 中医舌诊客观化研究的发展概况[J]. 江西中医药, 2012, 43(1): 72-75.

Chen Xue-jiao, Wang Yu-chen, and Wang De-cai. The overview of the development of traditional Chinese medicine tongue diagnosis[J]., 2012, 43(1): 72-75.

[2] 叶长明, 蒋建国, 詹曙. 基于三维人脸成像系统的复数域人脸识别方法[J]. 电子测量与仪器学报, 2011, 25(5): 420-426.

Ye Chang-ming, Jiang Jian-guo, and Zhan Shu. Face recognition in complex domain based on 3D facial imaging system[J]., 2011, 25(5): 420-426.

[3] 王昕, 郭宝锋, 尚朝轩.基于二维ISAR图像序列的雷达目标三维重建方法[J]. 电子与信息学报, 2013, 35(10): 2475-2480.

Wang Xin, Guo Bao-feng, and Shang Chao-xuan. 3D reconstruction of target geometry based on 2D data of inverse synthetic aperture radar images[J].&,2013, 35(10): 2475-2480.

[4] 李自力, 朱光喜, 朱耀庭. 一种基于会聚双目立体视觉的用户化身模型[J]. 电子与信息学报, 2003, 25(6): 763-770.

Li Zi-li, Zhu Guang-xi, and Zhu Yao-ting. A user avatar model based-on convergent binocular stereo vision[J].&, 2003, 25(6): 763-770.

[5] 陈宇峰, 谭文静, 王海涛. 光度立体三维重建算法[J]. 计算机辅助设计与图形学学报, 2005, 17(11): 2408-2414.

Chen Yu-feng, Tan Wen-jing, and Wang Hai-tao. Photometric stereo 3D reconstruction and application[J].-&, 2005, 17(11): 2408-2414.

[6] Woodham R J. Photometric method for determining surface orientation from multiple images[J]., 1980, 19(1): 191139.

[7] Coleman E Jr and Jain R. Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry [J]., 1982, 18(4): 309-328.

[8] LüH, Cai Y, and Guo S. 3D reconstruction of tongue surface based on photometric stereo[C]. 2007 IEEE 11th International Conference on Signal Processing (ICSP),Barcelona, Spain, 2012, 3: 1668-1671.

[9] 朱穆朗玛, 燕海霞, 钱鹏.基于图像信息采集的中医舌诊仪器硬件设计研究进展[J].世界科学技术—中医药现代化, 2014, 16(2): 433-437.

Zhu Mulangma, Yan Hai-xia, and Qian Peng.Study progress on designs of acquisition instrument with image capturing in tongue inspection[J].—, 2014, 16(2): 433-437.

[10] Park J I, Lee M H, Grossberg M D,.. Multispectral imaging using multiplexed illumination[C]. 2007 IEEE 11th International Conference on Computer Vision, Rio De Janeiro, Brazil, 2007: 1-8.

[11] 徐庆相. 基于光度立体视觉的表面精细特征三维重建技术研究[D]. [硕士论文], 华中科技大学, 2011.

Xu Qing-xiang. Research on 3D reconstruction of detailed features based on photometri stereo[D]. [Master dissertation], Huazhong University of Science & Technology, 2011.

[12] 张彦. 基于光度立体视觉的三维重建的研究[D]. [硕士论文], 吉林大学, 2013.

Zhang Yan. The research of three-dimensional reconstruction based on photometric stereo[D].[Master dissertation], Jilin University, 2013.

[13] Georghiades A S. Incorporating the torrance and sparrow model of reflectance in uncalibrated photometric stereo[C]. Ninth IEEE International Conference on Computer Vision (ICCV 2003), Nice, France, 2003: 816-823.

[14] Barsky S and Petrou M. The 4-source photometric stereo technique for three-dimensional surfaces in the presence of highlights and shadows[J]., 2003, 25(10): 1239-1252.

[15] 张珊珊, 吕东辉, 孙九爱.近光源光度立体三维重建误差分析[J]. 计算机技术与发展, 2015(1): 168-172.

Zhang Shan-shan, Lü Dong-hui, and Sun Jiu-ai.Reconstruction error analysis on photometric stereo with nearby light sources[J]., 2015(1): 168-172.

[16] 张屹凌. 基于光度立体算法的图像建模系统的设计及实现[D]. [硕士论文], 浙江大学, 2006.

Zhang Yi-ling. Design and implementation of image-based modeling system based on photometric stereo[D].[Master dissertation], Zhejiang University, 2006.

[17] 桂思怡, 林国顺. 基于DirectX的立体装箱三维可视化辅助模块技术[J]. 计算机与现代化, 2014(2): 15-19.

Gui Si-yi and Lin Guo-shun. DirectX-based techniques of stereo loading system’s 3D visualized auxiliary module[J]., 2014(2): 15-19.

[18] 许家佗, 张志枫, 任宏福, 等. 基于图像处理的舌形胖瘦分析方法[C]. 第二次全国中西医结合诊断学术研讨会论文集. 2008: 43-47.

Xu Jia-tuo, Zhang Zhi-feng, Ren Hong-fu,.. Analysis of fat/thin tongue based on image processing method[C]. The Second National Integrated Traditional Chinese and Western Medicine Diagnosis of Academic Symposium, Lijiang, 2008: 43-47.

3D Reconstruction of Tongue Surface Based on Photometric Stereo Method

Cai Yi-heng Zhang Lin-lin Sheng Nan Zhang Xin-feng Wang Li-na

(,,100124,)

In the process of the objective research in traditional Chinese medicine tongue diagnosis, the tongue information obtained from the analysis of 2D tongue image is limited. It restricts the development of tongue diagnosis. Based on the feasibility of photometric stereo method to reconstruct the static tongue mode, forreconstructing the 3D surface of the real tongue, a dynamic information collection system is designed for image information acquisition. Then the normal vectors, texture reflectance and depth values are obtained with photometric stereo method, and the 3D surface of tongue is displayed based on DirectX. Finally, a highlight excluding algorithm is used to reduce the effects of the highlight areas on the reconstruction results. After the highlight excluding, it performs better in the reconstruction accuracy and robustness aspects. Experimental results indicate that the average relative error of this algorithm is of 7.24%. The results can express the tongue surface morphology and details such as tooth marks visually.

Image processing; Photometric stereo method; 3D reconstruction; Highlight; Surface normal; Tongue characterization

TP391; R445

A

1009-5896(2015)11-2564-07

10.11999/JEIT150124

2015-01-22；改回日期：2015-07-15；

2015-08-25

蔡轶珩 caiyiheng@bjut.edu.cn

国家自然科学基金(61201360)

The National Natural Science Foundation of China (61201360)

蔡轶珩： 女，1974 年生，博士，副教授，主要研究方向为图像处理、颜色视觉、中医诊断信息化.

张琳琳： 女，1990 年生，硕士生，研究方向为图像处理.

盛 楠： 女，1991 年生，硕士生，研究方向为图像处理.

张新峰： 男，1974 年生，博士，副教授，主要研究方向为模式识别、机器学习、中医信息处理.

王立娜： 女，1988 年生，硕士生，研究方向为图像处理、颜色视觉.