基于纹理的三维书籍模型单侧页面提取方法

童立靖，王凤鹤，李 斌

基于纹理的三维书籍模型单侧页面提取方法

童立靖，王凤鹤，李 斌

(北方工业大学计算机学院，北京 100144)

模型分割在实际工程中有重要的应用价值。针对三维书籍模型的点云分割，提出了一种基于纹理的单侧书籍页面提取方法。对于获取的三维书籍模型以及散乱纹理图像，首先将模型的散乱纹理转化为有序纹理，将像素值从RGB空间转换到HSI空间，根据H(色调)和I(亮度)去掉模型背景点云；然后根据书脊线像素在有序纹理图像中的分布特性，计算纹理图像中的书脊线，再利用最小二乘法拟合出书脊线的三维空间方程，进而求出分割左右页面的空间平面，最终完成单侧页面的提取。实验结果表明，该方法针对三维书籍模型能够快速稳定地提取出单侧页面，具有较高的准确性。

页面提取；点云分割；HSI色彩空间；书籍模型；最小二乘法

三维书籍模型的单侧页面提取，是三维图书模型进行光学字符识别(optical character recognition，OCR)的关键一步，主要依据点云分割的方法对三维模型进行切分[1]。

目前提出的点云分割算法[2]主要分为：基于区域增长的、基于属性的和基于模型的分割方法等。基于区域增长的分割算法[3-4]实质上是将邻近区域内有相似性质的点连接起来构成独立的分割区域，并认为不同区域间有较大差异。该方法以种子曲面作为起点，通过测试某一未被分类的点，判断该点是否能构成种子表面，对能够形成曲面的点拟合出一个平面方程，再判断该点是否能够纳入平面。该方法抗噪声能力强，但过于依赖种子的选取策略，很难得到确定的分割模型。基于属性的分割算法[5-6]中每个点都与一个特征向量相关，在特征空间中通过聚类分割点云模型。此方法对性能和时间的要求较高，不适合处理大量数据，因此在实际的应用范围受到局限。基于模型的分割算法根据几何模型将具有相同数学表达式的点云归类到同一区域，较为经典的方法是随机抽样一致性估计算法(random sample consensus，RANSAC)[7]，这是用来检测数学特征的一种鲁棒性算法，但此算法只能处理规则几何形状的人造物体或场景，不适用于点云数量较多、形状较为复杂的模型分割。

针对以上问题，本文对三维书籍模型的单侧页面提取，提出了一种结合书籍模型纹理图像的单侧页面点云分割方法。实验表明，该算法能够稳定地提取单侧书籍页面，且具有较好的准确度。

1 算法的思路

三维扫描仪扫描的三维模型包括点云数据和纹理图像。点云数据通常包含点云的三维坐标、纹理映射点对[8]和组成模型网格的三角形顶点索引；纹理图像描述的是纹理映射的像素信息，在纹理图像中是散乱的。某书籍的三维模型如图1所示。

图1 某书籍的三维模型

本文的算法思路为：首先将书籍模型的散乱纹理转变为有序纹理。先确定要转变的有序纹理的大小，初始化为灰色，找到每个三角面片上3个顶点及面片中的点在散乱纹理中的像素值，填充得到有序纹理图像；然后，扫描有序纹理图像找到背景的像素点，从而去掉模型背景点云；最后，根据有序纹理图像中脊线像素点位置，使用最小二乘法拟合出空间书脊线进而求解分割左右页面的空间平面方程，完成书籍模型的单侧页面提取。本文的算法流程如图2所示。

图2 算法流程图

2 三维模型的背景去除

2.1 有序纹理的获取

在进行页面提取之前，先将书籍模型的散乱纹理图像转变为有序的二维纹理图像。三维模型由空间网格及其附属于网格的纹理图像构成，在三维模型文件中，存有网格各端点的空间三维坐标、其在二维无序纹理图像中的平面坐标、及其对应关系数据。将三维模型网格进行平面投影，根据模型文件中端点的三维坐标与二维无序纹理坐标的对应关系，可以得到投影图像各端点的纹理坐标，并可将无序纹理图像中端点构成的三角形区域的像素信息映射到投影端点的三角形区域，从而获取有序的投影纹理图像。对于两个三角形内部像素的映射，可依纹理映射关系进行计算，具体步骤为：

步骤1.有序纹理大小的确定和图像初始化。

为方便计算，首先将模型点云的空间坐标平移到第一象限，然后根据、坐标轴方向的最大、最小值，选取一定的比例关系，确定生成的有序纹理图像大小，即

确定了有序纹理图像的大小后将图像初始化为灰色(128,128,128)。

步骤2. 点云模型三角形面片顶点对应的纹理图像像素的信息提取。

计算三角形面片顶点在有序的二维纹理图像中的位置，即

其中，ʹ、ʹ为计算后顶点像素信息需要保存在有序纹理图像中的位置，、为点云横纵坐标上的位置。存储的像素位置为整数值，因此在计算像素位置时四舍五入。

步骤3.点云模型三角形面片内部像素信息的提取与保存。

由式(3)可得如下映射矩阵

于是有：

对于符合条件(1)和(3)情况的像素点，根据映射矩阵和式(3)即可更新有序纹理图像中的像素信息。遍历各三角形网格，完成整幅有序纹理图像的像素填充。

某书籍模型获取的有序纹理图像如图3所示。

图3 有序纹理图像

2.2 基于HSI空间的模型背景去除

受照度、阴影等因素的影响，有序纹理图像中模型背景各像素点的RGB值并不完全一致，为了去除三维模型的背景点云，本文将纹理图像从RGB颜色空间转换到HSI颜色空间[9]，根据书籍与背景纹理的H和I的不同特性，完成对背景点云的切分。具体步骤为：

步骤1.遍历模型的三角面片，对于式(5)确定在三角面片投影图像中的像素点，获取其RGB信息，通过式(6)~(8)将其转换到HSI颜色空间，即

步骤2.根据每一个三角面片投影图像中像素转换到HSI空间后的值和值，当满足式(9)时判定此点为背景点云，并删除该点所在面片，完成书籍模型的背景去除，即

3 单侧页面的分割

为将书籍模型的左右页面分开，保留单侧页面，首先需要获取二维纹理图像中书脊线的像素位置；然后将二维图像的像素位置映射到三维模型中，拟合出一条空间上的书脊线；最后确定分割书籍左右页面的空间平面方程，切割单侧页面。

3.1 纹理图像中书脊线的获取

本文根据纹理图像中像素点颜色特征来计算书脊线在有序纹理图像上的位置。在三维扫描仪实际扫描过程中，由于曲面凹陷较深，会出现空间网格的空缺，并且在从三维模型提取有序纹理图像的过程中，除书籍本身外，其余区域均被设置为灰色，使书脊线处出现较为明显的灰色条带状纹理。为了减少计算复杂度，扫描有序纹理图像的中心区域，寻找灰色像素点，若其后跟随有个连续的灰色像素点，则该点为书脊线位置。

3.2 二维书脊线的三维映射

其中，0、0、0为直线上的某一点坐标值；(,,1)为方向矢量，具体待求。

令

则式(11)可以写成

考虑空间直线的平面投影为最佳估计，则其对和的偏导数为0，可解出和，即

同理，式(17)对和求偏导，式(18)对和求偏导，可依次解出其值。

式(13)~(15)的两两组合可构成3条直线，选取离书脊线各点距离平方和最小的直线作为书脊线的空间拟合直线，其方法为：

将式(20)代入式(21)中，化简可得

则垂点的轴上的值为

将式(23)代入式(20)可得x,y。

同理可计算书脊线各点到另外两条空间直线的距离平方和2、3。

3.3 左右页面的分割

根据点法式方程，平面p可得

4 实验结果与分析

4.1 实验环境

实验环境为：Inter(R) Core(TM) i7-3770 CPU @ 3.4 GHz，8 GB内存，Windows 7 32位操作系统，Microsoft Visual Studio 2005。使用语言为C++和OpenGL。本实验所使用的三维书籍模型由美国Artec 3D EVA手持式三维彩色扫描仪和美国Artec Spider手持式高精度三维扫描仪扫描得到。

4.2 结果分析

4.2.1 功能性实验

图4显示了使用本文的基于纹理特征的分割算法进行的三维书籍模型单侧页面提取的分割步骤，图4(a)为未处理过的原始模型，包括一些不均匀的背景。图4(b)为根据纹理特征去掉背景之后的书籍模型。图4(c)为根据纹理特征找到的模型书脊线，图4(d)为切割后的书籍单侧页面。从图4(d)中可以看出，通过使用本文算法能够比较准确地提取出单侧页面。

图5为多个模型对背景的去除，图6展示了本文算法求得的去除背景后的模型书脊线。图6中的直线为基于纹理特征的分割算法寻找到的直线，通过这条直线，可以求解切割书籍模型左右页面的切割平面。

由表1可知，本文方法能够稳定而正确地找到书脊线所在位置，且偏差值较小。

图5 去除背景后的模型

图6 书脊线的直线

表1 本文算法求得的书脊线与真实值的对比

4.2.2 对比性实验

为了进一步客观评价本文提出的基于纹理的单侧页面分割算法，并与其他分割算法进行了相关对比。文献[13]给出了一种基于矢量的点云分割方法，并与本文算法进行了对比。实验模型分为向左倾斜和向右倾斜，模型倾斜角度从10°到90°每隔20°进行一次实验。这两个算法在相同配置的Windows 7操作系统下，对比发现本文算法的分割效果较好。分割误差统计见表2、3，其百分比数据为分割结果中无效的页面点云区域占手动准确分割结果的点云区域的比例。

对于文献[13]提出的基于矢量的点云分割方法，在三维图书模型的扫描环境中，由于背景平面与书脊处均不能做到绝对光滑，所以计算三角面片的向量过程中，一部分背景的点云并不能全部去掉，对书脊处的位置判断也不能完全精准，影响了一定的分割精度。本文提出的基于纹理的分割方法是按照模型中图书的纹理特征进行分割，分割精度较高，且误差较小，具有一定的实用性。

表2 向左倾斜分割误差结果统计(%)

表3 向右倾斜分割误差结果统计(%)

5 结束语

本文针对三维扫描仪所采集的书籍模型，从模型的纹理角度，将散乱纹理转变为有序纹理，再从有序纹理中分析出模型的背景与脊线位置，进而去除背景和求出分割左右页面的空间平面方程，提出了一种稳定的提取书籍模型单侧页面的方法。实验表明，本文算法降低了处理复杂度，提高了精度。根据模型的纹理信息，能够去除书籍的背景点云；根据扫描书脊处的纹理特征，运用空间直线的线性拟合，能够较为准确地计算分割左右页面的空间平面方程，对提取三维模型单侧页面书籍有较好地处理效果。

[1] 吴建胜, 祖旭良, 薛涵今. 基于特征字符识别的文本图像方向判定[J]. 计算机工程与设计, 2015, 36(8): 2260-2263, 2296.

[2] 刘进, 武仲科, 周明全. 点云模型分割及应用技术综述[J]. 计算机科学, 2011, 38(4): 21-24, 71.

[3] TÓVÁRI D, PFEIFER N. Segmentation based robust interpolation–a new approach to laser data filtering [C]// International Society for Photogrammetry and Remote Sensing (ISPRS). Amsterdam: Elsevier Press, 2005: 79-84.

[4] WANG Z, LIU H, QIAN Y, et al. Real-time plane segmentation and obstacle detection of 3D point clouds for indoor scenes [C]//IEEE International Workshop on Consumer Depth Cameras for Computer Vision. New York: IEEE Press, 2012: 22-31.

[5] FILIN S. Surface clustering from airborne laser scanning data [J]. International Archives of Photogrammetry and Remote Sensing, 2002, XXXII(3A): 119-124.

[6] ZHAN Q, YU L, LIANG Y. A point cloud segmentation method based on vector estimation and color clustering [C]// International Conference on Information Science and Engineering. New York: IEEE Press, 2011: 3463-3466.

[7] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection [J]. Computer Graphics Forum, 2007, 26(2): 214-226.

[8] 姜翰青, 王博胜, 章国锋, 等. 面向复杂三维场景的高质量纹理映射[J]. 计算机学报, 2015(12): 2349-2360.

[9] 李慧慧, 秦品乐, 梁军. 基于HSI亮度分量和RGB空间的图像去雾算法[J]. 计算机应用, 2016, 36(5): 1378-1382.

[10] 孙忱, 奚宏生, 高荣. 邻域线性最小二乘拟合的推荐支持度模型[J]. 西安交通大学学报, 2015, 49(6): 77-83.

[11] 汪奇生, 杨德宏, 杨腾飞. 空间直线的结构总体最小二乘拟合[J]. 大地测量与地球动力学, 2015, 35(3): 433-435.

[12] 李宝, 程志全, 党岗, 等. 三维点云法向量估计综述[J].计算机工程与应用, 2010, 46(23): 1-7.

[13] 张强, 李朝奎, 李俊晓, 等. 一种改进的基于法矢方向调整的平面点云分割方法[J]. 地理与地理信息科学, 2015, 31(1): 45-48.

Single Side Page Extracting Method for 3D Book Model Based on Texture

TONG Lijing, WANG Fenghe, LI Bin

(School of Computer Science and Technology, North China University of Technology, Beijing 100144, China)

Model segmentation has important application value in practical engineering. For the point cloud segmentation of 3D book model, a single page extraction method based on texture is proposed. For the 3D model books and disordered texture image acquired, the disordered texture of the model is transformed into orderly texture firstly. Then the pixel values are converted from RGB color space to HSI space. According to H (hue) and I (intensity), the point cloud of background model is removed. Next, the spine line is analyzed from the distribution characteristics of the spine pixels in an orderly texture image. The three-dimensional space equation of spine is calculated by the least squares method, so that the space equation can be solved for the single side page extracting. Experimental results show that the method can extract the single page stably for the 3D book model, and has higher accuracy.

page extraction; point cloud segmentation; HSI color space; book model; least square method

TP 391

10.11996/JG.j.2095-302X.2018020179

A

2095-302X(2018)02-0179-07

2017-07-20；

2017-08-28

国家自然科学基金项目(61371142)

童立靖(1972–)，男，安徽马鞍山人，副教授，博士，硕士生导师。主要研究方向为计算机图形学、数字图像处理。E-mail：tong_lijing@163.com