基于非规则表面分割的纹理贴附式几何校正算法

王 盛 王魏平 张 真

(上海航空电器有限公司 上海 201101)

0 引 言

随着投影显示技术在多领域内的快速发展，以光学投影显示系统为核心的影像画面显示手段，已逐渐深入各类显示环境与应用领域。非规则投影表面对空间投影的显示特性将极大丰富人们的视觉感受，在虚拟现实、艺术表演、科技普及、创新创意等领域都具有广阔的普适前景[1-2]。

常规应用环境中，人们将投影画面投射到平面幕布上，为投影显示系统提供了良好的显示介质，无形中增加了投影显示系统的使用成本，限定了投影显示系统的使用场合，降低了投影显示系统的使用便捷性[3-4]。然而现实生活中的各种接收表面本身均可以作为投影显示介质来使用，只不过这种非标准化的接收表面形态各异，使得投影显示画面会受到调制而发生不可预期的形变，致使投影显示系统的视觉效果无法满足人们正常观看。

Bandyopadhyay等[5]提出并实现了针对简单投影表面的动态投影显示系统Dynamic Shader Lamps，通过投影表面建模、投影区域跟踪等复杂过程，实现了无纹理可移动投影表面的交互式绘制及渲染显示的目的。Steimle等[6]提出并实现了基于可形变曲面拟合的柔性投影表面显示系统Flexpad，通过可形变曲面的关键控制点对投影表面进行空间曲面拟合，得到投影表面的可参数化描述的三维空间曲面方程，从而达到柔性投影表面的纹理贴合显示目的。

Jones等[7]提出并实现了室内环境下具有沉浸式增强现实体验的智能化投影显示系统RoomAlive，利用Kinect深度传感器对室内环境表面进行三维空间信息的自主构建，通过对投影表面进行三维重建以及显示内容的映射，实现了室内环境中投影显示内容与室内环境表面的无缝增强现实效果。除此之外，Siegl等[8]构建了无标记映射的面部增强投影显示系统FaceForge，根据人脸面部结构的三维空间深度信息，对预期投影于人脸表面的纹理影像进行动态分析与调整，从而使真实人脸面部能够表现出各类惟妙惟肖的面部增强投影效果。

投影显示系统最为核心的作用便是呈现出人们可以正常进行视觉感受的观看画面，而画面显示一旦发生几何形变将严重影响人类的常规视觉体验[9-12]。从光线传播的角度来看，可以将投影显示系统看作是逆向的物理成像系统，这使得投影显示系统自动化、定性、定量的自主几何校正成为可能[13]，致使投影几何校正技术成为投影显示技术领域的热点研究问题。由于投影显示系统极易受到非规则投影表面调制，且此类调制将导致投影显示画面出现无法正确表达影像内容等感知问题，因此使投影显示画面能够适应于非规则投影表面的三维几何形态变化变得至关重要[14-16]。图1所示为非规则投影表面的贴附式几何校正系统构成图。

图1 非规则投影表面的贴附式几何校正系统构成图

非规则投影表面的贴附式几何校正系统主要由计算机、数字相机、投影机、非规则投影表面构成。基于非规则表面分割的纹理贴附式几何校正算法将被分解为两阶段进行解算，即：非规则投影表面几何分割、纹理贴附式投影显示校正。

1 非规则投影表面几何分割

非规则投影表面几何分割处理的核心之处在于：对非规则投影表面进行特征标记的预期设定，使得非规则投影表面的几何分割方式能够满足投影显示系统对区域映射的匹配需求，从而实现有效投影显示区域中预投影影像的纹理贴附式显示效果。也就是使预投影影像能够作为非规则投影表面的“自身”纹理，形成非规则投影表面与预投影影像的无缝贴附融合。

1.1 数字索引式特征标记纹理贴图

现有关于预设特征的编码图像构建方式很多，诸如不同图元的排列、基本图元的组合等，但以往的这些特征编码方式并没有能够完全克服识别失效等问题，而且它们被使用的过程会受到投影表面尺度、特征编码数量、特征排他性等众多局限，仅普遍地适用于小尺度投影显示区域。利用数字索引的方式对特征标记进行标识序号编排，将有效地增强非规则表面投影显示系统的扩展性，且特征编码的标记数量将不受编码图像的限制。图2所示为数字索引式特征标记纹理图。

图2 数字索引式特征标记纹理图

图2中，每个黑色实心圆右侧的数字索引表示该黑色实心圆的行、列索引，且上方数字索引为该黑色实心圆所在行索引，下方数字索引为该黑色实心圆所在列索引。

如果非规则投影表面的待投影区域尺度较大，且单幅特征标记纹理图无法覆盖所需非规则投影表面时，则可以使用多幅特征标记纹理图并按特征编码的标记序号编排进行拼接，以使特征标记纹理图能够覆盖需要投影显示的全部非规则投影表面区域。

1.2 特征编码坐标定位

通过数字相机对非规则投影表面贴附的特征标记纹理图进行采集，然后利用阈值进行采集图像的灰度化、二值化处理，再利用Canny算子对特征标记纹理采集图像进行边缘提取，从而得到特征标记纹理采集图像中所有边缘的二维离散点集。由于特征标记纹理图的每个特征编码均使用实心圆表示，因此需要对二维离散点集进行连通边缘区域的检测与分离，最后得到特征标记纹理采集图像的所有连通边缘区域集合，以便进行有效特征编码的二维图像坐标定位。

根据各组连通边缘区域离散点集，以椭圆方程表达为图元拟合模型，对连通边缘区域离散点集进行椭圆曲线拟合。利用最小二乘法对式(1)表示的椭圆曲线拟合规则进行解算，从而得到各组连通边缘区域所表示的椭圆方程参数A、B、C、D、E。

(1)

各组连通边缘区域的椭圆中心点横轴坐标值可通过式(2)计算得到，椭圆中心点纵轴坐标值可通过式(3)计算得到，椭圆长轴长度值可通过式(4)计算得到，椭圆短轴长度值可通过式(5)计算得到。

(2)

(3)

(4)

(5)

通过对边缘连通区域的椭圆曲线拟合，即可计算得到特征标记纹理采集图像中每个特征编码的二维图像坐标位置以及长轴与短轴的长度值。

1.3 特征编码标记识别

由于受到数字相机拍摄角度、非规则投影表面几何形态等因素的影响，特征标记纹理采集图像中特征编码的排布会发生调制现象，并且每个特征编码的右侧都采用数字索引进行标识序号编排。所以为了能够正确地识别出特征编码的数字索引，需要对每个特征编码右侧的数字索引区域进行旋转处理，使其能够被OCR光学字符识别过程准确地识别。

根据特征标记纹理图中所有特征编码的排布特性，可以得知：每个数字索引都处于特征编码黑色实心圆的右侧，并且数字索引所占宽度小于相邻两个特征编码距离的三分之二。以特征标记纹理图中特征编码的排布特性为依据，且以数字索引区域的旋转角度不超过正、负60度为限制条件，对特征标记纹理采集图像的每个特征编码进行数字索引区域检测。然后根据该数字索引区域左右两侧特征编码的连线所成角度，对该数字索引区域进行反向的旋转变化处理，使其中包含的数字索引处于水平放置状态。

利用现有已经成熟的OCR光学字符识别技术，对每个数字索引区域进行“0”“1”“2”“3”“4”“5”“6”“7”“8”“9”十个数字的光学字符识别，并得到每个光学字符识别的匹配度，然后根据光学字符的识别匹配度判断其检测结果的可用性，最后即可识别得到特征标记纹理采集图像中所有特征编码右侧的数字索引序号。

2 纹理贴附式投影显示校正

投影显示校正的目的是通过对待投影图像进行逆向预扭曲变换，以消除原始待投影图像直接投射而引起的非预期形变，使投影显示画面能够表现出与预期相一致的投影显示效果。纹理贴附式投影显示校正过程将由“投影特征映射定位”和“待投影图像预校正”两个处理阶段构成。

2.1 投影特征映射定位

任意两个相邻的格雷码编码值仅有1位二进制数不同，其具有错误最小化的编码特性，图3所示为格雷码序列的像素化表示。由于非规则投影表面的数字索引式特征编码标记无法被投影机感知，故需要利用格雷码编码图像序列对非规则投影表面进行特征编码标记的投影映射定位。

图3 格雷码序列的像素化表示

根据格雷码编码序列的二进制数排列形式可知，格雷码编码图像序列所包含的编码图像数量将由投影分辨率、编码条纹宽度共同决定。如果投影分辨率保持不变，编码条纹宽度越大则所需编码图像数量越少，编码条纹宽度越小则所需编码图像数量越多，也就是说：投影分辨率不变的前提下，编码条纹宽度与编码图像数量成反比。根据式(6)即可计算得到格雷码编码图像序列所含图像数目。

(6)

式中：n表示格雷码编码图像序列所包含的编码图像数量；Sp表示投影机投射分辨率；Sn表示编码条纹所占像素宽度值。

根据格雷码编码序列的二进制数排列形式，生成t幅格雷码编码图像序列GCPs={GCPs1,GCPs2,…,GCPst}。将非规则投影表面贴附的特征标记纹理图进行移除处理，使非规则投影表面恢复成无特征标记的状态，可以更好地接收格雷码编码图像序列GCPs，以便准确地解析出特征标记纹理采集图像中各特征标记与格雷码编码图像序列GCPs中格雷码编码坐标位置的对应匹配关系。

通过投影机依次将格雷码编码图像序列GCPs的每幅编码图像投射于非规则投影表面，而后使用数字相机依次采集投射于非规则投影表面的每幅编码图像，得到数字相机采集的t幅格雷码编码图像序列CGCPs={CGCPs1,CGCPs2,…,CGCPst}。

通过对格雷码编码图像序列的采集图像序列CGCPs进行解码处理，可得到数字相机采集图像中各投影像素点的格雷码编码值，根据特征标记纹理采集图像中特征标记的二维图像坐标，即可得到各特征标记中心对应于格雷码投影图像的屏幕坐标位置集SAPs，进而进行后续的待投影图像预矫正。

2.2 待投影图像预校正

非规则投影表面环境的投影几何校正过程，需要对非规则投影表面的每个分块进行单独校正，且投影几何校正过程需使用单应性变换矩阵实现，因此可通过式(7)计算得到各分块自身的单应性变换矩阵，然后利用各单应性变换矩阵对待投影图像进行预校正。

(7)

式中：(Dx,Dy)表示投影几何校正后的预期图像坐标位置;H11、H12、H13、H21、H22、H23、H31、H32、1表示投影几何校正过程的单应性变换矩阵中的元素；(Sx,Sy)表示投影几何校正前的原始图像坐标位置。

根据特征标记纹理图所包含特征标记的行数、列数，对投影机分辨率进行均匀网格划分，得到所有划分网格的顶点坐标位置序列SMPs。根据屏幕坐标位置集SAPs和顶点坐标位置序列SMPs的对应点对取值，计算得到非规则投影表面中所有面片网格的单应性变换矩阵集HTS={HTS1,HTS2,…}。

根据单应性变换矩阵集HTS，通过使用式(7)对待投影图像中每个网格分块的面片图像进行预校正形变处理，得到待投影图像中每个网格分块的目标面片图像。将所有网格分块的目标面片图像合并在一起，便可得到原始待投影图像所对应的整幅预校正投影图像。然后便可通过投影机将预校正投影图像投射到非规则投影表面。

3 几何校正算法验证

通过对非规则投影表面几何分割和纹理贴附式投影显示校正处理，即可实现非规则投影表面的特征标记设置、检测与识别，各面片网格单应性变换矩阵的求解，待投影图像的几何校正等操作，从而达到非规则投影表面的纹理贴附显示目的。

为了检验本文算法的可行性及有效性，采用了C++编程语言实现整体处理过程的具体操作，硬件环境包括：数字相机，投影机，非规则投影表面，计算工作站。由于平面投影表面或规则投影表面可被看作非规则投影表面的特例，而且本文算法强调了对非规则投影表面的适应性，故将以更具普适性的非规则投影表面为验证环境。

将特征标记纹理图“贴合”至非规则投影表面，而后使用数字相机采集当前非规则投影表面，得到非规则投影表面的特征标记纹理采集图像。通过对特征标记纹理采集图像进行特征编码坐标的定位，然后提取数字索引的有效区域并对其进行水平化旋转处理，最后利用OCR光学字符识别获取各特征标记的数字索引值。图4所示为特征编码标记的识别过程样例。可以看出，本文算法能够准确地检测出特征标记坐标位置，并正确完成特征标记的数字索引识别。

(a) 算法验证硬件环境 (b) 特征标记纹理采集图像

(c) 特征标记中心定位及数字索引识别图4 特征编码标记识别样例

对于特征标记纹理采集图像，为了实现各特征标记在投影机图像坐标系的映射定位，将格雷码编码图像序列投射于非规则投影表面。图5所示为投射了格雷码编码图像的非规则投影表面。

(a) 纵向格雷码编码图像 (b) 横向格雷码编码图像

(c) 纵向编码采集图像 (d) 横向编码采集图像图5 第7幅投射格雷码图像的非规则投影表面

利用投影特征映射定位阶段的处理过程，即可计算得到非规则投影表面所有分块面片的单应性变换矩阵。通过对待投影图像每个图像分块进行几何变换处理，就得到了待投影图像的几何预校正图像，再将预校正图像投射于非规则投影表面。图6所示为预校正图像投射于非规则表面的纹理贴附式显示效果。

(a) 第8帧未校正投影图像 (b) 第8帧预校正图像 (c) 第8帧已校正投影图像

(d) 第116帧未校正投影图像 (e) 第116帧预校正图像 (f) 第116帧已校正投影图像

(g) 视角1的第116帧显示 (h) 视角2的第116帧显示 (i) 视角3的第116帧显示图6 非规则投影表面的纹理贴附式显示效果

4 结 语

针对非规则投影表面测量难度大、人工操作复杂度高等问题，本文提出基于非规则投影表面分割的纹理贴附式几何校正算法。通过将特征标记图像作为纹理介质贴附于非规则投影表面的方式，对非规则投影表面进行非重建式的均匀面片网格划分。将特征编码序号作为特征标记的码值使用，一定程度上提高了特征标记图像对非规则投影表面的适应性和扩展性。实验结果表明，本文几何校正算法能够实现非规则投影表面的贴附式纹理增强显示效果。

本文几何校正算法能够根据特征标记的数字化序号编排，准确地检测和识别出特征标记的坐标位置，提高了非规则投影表面显示系统的扩展性、易用性、鲁棒性等，但其目前并不适用于动态变化的非规则投影表面，还需进一步研究。