基于规则物体的单幅图像三维重建

刘震 汪家悦 陈丽娟

摘 要：对单幅未标定图像进行三维重建，灭点的精度十分重要，针对此难点，首先采取canny算子和Hough变换提取出图像中的长直线，分析直线特征，对不同方向的直线进行聚类，再根据各方向的直线满足线性分布关系，利用改进的稳健回归算法获取直线参数的线性模型，剔除误差直线。再利用最小二乘法解算灭点。得到精确灭点后，利用灭点的性质对摄像机的内外参数进行标定，然后交互获得最少的图像二维点，通过标定矩阵和物体本身的几何性质计算相应的三维坐标，最后进行目标物体的三维重建。此方法有效剔除了无效直线的干扰，提高了灭点精度，最后恢复的三维物体重建误差3%以内，符合三维重建精度要求。

关键词：单幅图像 三维重建 灭点 直线特征 相机参数

中图分类号：TP391.9 文献标识码：A 文章编号：1674-098X（2018）02（a）-0136-03

三维重建是指根据单幅图像或者多幅的图像重建三维信息的过程。基于单幅图像的三维重建避免了基于多幅图像重建的特征匹配的问题，是个热点。

近年来，大批学者进行单幅图像的三维重建的研究。Antonio CRIMINSI [1]等人通过单张影像上的几何信息（尤其是灭点）进行测量。NIAN [2]等提出了一种利用建筑物对称性的相机标定方法，但仅适用于对称物体。TARDIC [3]到则采用 J-linkage算法生成M（M>3）类候选灭点的最小采样集，实现建筑物的三维重建，但必须给定摄像机的内参数信息。Xu 等[4]提出的一种带有统计特性的一致性度量方法，综合考虑了直线端点误差、直线的长度及位置的影响，提高了灭点的检测精度。

本文在上述研究的基础上进行研究，由于各方向的直线满足线性分布关系，利用改进的稳健回归算法建立直线参数的线性模型，充分利用了直线信息，剔除无效直线，提高了检测灭点的精度。并利用灭点的性质对摄像机的内外参数进行标定，然后交互获得最少的二维点，通过标定矩阵和物体本身的几何性质得到重建物体所需的几何参数。最后进行目标物体的三维重建。

1 灭点检测算法

灭点是空间平行直线在图像上的投影线段的交点。获取单幅图像上的灭点有自动法和手动法，自动法人机交互少，故采用自动法。分为如下几步：（1）图像边缘检测；（2）Hough变换求解直线；（3）直线聚类；（4）根据直线特征建模去除无效直线；（5）求取灭点。

1.1 图像边缘检测

步骤（1）常见的边缘检测算子有Roberts Cross算子，Prewitt算子，Sobel算子，log算子，Canny算子，通过对比得出canny算子具有良好的信噪比和检测精度，可以提取较好和较多的图片细节，故选用canny算子进行图像边缘检测。

1.2 直线的获取与聚类

步骤（2）可以提取图像中的直线信息并将取转化到参数空间。坐标轴空间一条直线对应（ρ，）参数空间一个点（ρ0，）；

需要重构的三维物体在图像空间中会形成水平方向，垂直方向与纵深方向的直线，步骤（3）根据直线的角度方向将提取的直线束分为三类，具体做法如下。

1.3 根据直线特征剔除无效直线

根据文献[5]可知，灭点的直线束在（ρ，）参数空间满足线性分布关系，对于有错误样本点的数据集合，为了最大化的接近真實目标，采用改进的稳健回归算法作为参数线性模型的估计算法；

假设图像某一方向有n条直线束，分别记为L。那么，这n条直线束对应的参数应该满足的一般线性表达式如式（1）：

（1）

其中：为n条直线束中第条直线的参数；为直线参数的线性模型参数；为随机误差；为了抑制误差点的影响，给每条直线分配一个，每个的取值与其对应直线的重要性有关，直线的重要性与该直线的倾斜角与其余倾斜角的距离和成反比，采用改进的稳健回归算法的线性拟合目标函数如式（2）：

= （2）

其这样中向量，使目标函数达到最小值时的值即为稳健回归算法所求线性模型的参数值。一般认为，远离目标函数的样本点既是外点，通过设立阈值去除误差样本点，参数空间中对应的点为图形空间中的相应直线，通过此方法剔除了无效直线。

1.4 灭点求取

根据文献[6]利用最小距离法求解灭点的坐标。设灭点直线束对应的灭点为，将和都表示为齐次坐标的形式，则有式（3）：

（3）

式子中，，对应的直线方程为。

将利用最小距离法求解最佳灭点的问题转化为线性代数的问题，根据拉格朗日不定乘子法，灭点为对称矩阵最小特征值的特征向量。

2 相机内外参数的标定

摄像机的内参数由焦距，主点坐标组成。外参数由旋转矩阵R和平移矩阵T构成，借助王建的摄像机标定方法[7]容易得到我们要求的内外参数。

3 物体的三维重建

对于空间中的一个长方体来说，手动获得四个顶点的图像坐标，通过固定其某顶点的深度坐标Z，通过图像点与空间的转换公式就可以算出其他三点的深度值，从而计算出AB和AC的长度。同理通过，能求出BF的长度，确定重建长方体的长宽高。

4 实验结果

根据改进后的稳健回归算法得到参数线性模型，利用得到的线性模型剔除有误差的样本点得到的有效直线结果如图所示。

通过之前的介绍，假设图3中D点对应的深度值为时，手动获取图像中的部分二维点，计算出长方体的边长见表2。

根据求得的物体的长宽高，用OpenGL实现三维重建，实验结果见图3所示。

5 结语

本文介绍了利用规则几何体本身性质实现三维重建的方法，首先用canny算子和Hough变换检测出直线，根据直线信息对直线进行聚类，采用改进的稳健回归算法作为参数线性模型的估计算法来剔除无效直线，此方法有效地剔除了图像中无效直线的干扰，从而得出精确的灭点，根据灭点的属性得到相机的内外参数，根据长方体的几何性质实现三维重建。此方法有效的提高了模型的精度，模型整体精度在3%以内，符合三维重建精度要求。可试用于规则的多边体的三维重建，也可用于规则建筑物的三维重建。

该方法也存在一些缺陷，此方法仅实现规则物体的重建，接下来会研究不同形状的几何体的单幅图像三维重建。在灭点检查算法中灭点精度非常重要，接下来还会再研究如何提高灭点精度。

参考文献

[1] CRIMINISI A， REID I， ZISSERMAN A. Single view metrology [J]. International Journal of Computer Vision， 2000， 40（2）： 123-148.

[2] NIAN Juan， PING Tan， Loong-Fah Cheong. Symmetric architecture modeling with a single image[J].SIGGRAPH Asia 2009papers， 2009，59（3）：207-232.

[3] Tardif J P. Non-iterative approach for fast and accurate vanishing point detection [J]. IEEE International Conference on Computer Vision，2009，30（2）：1250-1257.

[4] Xu Y L， Oh S， HOOGS A. A minimum error vanishing point detection approach for uncalibrated monocular images of man-made environments [C]//Computer Vision and Pattern Recognition， 2013. CVPR 2013. IEEE

[5] 张桂梅，储珺，王丽.利用直线参数信息的建筑物灭点检测方法[J].计算机应用，2013，33（2）：515-538.

[6] CIPOLLA R， Robertson D. 3D models of architectural scenes from uncalibrated images and vanishing points[C]. Proceedings of the IEEE International Conference on Image Analysis and Processing， 1999：824-829.

[7] 王建，曾廣宇.基于单幅图像的摄像机标定[J].微计算机信息，2010，26（7）：214-216.