基于旋转采样光场数据的物体表面重构

苑瑞宁， 邱　钧， 刘　畅

(1. 北京信息科技大学 应用数学研究所， 北京 100101； 2. 北京大学 数学科学学院， 北京 100871)



基于旋转采样光场数据的物体表面重构

苑瑞宁1， 邱钧1， 刘畅2

(1. 北京信息科技大学 应用数学研究所， 北京 100101； 2. 北京大学 数学科学学院， 北京 100871)

摘要:光场的旋转采样模式与图像重建的扫描模式具有相似的几何特性. 借鉴图像重建的全刻画模型， 提出一种基于旋转采样光场数据的物体表面重构算法， 给出了旋转采样光场的参数化表示方法， 建立了刻画旋转采样光场数据与物体表面关系的模型， 得到物体表面特征点对应光线在旋转采样光场中的分布函数. 根据分布函数结合图像的特征点匹配建立表面特征点位置的重构算法， 由表面特征点生成物体表面的三维点云， 实现物体的三维表面重构. 实验结果验证了提出的基于旋转采样光场数据的物体表面重构算法的可行性和有效性.

关键词:旋转采样； 全刻画模型； 光场； 物体表面重构

0引言

光场是一种描述空间中任意点任意方向光线的辐照度函数， 最初以七维形式给出[1]， 经过简化可以用双平面四参数表征[2-3]. 光场数据记录了光线的空间和角度信息， 可以用于场景深度估计[4-8]和物体表面重构[9-12].

在图像重建中， 对二维平行束扫描模式下的投影与反投影过程进行几何分析， 引出了图像重建的全刻画模型[13]. 全刻画模型给出了重建点和扫描线的对应关系、 正投影过程的几何表示以及反投影的几何意义， 刻画了二维平行束扫描的正演和反演过程. 光场的旋转采样模式与图像重建的扫描模式具有相似的几何特性， 全刻画模型中的重建点与扫描线的对应关系同样存在于光场的旋转采样模式中.

本文基于旋转采样光场数据， 借鉴图像重建的全刻画模型， 建立刻画旋转采样光场数据与物体表面关系的模型. 在此模型下， 物体表面特征点与光线的对应关系为正弦轨迹的分布函数， 对应极线图的正弦曲线特性. 本文将该分布函数应用于三维表面重构过程中特征点位置地计算， 实现物体的三维表面重构.

1建立旋转采样光场模型

1.1图像重建的全刻画模型

图像重建中， 基于平行束扫描的全刻画模型刻画了重建点和扫描线的对应关系、 正投影过程的几何表示、 反投影的几何意义以及重建点在扫描投影过程中完整的对应轨迹. 其三维几何结构如图 1 所示.

图 1 中xroΦ为图像重建中正弦图的坐标架， 在其基础上添加yr轴可体现出投影的累加过程. 与实际的平行束扫描方式相对应，xoy为待重建图像坐标架， 在扫描区域内做反方向旋转运动， 并且随着角度的增大逐渐上升， 同时将xroyr视为是固定的. 图中表示当扫描角度为Φ=0°时，xroyr坐标架与图像平面的xoy坐标架重合的初始情形. 对于待重建区域内的每一个重建点xj， 记重建点xj在初始的xoy平面内坐标为(x,y). 在二维平行束扫描与投影几何关系模型中， 重建点随着扫描过程螺旋上升， 对应地运动轨迹如图中圆柱表面螺旋曲线所示.

重建点xj的轨迹方程为

(1)

沿着yr轴方向做积分， 结果显示在xroΦ平面内， 即为通常意义下的投影数据平面， 则重建点的运动轨迹在投影数据平面对应为正弦线.

1.2旋转采样光场模型

本文将与平行束扫描模式相类似的采集方法引入到光场数据的采集中以实现物体的多视角三维表面重构. 采集方式如图 2 所示， 将物体置于旋转中心， 以其为圆心等角度间隔地旋转一周， 完成光场数据采集.

基于双平面的四维全光函数无法对所采集的数据方便地描述， 所以采用一种新的参数化描述方式， 如图 3 所示.

图3中P表示针孔相机的小孔位置， 可以将其看作是以O为球心， 以OP为半径的球面上的一点. 根据旋转采样方式可知OP垂直于Oy轴，OP长为定值， 记为r.φ为OP与Ox轴之间的夹角， 则P的位置可以唯一由φ确定.X为空间中一点，xoy表示探测器平面，X在探测器上的像点Q记为Q(x,y).PQ可以描述旋转采样光场中任意一条光线， 即旋转采样光场可以参数化表示为L(φ,x,y).

如图 4 所示， 空间中一点X经过透镜在相机探测器平面上成像于点Q， 其过程可以描述为

(2)

式中：gφ(x,y)表示φ角度下采集的图像；hφ为点扩散函数， 一般情况下可以将相机看作针孔相机， 即hφ为单位脉冲函数.

本文采用的光场采集方式与平行束扫描的采集方式相似， 由于两者投影过程存在对应关系， 因此可以借鉴图像重建的全刻画模型建立一种刻画旋转采样光场数据与物体表面关系的模型. 如图 5 所示.

空间中的重建点在OxOzφ空间中水平旋转运动的运动轨迹与全刻画模型中的重建点的运动轨迹线是相似的， 不同是该模型下的投影方式为透视投影， 但其极线图中特征点的投影轨迹线与全刻画模型中投影数据平面所对应的轨迹线是相同的， 也是正弦轨迹线.

设针孔相机对空间中一点X的投影变换可以表示为一个矩阵P， 则图像中的点x可以表示为如式(3)形式

(3)

式中： x和X表示齐次坐标的形式； P为3×4矩阵， 由相机的参数决定， 可以分解为如式(4)形式

(4)

式中： t是描述镜头中心位置的三维平移向量， 由于旋转过程中始终在同一水平面移动， 所以可以表示为[-rsinφ0r-rcosφ]T； R是描述相机方向的旋转矩阵； K通常可以写作如式(5)形式

(5)

式中： f表示图像与照相机中心间的距离， 若在拍摄时f保持不变， 则K是固定不变的矩阵.

由于在数据采集过程中， 相机旋转始终处于同一水平面， 所以旋转矩阵可以表示为

(6)

由此， 可以得到x的横坐标为

(7)

式中： (Ox,Oy,Oz)为空间中一点X的坐标.

根据式(7)可得到正弦特性曲线极线图， 如图 6 所示.

2基于旋转采样光场数据的物体表面重构

2.1图像匹配

为了验证本文所提出重构方法的可行性和有效性， 对不同φ角度下采集的数据进行匹配时选用了SIFT(ScaleInvariantFeatureTransform)方法. 该方法是由DavidLowe提出的一种特征提取及描述算法[14]. 它对图像的视角变化、 噪声保持具有较强的稳健性[15]， 可以处理图像间的平移、 旋转、 仿射变换情况下的匹配问题， 对任意角度拍摄的图像具备较为稳定的特征匹配能力， 适用于本文提出的采集方式的图像匹配.

SIFT方法的流程主要包括以下四步：

尺度空间极值检测： 对全部尺度的图像位置进行查找， 通过高斯查分函数确定潜在的可能的保持尺度和旋转不变的点；

特征点定位： 通过拟合模型确定每个候选位置的尺度和位置；

特征点方向分配： 根据局部图像梯度方向为每个特征点至少分配一个方向；

特征点描述： 在每个关键点的周围区域计算局部图像梯度并将其转化为特征点的描述向量.

将描述向量的欧式距离作为特征点相似性度量进行匹配. 为提升匹配准确率， 对与待匹配特征点距离最近的两个特征点作比较. 最近点的距离除以次近点的距离小于预设阈值(实际实验中采用的阈值为0.8)， 则认为最近点为匹配点.

2.2特征点位置计算

可以把旋转采样光场极线图的正弦轨迹特性作为先验信息用于特征点的位置计算. 设在φ0角度采集的图像上的特征点坐标为(x0,y0)， 在φi角度匹配的点为坐标(xi,yi)， 可以得到xoφ坐标系下的离散点对(xi,φi)， 其中， i=1,2,…,n. 根据式(7)的推导结果， 可以知道这些点的轨迹线为正弦线. 若设此点的轨迹线为

(8)

式中： A,θ为待计算参数， 可以通过最小二乘法拟合计算参数的值. 即

(9)

最后由得到的参数根据式(7)计算出点的Oz值， Ox和Oy可以根据图像中坐标来确定， (Ox,Oy,Oz)即为点的位置坐标. 图 7 给出了数据的拟合示意图来说明以上所述的拟合方法.

本文所采用物体表面重构算法的完整步骤为：

输入数据： 图像序列形式的光场数据I={I1,I2,…,In};

1) 使用SIFT算法提取图像Ii, Ij的特征点， 并对两幅图像中的特点进行匹配；

2) 根据匹配结果依据式(9)使用最小二乘法拟合正弦线得到其参数A, θ；

3) 根据式(7)使用得到的正弦线参数计算特征点的位置坐标(Ox,Oy,Oz)；

4) 根据特征点位置坐标生成ply格式文件并显示表示物体表面的三维点云图；

输出结果： 存储特征点位置信息和颜色信息的ply文件.

3实验结果与分析

本文的光场数据采集过程为： 使用SONYNEX-5C相机， 物体置于PT-SD201旋转台上. 相机与旋转台间距即旋转半径为30cm， 旋转间隔为10°. 旋转一周共采集到36幅不同视角的图像， 单幅图像分辨率为2 280×1 250. 实际计算中选用包含物体的图像中心区域， 分辨率为 1 060×790.

实验中曲线拟合采用Levenberg-Marquardt算法进行迭代求解. 因此本文所提出算法的时间复杂度为O(kmN3)， 其中k为最大迭代次数， m为重构点的数量， N为单重构点所对应图像特征点的平均数量.

图 8 给出了所采集数据和对应视角的三维点云结果. 实验结果表明本文提出的算法对于特征点位置坐标地计算具有较好效果， 可以实现较为精确的多视角三维表面重构， 故使用该算法进行基于旋转采样光场数据的物体表面重构是可行和有效的.

4结论

本文从图像重建的全刻画模型出发， 根据光场旋转采样模式与图像重建扫描模式的相似性建立了刻画光场数据与物体表面关系的模型. 基于此模型提出一种特征点位置坐标的计算方法， 该方法根据本文所给出旋转采样光场的极线图的正弦分布函数， 对同一特征点在不同视角下的数据进行拟合， 利用参数结果反算该点的位置坐标， 得到物体的三维点云图. 实验结果验证了本文采用的基于旋转采样光场数据的物体表面重构算法的可行性和有效性.

参考文献:

[1]AdelsonEH,BergenJR.Theplenopticfunctionandtheelementsofearlyvision[J].ComputationalModelsofVisualProcessing, 1991: 3-20.

[2]LevoyM,HanrahanP.Lightfieldrendering[C].ConferenceonComputerGraphics&InteractiveTechniques, 2002: 64-71.

[3]GortlerSJ,GrzeszczukR,SzeliskiR,etal.TheLumigraph[J].InSIGGRAPH96,1996: 43-54.

[4]NeusSabater,ValterDrazic,MozhdehSei,etal.Light-fielddemultiplexinganddisparityestimation[J].HAL-00925652, 2014.

[5]TosicI,BerknerK.Lightfieldscale-depthspacetransformfordensedepthestimation[C].ComputerVisionandPatternRecognitionWorkshops(CVPRW), 2014IEEEConferenceon.IEEE, 2014:441-448.

[6]TaoMW,HadapS,MalikJ,etal.Depthfromcombiningdefocusandcorrespondenceusinglight-fieldcameras[C].ComputerVision(ICCV), 2013IEEEInternationalConferenceon.IEEE, 2013: 673-680.

[7]WannerS,GoldlueckeB.GloballyconsistentdepthLabelingof4Dlightfields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR). 2012, 4: 1-8.

[8]OhashiK,TakahashiK,FujiiT.Jointestimationofhighresolutionimagesanddepthmapsfromlightfieldcameras[J].StereoscopicDisplays&ApplicationsXXV, 2014, 9011(12): 2978-2982.

[9]LukeJ,RosaF,MarichalJ,etal.Depthfromlightfieldsanalyzing4Dlocalstructure[J].JournalofDisplayTechnology, 2014， 11(11).

[10]BirchG,TyoS,SchwiegerlingJ. 3Dasstigmaticdepthsensingcamera[J].Proc.SPIE8129,NovelOpticalSystemsDesignandOptimization, 2011: 75-86.

[11]KimC,ZimmerH,PritchY,etal.Scenereconstructionfromhighspatio-angularresolutionlightfields[J].AcmTransactionsonGraphics, 2013, 32(32): 96-96.

[12]TianL,WallerL. 3DintensityandphaseimagingfromlightfieldmeasurementsinanLEDarraymicroscope[J].Optica, 2015, 2(2): 104-111.

[13]赵芳薇.反投影模型下的图像重建迭代算法[D].北京: 北京信息科技大学, 2014.

[14]LoweD.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofCom1075PuterVision, 2004, 60(2): 91-110.

[15]MikolajczykK,SchmidC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysis&MachineIntelligenceIEEETransactionson, 2005, 27(10): 1615-1630.

Surface Reconstruction Based on Rotation Sampling Light Field Data

YUAN Rui-ning1, QIU Jun1, LIU Chang2

(1. Institute of Applied Mathematics, Beijing Information Science & Technology University, Beijing 100101, China;2. School of mathematical Sciences, Peking University, Beijing 100871, China)

Key words:rotation sampling; complete description model; light field; surface reconstruction

Abstract:The rotation sampling mode of light field and scan mode of image reconstruction have similar geometrical properties. A method for surface reconstruction based on rotation sampling light field data was presented according to the complete description model in image reconstruction.The parametric representation method of rotating sampling light field was presented.And the model which described the relationship between light field data based on rotation sampling and object surface was established. Thenthe distribution function of light corresponding to the surface feature points in the light field based on rotation sampling was obtained. The surface feature point position reconstruction algorithm based on this distribution function combining image feature points matching was established.The object surface point three-dimensional points cloud was generated according to the feature points and three-dimensional surface reconstruction was achieved.The experiment results demonstrate that the surface reconstruction algorithm based on rotation sampling light field data was feasible and effective.

文章编号:1673-3193(2016)03-0215-05

收稿日期:2015-11-15

基金项目：国家自然科学基金资助项目(61271425； 61372150)

作者简介：苑瑞宁(1989-)， 男， 硕士生， 主要从事图像重建研究.

通信作者：邱钧(1966-)， 男， 教授， 博士， 主要从事图像重建、 计算摄影研究.

中图分类号:O43

文献标识码:A

doi:10.3969/j.issn.1673-3193.2016.03.002