基于Kinect人体脚型三维构建

2019-11-18杨海清郭更新

传感器与微系统 2019年11期

关键词：脚型灰度滤波

杨海清，戴林，郭更新

(浙江工业大学信息工程学院,浙江杭州 310023)

0 引言

三维重建是在虚拟环境中处理、分析和操作的基础[1]，同时也是人体测量的关键技术，人体测量的数据为制定鞋、服装等服饰提供了标注依据。构建人体三维脚模型，可以用于面向个性化定制鞋、模特脚部的制作以及满足三维(3D)打印的需求[2]。

本文提出将Kinect传感器与计算机视觉相结合构建人体获得所需要的脚型三维模型[3,4]。

1 系统总体方案

系统的总体方案流程如下：首先Kinect传感器在每一个标志位置均做短暂停留获取不同角度的脚型深度数据图像。并根据在标志位置获取的深度图像进行预处理与分割操作，并转换为三维点云数据。在三维重建模块将获得的三维点云数据进行迭代最近点(iterative closest point,ICP)精匹配，然后对匹配结果进行拼接、融合。最后，对拼接好的点云进行曲面重建与渲染，得到最终三维重建模型。

本文采用采集硬件平台获取脚型的图像，如图1所示。

通过在滑轨轨道上部署3台Kinect传感器，每台传感器移动120°范围的形式设置。根据Kinect的深度数据获取有效范围，滑轨半径可设置在0.8～1.5 m之间，本实验采用0.8 m作为半径。为了获得足够的脚后跟和脚前掌的点云数据和完整的脚型数据，拍摄的间隔角度需要比较小[5]，这里间隔角度取30°，即每台Kinect移动约30°进行一次图像采集，为了便于控制目标移动的角度，对每个角度位置做上标志，每台Kinect从起始点绕顺时针方向进行数据采集，绕目标移动直到移动到下一台Kinect的起始位置为止。

2 图像数据的获取与预处理

2.1 深度信息的获取

Kinect传感器获得真实场景的深度信息，主要是通向物体发射红外散斑，随着物体远近的不同形成不同的散斑形状[6]，红外摄像头拍摄这些不同的散斑图案，通过PS1080芯片进行计算，内部解码分析获得所拍摄目标较为准确的深度数据，当Kinect需要获取深度信息时，红外摄像头拍摄到散斑图案，将此图案与保存记录好的散斑图案进行相关性换算，之后通过三角测量原理进行计算获取目标的深度信息[7]。

2.2 三维点云的获取

在图像坐标系下，通过假设像素坐标系上的某一点(x,y)，将图像像素坐标转化为图像物理坐标系

x=(u-u0)·k,y=(ν-ν0)·l

(1)

式中l,k为像素的单位坐标系，(u0,ν0)为图像物理坐标系的中心坐标。将(x,y)转换到世界坐标系下

(2)

(3)

式中d为测得的深度数值，代表红外摄像机的焦距，θ为图像物理坐标系与Kinect的三维坐标系的夹角，K为摄像机的内置矩阵参数，结合式(1)和式(2)推算可得式(3)，通过计算得到式(3)中的相机内置矩阵K即可确立图像像素坐标和世界三维坐标之间的转换关系，将摄像机获得的数据转化为三维点云数据。

2.3 深度图像的预处理

在实际应用中，因为Kinect的外红散斑发射和采集受到物体表面条件、光照条件、信号传输条件、遮挡等问题的影响，其获取的图像中，会含有一些噪声点以及空洞点[8]。而对于三维重建，这些因素会在一定程度上影响三维点云的准确度和完整性，所以需要提前对其进行预处理。双边滤波能够在去噪的同时保护好图像边缘和轮廓数据的特性较为适合作为深度图滤波方式。

双边滤波含有两个影响因子，分别为像素差值和空间几何距离[9]。相比较高斯滤波，双边滤波改进点在于考虑空间距离关系的同时，增加了对周围领域点的欧氏距离的考虑。其原理为：选定待计算像素点以及其周围的领域，读取周围邻域的像素值，通过加权平均的方式获得其均值，然后去除掉距离偏差太大的像素点

h(x)=k-1∬f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

(4)

式中k为归一化系数，其值为

k(x)=∬c(ξ-x)s(f(ξ)-f(x))dξ

(5)

式中f(x)为滤波前的待计算点的灰度值，h(x)为经过双边滤波后该点的灰度值，s为目标点与其周围点的灰度相似度，c为目标点与其中周围点的空间相似度。双边滤波通过将目标点以及其邻域的点都进行加权平均计算，获取均值，以优化过滤效果。其核心函数通过c(ξ-x)和s(f(ξ)-f(x))共同实现。滤波公式为

(6)

(7)

仅仅通过滤波方法进行修复，并不能达到很理想的效果，所以应先采取时空域联合的方式对深度图像进行修复。

在同一视角连续获得多帧图像并选择其中k帧，对选取的多帧图像取其坐标点(x,y)的灰度值D1(x,y),D2(x,y)…,Dk(x,y)，然后将其排序计算出中值Dmed(x,y)

(8)

剔除灰度值与中值偏差超过一定阈值的点，同时剔除深度值为255的空洞点，然后统计剩下的点为有效点，如果有效点数量超过一定值，则对剩下的点取均值，替换掉原图该点的深度值，获得图像的Iavg，否则,该点使用原图深度值为

|Di(x,y)-Dmed(x,y)|>S,N>T

(9)

式中S为设定的偏差阈值，N为剔出点之后所剩下的点的数量，T为设定的有效点数量阈值。对图像进行修复后再根据双边滤波降低噪声和消除小型空洞。

3 图像特征匹配

本文在Harris-SIFT算法的基础上提出了改进Harris-SIFT特征点描述算法，通过匹配实现对大偏差角度图像上的物体特征的搜索和配对。并应用于脚型三维重建系统中的点云配准模块。

3.1 深度图像的分割

由于在本实验为动态采集目标信息，对于背景差分法来说，背景的采集和配对十分困难。该系统Kinect分隔角度较大，不易对背景造成干扰，同时Kinect滑轨距离目标距离固定，十分容易设定阈值，故该系统适合采用阈值分割法对目标和背景进行分割。

本文的实验中，需要将脚作为所需要提取的目标，其余作为背景像素去除。与RGB图像分割的意义不同，对于深度图像来说，灰度值大小代表目标与相机的距离，根据灰度值进行分割即是根据目标与相机的距离进行分割

(10)

式中T为分割阈值，f(x,y)为点(x,y)处的灰度值，g(x,y)为结果该点的分割处理结果。

为了获取合适的阈值，假设图像上点的灰度值呈正态分布，设目标上的点的像素值分布函数为p(x)，方差为δ2，均值为μ；背景点分布函数为q(x) ，方差为τ2，均值为ν。图像的总灰度得概率密度函数如下式

λp(x)+(1-λ)q(x)

(11)

式中λ为目标对象占整个图像面积比例，1-λ为剩余部分即背景占整个图像面积的比例。

假设设最佳分割阈值为t，将背景点视为目标对象上的点的误差概率记为Q1(t)，将目标对象上点作为背景点的误差概率为Q2(t)，可得

(12)

则得到总错分的概率为

λQ2(t)+(1-λ)Q1(t)=

(13)

根据上式值得到最小值处的t的值即为最佳阈值，推导可得最佳阈值为t=(μ+ν)/2。

3.2 动态Harris-SIFT点特征检测算法

因为在将摄像机从一个位置移动到另一个位置的过程，可以看作一个平移过程，通过在移动摄像机过程中不间断采集数据，获得一批摄像机从这个位置移动到另一个位置的动态图片。动态Harris-SIFT点特征检测算法的基本原理:通过动态图片缩小Harris-SIFT算法所需要匹配的图片角度间隔，通过“搭桥”的模式，将一定间隔帧数的图片进行两两配对然后特征点继承至下一张图片，直到最后一张，将首尾特征点相连，获得特征点匹配结果。其具体步骤如下：1)设定初始点，设置好Kinect传感器。从初始点开始以摄像头正对目标得状态平稳绕目标顺时针移动，在移动过程中，不间断获取目标信息。2)选定间隔帧数k，从获取的图片中筛选出间隔k帧的各张图片。3)从初始图片I1开始，与顺序往下第二张图片I2进行Harris-SIFT算法匹配，获得匹配点对矩阵C12，将其作为基准矩阵。4)将图片I2与顺序往下第三张图片I3进行Harris-SIFT算法匹配获得点对矩阵C23。5)从C12与C23中提取出对于第二张图片I2所共有的特征点，将这些特征点所匹配的I1图特征点与I3图特征点一一配对，得到点对矩阵C13。6)将C13作为基准矩阵，继续进行图片I3与顺序往下第四张图片I4的Harris-SIFT算法匹配得到矩阵C34，同上将其与基准C13进行特征点配对，得到C14。7)重复以上步骤，直到最后一张图片Ik匹配完成，得到匹配点对矩阵C1k，C1k即为初始位置图片I1与结束位置图片Ik的特征点配对结果。

4 实验结果分析

为了实验环境避免对RGB图像进行处理和匹配时收到明暗相差过大等因素的干扰，同时采用室内环境保证Kinect传感器不会受到强太阳光干扰，采用普通白炽灯光照下的室内进行。

由于单纯的脚模表面适合用于匹配的特征点较少，在实验前，为脚模穿穿上具有黑白相间得格子纹理的袜子，这种编织物上具有丰富的角点特征，十分适合于Harris角点检测。Harris角点检测结果如图2(a)所示。

图2 结果

动态Harris-SIFT算法匹配中，影响匹配结果的因素包括阈值(ratio)的设置、间隔角度、匹配图数量等，其中，近邻/次近邻的ratio的大小设置对匹配结果有最直接的影响。本文通过多次实验，从小到大逐渐改变ratio的设置值，得到的匹配点对数量和准确率变化如图3所示。

图3 匹配点数量和准确率与阈值ratio关系

由图可知，匹配点个数随着ratio的增大而增大，但是匹配点对的匹配正确率大致随着匹配点对的增加而减少，可以观察到在ratio设置为0.75时，匹配点对的数量和匹配点对的正确率达到一个均衡的值，在获得丰富的匹配点对的同时，保证足够的正确率。所以本文选取ratio值为0.75。相同条件下传统算法与改进算法匹配结果结果如图2(b)和(c)所示,可以看出，同样条件下，改进的动态Harris-SIFT算法匹配的特征点对数略高于传统的Harris-SIFT算法匹配结果。匹配结果如表1所示。