一种相机标定辅助的单目视觉室内定位方法

王 勇，陈国良，李晓园，田 鹏,4，周 雨

(1. 中国矿业大学机电工程学院，江苏 徐州 221000; 2. 徐州市产品质量监督检验中心，江苏 徐州 221000; 3. 中国矿业大学环境与测绘学院，江苏 徐州 221000; 4. 徐州市勘察测绘研究院，江苏 徐州 221000)

随着社会的发展、国防建设的需要，以及人们需求的增长，基于位置的服务成为研究的热点。如何在复杂环境中快速获取准确的位置，便于在紧急救助、医疗服务、信息传递等邻域发挥巨大的作用成为至关重要的问题。对于现代导航定位来说，室内由于建筑物的遮挡，GPS接收机很难收到卫星的信号。因此，WiFi[1-3]、白光[4]、可见光[5]、超宽带(UWB)[6]、行人航迹推算(PDR)[7]、蓝牙的各种室内定位技术应运而生，各种基于人工智能和传感器融合的算法实现了优于1 m精度的室内定位[8-10]。

研究发现上述室内定位方法都需要在室内环境附加安装一些电子装置才能实现，本文以公共场所常见的监控摄像装置采集的实时视频流为基础，实现了一种利用视频序列和多区域分割的室内定位方法，无需任何现场附加装置，实现高精度的室内定位。具体的实现步骤如图1所示，首先对不同的平面进行相机标定，获取投影矩阵；然后对视频序列中的目标进行检测，获取目标的像素坐标；最后结合投影矩阵与像素坐标进行空间坐标的解算，完成对室内目标的定位。

图1 定位流程

1 相机标定

相机标定是从二维像片中获取三维尺度信息必不可少的步骤，对三维计算机视觉尤为重要。通过相机标定可以获取像片中像素与空间物体的映射关系，从而达到利用像素坐标解算空间坐标的目的。本文选用文献[11]中的张正友标定法进行相机的标定。

1.1 相机成像模型

相机标定采用针孔模型作为相机成像模型，根据针孔成像模型可以得到如下的映射关系

(1)

式中，u、v为P点的像素坐标；X、Y、Z为P点的空间坐标；s为尺度因子；r1、r2、r3为旋转参数，t为平移参数，统称为相机的外参；A为相机的内参矩阵。

式(1)是空间坐标与像素坐标间的映射关系，张正友标定法中假设标定板的平面为0，即Z=0，因此式(1)可以简化为式(2)，通过对式(2)中的相应参数进行解算可完成相机标定。

(2)

1.2 相机内外参数的解算

相机成像模型建立好之后就需要对相机的内外参数进行求解得到像素坐标与空间坐标之间的转化关系。张正友标定法用于相机内外参数的求解过程如图2所示。

1.2.1 单应矩阵求解

式(1)可以化简为

sm=HM

(3)

式中，X=H。

图2 张正友相机标定步骤

1.2.2 内外参数求解

结合式(2)和式(3)，可以得到

(4)

式中，λ=1/s，由旋转矩阵的正交性可以得到如下两式

(5)

(6)

式(5)、式(6)又可以写成矩阵的形式

(7)

最后通过对式(7)求解的b进行分解后就可以求出相机的内外参数，具体求解过程可以参考文献[12]，这里不再赘述。

1.2.3 相机的畸变参数求解

通过式(7)计算出来的相机内外参数是在针孔成像模型的前提下解算的。实际上相机在成像过程中会出现畸变，因此还需要求解相机的畸变参数。相机的畸变有3种模式，分别为径向畸变、离心畸变、薄棱镜畸变。考虑到径向畸变为主要类型，因此只求解到二阶径向畸变参数[13]。径向畸变参数通过下式求解

(8)

k=(DTD)-1DTd

(9)

2 运动目标检测

运动目标检测技术在智能监控领域发挥着重要的作用。本部分主要利用运动目标检测技术获取目标的像素坐标，为下一步目标空间位置的解算作准备。目前常用的运动目标检测方法有帧差法、背景差法[14]和光流法[15]3种。由于单一算法都不能完整地检测运动目标，因此出现了混合算法。文献[16]融合背景差法、光流法及可分离的数学形态边缘检测法(SMED)，减少了背景噪音，增强了对光照变化的适应性，增强了算法的稳健性。本文利用文献提取强角点特征，然后结合金字塔Lucas-Kanade(L-K)光流算法对目标进行检测。金字塔L-K光流算法流程如图3所示。

图3 金字塔Lucas-Kanade光流算法流程

2.1 强角点提取

传统的Lucas-Kanade光流法用于求解稠密光流，计算量较大，因此不能满足实时性的要求。在此基础上本文先在初始图像中提取强角点，然后对提取的强角点进行跟踪，减少了计算量。强角点提取的数学模型如下

(10)

式中，w(x,y)为高斯函数；Ix为x方向偏导数；Iy为y方向偏导数；⊗表示卷积运算；M为二阶导数的自相关矩阵。

由于M为二阶矩阵，求解M矩阵的两个特征值λ1、λ2。将两个特征值与设定的阈值比较可以得到强角点，判断准则需满足

min{λ1,λ2}>min(threold)

(11)

2.2 结合强角点的金字塔Lucas-Kanade光流法

L-K光流法基于3个假设：①目标像素在帧间运动保持亮度恒定；②运动随时间变化缓慢；③同一场景中同一表面上邻近的点具有相似运动。在满足上述3个条件后可以得到L-K光流法的数学模型如下

Ixu+Iyv+It=0

(12)

式中，Ix、Iy分别为图像沿x、y方向的偏导数；It为图像随时间的导数；u、v分别为x、y方向的速度分量。通过上式可以看出，单个像素不能求解速度分量，因此需要利用邻域像素一并解算

(13)

式中，n为邻域窗口的大小。利用最小二乘法对式(13)进行求解就可以得到速度分量值。金字塔L-K算法是L-K算法的改进，其作用是克服了L-K算法只适用于小而连贯运动的缺陷，使其也能够满足大而不连贯的运动。

3 目标定位

相机标定获取的像素坐标与空间坐标之间的映射关系可以表示为

(14)

展开并消去s后有

(15)

式(15)即为空间直线方程。从上式可以看出一个像素点对应射线上的任何一个空间点，因此不能通过单一像素坐标解算出空间坐标。从图4中可以看出如果能够得到平面Z的空间方程，结合式(15)就可以求得X、Y、Z的坐标。

假设平面Z的空间方程为Z=0，结合式(15)可以得出坐标求解方程为

该处楼房位于贾河河堤南侧，影响道路铺设和创森造林，对此，东明县投入资金19万元，由江苏省盐城市一专业楼房整体平移公司对楼房实施了平移，整栋楼房向东平移18米后，又向南平移了14米，为创森造林“让道”。

(16)

图4 坐标解算模型

通过对上式进行求解，就可以利用目标物的像素坐标解算出空间坐标，实现目标定位。上述定位方法需要确定平面方程，因此本文将室内环境进行平面分割，针对不同的平面完成相机标定，确定平面方程，如图5所示。

图5 定位示意图

4 试验分析

4.1 试验条件

试验场所选用教学楼楼道和楼梯两部分，试验硬件平台为智能手机及棋盘格标定板，软件平台为Opencv和Matlab。

4.2 相机标定

4.2.1 楼道平面标定结果

楼道平面选用17张棋盘格照片进行标定，如图6所示。

图6 楼道平面棋盘格标定

相机内参矩阵为

旋转矩阵为

平移矩阵为

径向畸变系数为

0.122 4 -0.067 6

由以上结果可以得到投影矩阵为

利用M矩阵就可实现图像与空间的位置关系转换。标定误差如图7所示。

图7 相机标定误差(楼道平面)

从图7可以看出，相机标定误差小于0.2像素，标定结果达到了亚像素。

4.2.2 楼梯面标定结果

楼梯面标定使用14张棋盘格照片进行标定，如图8、图9所示。

图8 楼梯平面棋盘格标定

图9 相机标定误差(楼梯平面)

旋转矩阵为

平移矩阵为

投影矩阵为

上面试验分别对不同平面完成相机标定，得到了图像坐标与空间位置的映射关系，标定结果精度达到了亚像素。

4.3 运动目标检测

行人沿楼道平面和楼梯平面预先设置好的路线行走过程采集视频，并采用金字塔L-K光流法进行了光流检测。图10(a)、图10(b)分别为第155帧和200帧的原始图像，图10(c)、图10(d)为其对应的光流检测结果。

图10 金字塔L-K光流法检测

4.4 目标定位结果

行人沿楼道平面行走试验的定位结果如图11所示，最大定位误差处为Y轴0.35 m，其余各处均小于0.1 m。行人沿楼梯行走试验的定位结果如图12所示，X、Y轴的误差均小于0.1 m。

通过楼道平面和楼梯平面的试验结果可以看出(如图13所示)，本文提出的算法定位精度在X方向小于0.15 m，Y方向小于0.35 m，行人行走时在Y方向偏离真实轨迹较大，导致Y方向获取的像素坐标误差较大，因此Y方向误差要大于X方向误差；平均单点定位时间小于5 s，试验结果达到了高精度、实时性的要求；畸变校正后轨迹与未校正的轨迹基本重合，表明本试验所用相机镜头畸变尺度较小，对定位结果的影响可以忽略不计。

图11 行人沿楼道平面行走定位结果

图12 行人沿楼梯行走定位结果

图13 部分定位点沿X、Y方向定位误差

5 结论与展望

本文将机器视觉技术应用在室内定位领域，通过对室内区域进行分割，结合相机标定和运动目标检测技术实现对室内行人的高精度定位。试验结果表明，定位精度小于0.5 m，均高于WiFi、蓝牙等其他室内定位技术，可以满足高精度室内定位的需求。由于室内摄像设备覆盖范围的限制，不能覆盖所有的区域，但是可以通过与其他定位技术一起实现组合定位，完成覆盖较大范围内的定位需求。

[1] YANG Chouchang,SHAO Huairong.WiFi-based Indoor Positioning[J].IEEE Communications Magazine: Articles, News, and Events of Interest to Communications Engin-eers,2015,53(3):150-157.

[2] ZOU H, JIANG H, LU X, et al. An Online Sequential Extreme Learning Machine Approach to WiFi Based Indoor Positioning[C]∥ Internet of Things. [S.l.]: IEEE, 2014:111-116.

[3] TORTEEKA P, XIU C. Indoor Positioning Based on WiFi Fingerprint Technique Using Fuzzy K-nearest Neighbor[C]∥ International Bhurban Conference on Applied Sciences and Technology. [S.l.]: IEEE, 2014:461-465.

[4] NADEEM U, HASSAN N U, PASHA M A, et al. Highly Accurate 3D Wireless Indoor Positioning System Using White LED Lights[J]. Electronics Letters, 2014, 50(11):828-830.

[5] YASIR M, HO S W, VELLAMBI B N. Indoor Positioning System Using Visible Light and Accelerometer[J]. Journal of Lightwave Technology, 2014, 32(19):3306-3316.

[6] KOK M, HOL J D, SCHON T B. Indoor Positioning Using Ultrawideband and Inertial Measurements[J].IEEE Transactions on Vehicular Technology,2015,64(4):1293-1303.

[7] 陈国良,张言哲,汪云甲,等.WiFi-PDR室内组合定位的无迹卡尔曼滤波算法[J].测绘学报,2015,44(12):1314-1321.

[8] 张会清,石晓伟,邓贵华,等.基于BP神经网络和泰勒级数的室内定位算法研究[J].电子学报,2012,40(9):1876-1879.

[9] 李丽娜,马俊,龙跃,等.基于LANDMARC与压缩感知的双段式室内定位算法[J].电子与信息学报,2016,38(7):1631-1637.

[10] TIAN Z, FANG X, ZHOU M, et al. Smartphone-based Indoor Integrated WiFi/MEMS Positioning Algorithm in a Multi-floor Environment[J]. Micromachines, 2015, 6(3):347-363.

[11] MORÉ J J. The Levenberg-marquardt algorithm: Implementa-tion and theory[J]. Lecture Notes in Mathematics, 1978, 630:105-116.

[12] ZHANG Z Y.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13] TSAI R Y. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision[J]. Proceeding of Computer Vision and Pattern Recognition, 1986(6):364-374.

[14] XU M, MA M. Real-time Detection of Moving Human Target under Indoor Environment Based on Video[C]∥ International Symposium on Test Automation & Instrumentation. Beijing:[s.n.],2014.

[15] LUCAS B D, KANADE T. An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥ International Joint Conference on Artificial Intelligence. [S.l.]:Morgan Kaufmann Publishers,1981:674-679.

[16] SUGANYADEVI K, MALMURUGAN N. OFGM-SMED: An Efficient and Robust Foreground Object Detection in Compressed Video Sequences[M]. [S.l.]:Pergamon Press, 2014.