一种基于视觉信息的可见光通信室内定位方法

王语琪，巩应奎

(1．中国科学院 光电研究院，北京 100094;2．中国科学院大学，北京 100049)

一种基于视觉信息的可见光通信室内定位方法

王语琪1,2，巩应奎1

(1．中国科学院 光电研究院，北京 100094;2．中国科学院大学，北京 100049)

可见光通信技术的发展为室内定位提供了新的契机。为了提高室内定位精度，文中提出一种基于视觉信息的可见光通信室内定位方法。该方法通过LED灯发送可见光通信信息，并将低分辨率的光电二极管传感器阵列接收到的可见光通信信息与手机终端的前置摄像头接收到的视觉信息进行融合，实现室内定位。同时，阐述了两种不同信息源的匹配融合的方法，并针对手机终端的前置摄像头与多盏LED成像之间的相互关系，提出了改进的共线方程模型。当输入数据为终端传感器接收到的LED灯可见光信息、相关视觉信息以及手机前置摄像头参数时，利用该模型可得到手机终端的三维坐标信息。文中针对定位模型进行了半实物仿真，验证了定位方法的可行性。根据仿真结果，定位精度达到分米级。

视觉信息；共线方程；室内定位；可见光通信

0 引 言

可见光通信技术以其高速率、高带宽、无电磁辐射的特性为室内导航定位技术带来了新的发展机遇，在飞机、医院、矿井等电磁受限的场景下，不仅可以提供通信服务，还可提供高精度的导航定位服务[1]。目前，基于可见光通信的室内定位技术包括基于LED身份识别定位[2-4](LED-ID)、基于到达时间定位[5](TOA)、基于到达时间差定位[6](TDOA)、基于到达角定位[7-8](AOA)、基于信号强度定位[9-10](RSS)等。以上几种方法在其他的定位方式如超声波、超宽带、射频识别(无线局域网、ZigBee)[11]技术中均有所研究。此外，基于视觉信息的可见光通信室内定位方法主要有两种，一种是利用多盏LED灯，以不同颜色的光来区别各路光信号，使用相同焦距、相同性质且两图像传感器位置固定的定位方法[12-13]，另一种是利用多盏LED灯与同一传感器的共线关系，得出终端所在的位置的定位方法[14]。

文中提出一种光电二极管(PD)传感器与图像传感器的视觉信息融合的定位方法，以改进的共线方程模型作为定位的数学基础，无需进行时间同步。在此基础上，对定位精度进行了半实物仿真验证。

1 定位方法及共线方程模型

1.1 视觉信息融合的定位方法

文中涉及的可见光通信室内定位系统场景设计为：控制中心向每盏LED灯发送位置及控制信息。LED灯按一定分布排列于天花板上，其利用电力线载波与后台的控制中心相连接。LED灯只需发送可见光信号并播放其位置信息即可，不需要使用时间同步原理。带有PD传感器的手机终端接收到可见光信号后进行解析，得到LED位置信息，同时手机终端的摄像头作为图像传感器进行LED影像的获取。在获取PD传感器及图像传感器对于同一盏LED灯的不同视觉信息后，通过手机终端内置程序，将两种不同的视觉信息进行融合并实现终端定位。

融合可看作两种不同类型的信息匹配过程，由于PD传感器的分辨率较低，因此匹配过程不可简单理解为图像间特征值的匹配。文中利用PD传感器及图像传感器所成影像的二维位置关系作为信息传递的媒介，以实现可见光通信信息与视觉信息的融合。

如图1所示，PD传感器和图像传感器会同时接收到同一盏灯的不同信息，PD传感器接收到的是每盏LED灯的可见光通信信号，在视觉上表现为一个光斑，传递的内容为LED灯的位置信息；图像传感器的分辨率较高，视觉上表示为该LED灯的实际影像。将两种不同的信息源进行融合，以解决基于可见光通信的成像定位的数据输入及匹配的问题。考虑到PD传感器与图像传感器的相对空间位置关系固定且距离较近，

图1 PD传感器与图像传感器接收信息示意图

外置的PD传感器与手机终端前置摄像头的平移位置不超过2 cm，且两传感器距LED灯的距离较近，在室内情况下约为3 m，视场角偏移度较小，LED灯按一定规则均匀地排布在天花板上，因此信息的匹配方法如下：

首先，提取LED灯坐标信息、光斑位置信息及LED图像位置信息。PD传感器和图像传感器会同时接收到多盏灯的不同信息，设PD传感器接收到i(i=1,2,…,m)盏LED灯的信息，包括i盏灯照射在PD传感器阵列的光斑平面位置(xdi,ydi)及传递给PD阵列的LED灯的三维坐标(Xi,Yi,Zi)，图像传感器接收到j(j=1,2,…,n)盏LED灯的信息，灯的图像信息的像平面二维坐标为(xej,yej)。

然后，统一PD传感器和图像传感器所属平面坐标系，提高匹配精度。PD传感器和图像传感器的分辨率不同，且有一定的旋转角度，需建立LED灯在PD平面位置上与像平面位置之间的关系。以高分辨率的图像传感器形成的图像为基准，将低分辨率的PD传感器抽象为一个二维矩阵，数学扩展为与图像相同分辨率的二维矩阵：

其中，(kx,ky)为PD传感器和图像传感器进行转换时，x方向和y方向的尺度系数，各个不同的图像传感器与PD传感器间的(kx,ky)值不相同；θ为两传感器之间的旋转角度，由于θ较小，在代入公式时可取cosθ=1，sinθ=θ以简化计算；(Δx,Δy)为二维偏移量；(xi,yi)为经数学处理后的PD光斑坐标，后续将利用(xi,yi)及(xej,yej)之间的关系进行匹配。

最后，进行可见光信息与图像信息匹配。以提取出的j盏灯图像信息的像平面二维坐标Ej(xej,yej)为模板，以处理后的PD阵列接收到的i个光斑信息的平面位置Di(xi,yi)为搜索区域，利用Kuhn-Munkres算法，计算所有路径Ei～Di，以最短的路径值作为权值，寻找如图2所示的最佳匹配。匹配完成后，将PD阵列所接收到的可见光通信信息中包含的LED三维坐标信息赋予图像上提取出的LED影像的像点坐标，得到终端坐标解算模型所需的参数为(xej,yej,Xi,Yi,Zi)。

最后输入摄影机的参数，并将视觉信息、LED坐标信息、摄影机参数输入共线方程，建立误差方程式，解得用户终端的三维坐标，从而实现终端手机的高精度定位。

1.2 定位模型

针对1.1节中提出的定位方法，摄影方向由传统摄影测量方法中的光线由下到上变为光线由上到下，摄影中心、像点、地面点的相对位置关系如图3所示。

图2 平面位置信息及匹配

图3 基于手机终端前置摄像头的室内定位关系

若要采用共线方程模型进行解算，需对光线的几何模型进行分析与推导。定位时，根据像片投影特点，LED灯、像点、摄影中心三点构成一条直线，定义地面三维坐标系为C-XgYgZg，其为右手坐标系；建立坐标原点为摄影中心，且坐标轴与地面三维坐标系平行，但Z轴与地面三维坐标系相反的右手坐标系：像空间辅助坐标系S-XsYsZs，以及像平面坐标系o-xy，其坐标原点为摄影中心投影到像平面上的点，一般为像平面中心处，x与y轴与像空间辅助坐标系平行。

在建立相对位置关系后，对定位方法及成像终端进行进一步的分析。由于定位方法中采用的是前置摄像头进行拍摄，其显示时对光学成像进行了轴对称的数学处理，以符合用户观看习惯。由于在解算时，视觉信息已进行了数学处理，而传统的共线方程模型利用的是真实的光学成像模型，因此对模型进行进一步的修正，还原物点、像点、摄影中心的成像关系。即像点坐标中的x轴取相反值，最终适用于手机终端前置摄像头的共线方程为：

(2)

其中：

(3)

式中，(x,y)为LED灯在二维像片上的像点坐标；(X,Y,Z)为LED灯的三维坐标；(Xs,Ys,Zs)为摄影中心在同一坐标系下的三维坐标；f为摄影机焦距；(φ,ω,κ)为摄影机在拍摄时刻三个方向的转角；(a1,a2,a3,b1,b2,b3,c1,c2,c3)为三个转角所组成的旋转矩阵。

结合1.1节中的场景及式(1)、(2)所提出的共线方程模型可知，当输入数据为LED灯的三维坐标信息、光斑视觉信息、LED视觉信息以及摄影机参数时，利用共线方程模型，将其线性化后进行迭代运算，可得到手机终端的三维坐标信息。

2 仿真实验与分析

2.1 仿真实验

文中采用半实物仿真方式对所改进的共线方程进行验证，开展仿真实验，采用真实的手机终端的前置摄像头采集LED灯的图像信息。

为了更好地验证模型的定位精度，需要对LED灯的位置及终端拍照实验点的位置进行标定。首先建立相对坐标系，确定终端采集视觉信息的实验点的位置，然后利用激光测距仪，采集已知坐标的实验点到LED灯的距离，利用三球交会原理计算LED的坐标信息。

设LED灯的坐标为(Xl,Yl,Zl)，地面网格点坐标分别为(Xa,Ya,Za)、(Xb,Yb,Zb)、(Xc,Yc,Zc)，测量距离分别为la,lb,lc，利用式(4)计算LED灯的位置坐标：

(4)

由于距离测量时包含了一定误差，为了减小标定所带来的误差影响，引入第四个坐标点，采用最小二乘法提高标定精度。所得的LED的三维坐标视为其在相对坐标系中的真实值。

仿真场景如图4所示。LED灯之间的X轴方向相差0.6m，Y轴方向相差0.6m，屋内高度为2.8m，智能手机终端在0.8*0.8m的格网点上进行拍摄。

图4 仿真实验场景

拍摄采用两台不同的智能手机终端，利用其前置摄像头进行图像的采集。在数据采集过程中，分别采用不同高度、不同手机终端采集了4组数据，即高度在相对坐标系中的Z方向值为0m时，使用两组不同的手机终端拍摄两组数据；高度在相对坐标系中的Z方向值为1.143m，使用两组不同的手机终端拍摄两组数据。

2.2 实验结果及分析

2.2.1 基于连通域的像点坐标提取算法

由于进行定位解算时需要像点坐标作为已知值，对于文中所提出的场景中的像点坐标提取，其特点一是需要程序后台提取解算，二是每张像片无较高的重叠度且相对独立，无法进行特征匹配，因此根据需要，采用经验阈值对图像进行灰度处理后二值化，利用二值图像连通域像素提取算法进行像素点坐标提取。

二值化是利用逐个像素的运算，把一张灰度图变为只有黑(0)和白(1)两种情况的图。其中的任何一个像素f(i,j)的亮度值介于[0,255]之间，在二值化的过程中用的阈值为T，二值化以后的影像为b(i,j)，运算公式为：

(5)

图像处理时采用8邻域的形态学图像处理原则，即若中间元素为1，周围8个元素为1。利用形态学图像处理进行像素坐标提取，经过确定图像模版、图像开运算、图像边界对象抑制、图像连通后，提取出像点坐标值。

文中采用手机终端拍摄的图片，对二值图像连通域像素提取算法进行验证。对图像进行处理后，利用程序自动识别LED灯的像素点坐标。提取结果表明，所使用程序对图片上的灰度值大于240以上的点均有响应，且可以提取出其中心值，并没有限制提取个数，如有些图像拍出了9个灯，程序可将图上的9个灯均进行提取。图像处理结果如图5所示。

图5 图像处理结果

得出结果后，对自动获取的像素点分析见表1。

表1 图像像点坐标提取精度

由于各像素点对应的实际像元大小为微米级，因此表1所示的图像像点坐标提取精度对后续定位精度的影响较小，满足像点坐标的精度要求。

2.2.2 定位结果分析

仿真工具选择Matlab软件，利用适用于定位室内定位方法的共线方程模型，对手机终端的位置进行解算及定位精度的分析。对共线方程模型进行线性化后，组成误差方程式，采用迭代的方法，对终端位置进行求解。在对场景进行标定及数据采集后，验证手机终端前置摄像头的共线方程模型，对所得结果与实际终端坐标位置进行比对。通过4组实测数据，得到172个终端位置值，并计算与标定地面点间的位置误差。图像上的LED像点坐标采用2.2.1节中自动提取的数据。本节首先分别对不同终端、不同高度进行定位精度的分析，然后对定位精度进行评估。

由于终端与LED灯的距离越近，视场越小，当试验场高度一定时，实验通过改变终端距地面的高度来调节视场的大小。

使用不同的手机终端采集数据并解算后，将定位结果进行分类，分别生成两手机终端的位置误差曲线，每幅图中两条曲线，曲线表示在相对坐标系中的高程为0m及1.143m时的位置误差。为了更清楚地掌握其规律，绘制累计概率分布，如图6所示。从不同高度所拍摄的视觉信息的定位精度的结果来看，所得结果的位置误差基本在0.05m到0.1m之间。

图6 不同手机终端在不同高度的定位精度累计概率分布

由图6可知，使用不同的手机终端得出的定位误差在累计概率为80%处，高度较低即视场角较大时，定位精度较高。对于不同的手机终端，其定位结果具有普适性，定位精度在10cm左右。作为基于手机前置摄像头的共线方程模型，在进行实验的室内环境下，LED灯与终端距离最远为2.8m，求解误差方程式的平均迭代次数为4次就可收敛。

3 结束语

文中提出了一种基于视觉信息的可见光通信定位方法，利用了可见光通信的特点，使用两种不同分辨率的传感器，即手机终端及PD阵列，实现可见光通信信息与视觉信息的融合。同时提出了一种适用于手机终端前置摄像头的共线方程定位模型，然后利用手机终端进行半实物仿真，并对仿真结果进行分析，结果达到分米级。对定位终端来说，视场角对定位精度有一定影响，视场角越大，接收到LED灯的信息越多，定位精度较高。该方法可移植到手机应用程序中，在配备外置PD阵列的情况下，进行实物实验，验证其在实际情况中的可用性。对于仿真定位结果来说，所引入的误差包括系统误差(LED灯坐标误差、摄像机畸变、摄像机定标误差)和偶然误差(自动提取像素点误差、匹配误差)，如何消除这些误差带来的影响，进一步提高定位精度，是接下来研究的方向。

[1] 张建昆,杨 宇,陈弘达.室内可见光通信调制方法分析[J].中国激光,2011,38(4):131-134.

[2]NakajimaM,HaruyamaS.Newindoornavigationsystemforvisuallyimpairedpeopleusingvisiblelightcommunication[J].EURASIPJournalonWirelessCommunicationsandNetworking,2013(1):1-10.

[3] 娄鹏华,张洪明,郎 凯,等.基于室内照明的定位导航系统:中国,201210484538.5[P].2012-11-23.

[4]ZhengD,CuiK,BaiB,etal.IndoorlocalizationbasedonLEDs[C]//ProcofIEEEinternationalconferenceoncontrolapplications.[s.l.]:IEEE,2011:573-578.

[5] 许银帆,黄星星,李荣玲,等.基于LED可见光通信的室内定位技术研究[J].中国照明电器,2014(4):11-15.

[6]JungSY,HannS,ParkCS.TDOA-basedopticalwirelessindoorlocalizationusingLEDceilinglamps[J].IEEETransactionsonConsumerElectronics,2011,57(4):1592-1597.

[7]PrinceGB,LittleTDC.AtwophasehybridRSS/AoAalgorithmforindoordevicelocalizationusingvisiblelight[C]//Procofglobalcommunicationsconference.[s.l.]:IEEE,2012:3347-3352.

[8]SertthinC,TsujiE,NakagawaM,etal.Aswitchingestimatedreceiverpositionschemeforvisiblelightbasedindoorpositioningsystem[C]//Procof4thinternationalsymposiumonwirelesspervasivecomputing.Melbourne,VIC:IEEE,2009:1-5.

[9]HannS,KimJH,JungSY,etal.WhiteLEDceilinglightspositioningsystemsforopticalwirelessindoorapplications[C]//Procof36thEuropeanconferenceandexhibitiononopticalcommunication.[s.l.]:IEEE,2010:1-3.

[10]GuW,ZhangW,WangJ,etal.ThreedimensionalindoorpositioningbasedonvisiblelightwithGaussianmixturesigma-pointparticlefiltertechnique[C]//ProcofSPIEOPTO.[s.l.]:InternationalSocietyforOpticsandPhotonics,2015.

[11] 汪 苑,林锦国.几种常用室内定位技术的探讨[J].中国仪器仪表,2011(2):54-57.

[12]KimBY,ChoJS,ParkY,etal.ImplementationofindoorpositioningusingLEDanddualPCcameras[C]//Procoffourthinternationalconferenceonubiquitousandfuturenetworks.[s.l.]:IEEE,2012:476-477.

[13]RahmanMS,HaqueMM,KimKD.IndoorpositioningbyLEDvisiblelightcommunicationandimagesensors[J].InternationalJournalofElectricalandComputerEngineering,2011,1(2):161-170.

[14]YoshinoM,HaruyamaS,NakagawaM.High-accuracypositioningsystemusingvisibleLEDlightsandimagesensor[C]//Procofradioandwirelesssymposium.[s.l.]:IEEE,2008:439-442.

An Indoor Positioning Method of Visible Light Communication Based on Visual Information

WANG Yu-qi1,2,GONG Ying-kui1

(1.Academy of Opto-electronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

The development of visible light communication provides a new opportunity for indoor positioning.In order to improve indoor positioning accuracy,a positioning method using visible light communication based on visual light information is proposed,which is fusing visible light information received by low-resolution photo diode array and visual information received by front facing camera to realize the indoor positioning.At the same time,a fusion method for two different information matching is discussed,and for the relationship between the front facing camera and the LEDs’ imaging,an improved collinear equation model is proposed.When the input data is the visible light information,the relevant visual information and the parameters of front facing camera from LEDs’ light,the 3D coordinate information of the mobile terminal is obtained by using the model.A hardware-in-loop simulation has been verified and analyzed.According to the results of the simulation,3D positioning accuracy is up to decimeter level.

visual information;collinear equation;indoor positioning;visible light communication

2015-04-07

2015-07-08

时间：2016-01-04

国家自然科学基金资助项目(91438207)

王语琪(1989-)，女，硕士，研究方向为室内导航定位；巩应奎，副研究员，研究方向为卫星导航技术、导航系统总体设计以及系统仿真与评估。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1453.012.html

TP301

A

1673-629X(2016)01-0200-05

10.3969/j.issn.1673-629X.2016.01.043