实时视频定位的麦克风阵列参数初始化算法

毛　琳，曾庆超，张　静

(大连民族大学 机电工程学院，辽宁 大连 116605)



实时视频定位的麦克风阵列参数初始化算法

毛琳，曾庆超，张静

(大连民族大学 机电工程学院，辽宁 大连 116605)

针对移动机器人近场声源定位中，需要实时获取声源目标与麦克风阵列中心相对位置和角度的问题，提出一种基于视频定位的室内声源位置测量算法，实时地为麦克风阵列提供初始化参数，为移动机器人快速建立室内近场声源环境认知实现辅助功能。该方法利用A4纸打印的位置定位板，通过摄像头采集视频数据，逐帧寻找角点后搜索定位板中心点和顶点，以此计算出麦克风阵列到声源的实际距离和方位角度。经仿真实验分析，该算法能够在室内环境中实时快速地测量声源目标位置，为机器人后续语音定位、识别与跟踪提供辅助与校准功能，具有较强的工程实用价值。

移动机器人；声源阵列；视频定位

在室内移动机器人声源定位系统中，通常采用麦克风阵列来计算声源目标所在的空间位置以及方向角度。但由于声源定位易受房间大小、室内布局等干扰的影响，需要在声源定位前，采用测距仪等度量手段为声源定位系统提供初始距离和角度等先验参数。

近年来，如何快速为声源定位系统提供初始化参数的研究一直得到广泛关注[1-4]。文献[5]提出一种基于空间域的麦克风阵列近场声源定位方法校准定位精度，采用均匀圆形麦克风阵列，融合近场3D-MUSIC算法对三维空间声源进行定位及校准，但缺点在于3D-MUSIC算法计算量较大，算法复杂度高。文献[6]通过多个摄像机联合进行视频定位，利用最大似然法对多个摄像机的观测值进行融合定位，但由于多路视频，计算复杂度也较高。文献[7]利用视觉信息，提出一种基于电子标识搜索匹配的目标定位方法，由于目标种类复杂，视觉信息无法准确定位且精度不高。文献[8]联合音视频信息进行目标定位，通过贝叶斯过滤器对麦克风阵列定位结果与视频图像定位结果进行处理，能够解决部分目标遮挡及声源声音不连续的问题，但定位精度有待提高。

本文则提出一种适用于室内环境的快速视频近场声源定位参数快速初始化算法，能够有效地辅助麦克风阵列获取室内声源的标准距离和方向角度等初始定位信息，为声源定位提供辅助校准手段。

1　视频定位算法

本文所提出的视频定位算法，是初始化麦克风阵列，采用黑白四方块定位板来实现摄像头位置与角度的等效计算。算法中应用角点检测技术作为主要计算手段，计算量小，更适用于以机器人为载体的实时测量定位需求。

1.1初始化距离系数

黑白四方块定位板如图1。定位板中心点为O，四个顶点分别为A、B、C和D，设任一顶点到中心点O的实际测量长度为l(mm)。

图1　黑白四方块定位板

将摄像机固定于机器人声源阵列中心后，置定位板中心O于摄像机镜头组中心线上，且定位板平行于镜头组焦平面，定义两平面间距离为d0，如图2。则距离的初始化距离系数ω为

(1)

式中，P0为任一顶点到中心点O的像素距离，d0可通过激光测距仪或者米尺获取实际结果。

图2　摄像头定位系数ω求解方法

1.2定位距离与方向角

定位板距离与角度测量示意图如图3。

图3　定位板距离与角度测量示意图

实际应用定位板进行位置测量时，应将定位板垂直地面，O点置于声源设备中心线上。此时，定位距离dKO和方向角α的计算，可以等效为直角三角形的边和角求解的问题。于是，定位板中心点O距离摄像机镜头中心点K的距离dKO为

(2)

这里，

(3)

式中，POO'为定位板中心点O到摄像机中心线的垂直像素距离(即定位板中心到采集图像中心的像素距离)，POA为黑色方块的像素边长(像素距离)。相应地，由式(3)可得定位板的方向角α为

(4)

1.3算法实现

基于上述定位板测量方法，视频辅助定位的具体实现步骤如下：

第1步，安装摄像头于声源阵列中心，利用定位板对摄像机进行标定，求取距离定位系数ω；

第2步，将定位板与发声声源(如喇叭)中心点重合放置，计算黑色方块的图像像素边长POA及定位板中心点O距离屏幕中心的像素距离POO'；

第3步，采集灰度图像，利用Harris方法检测图像角点，然后分别计算各角点左上、右上、左下和右下方像素均值，阈值划分后对四个方向的灰度进行编码(见表1)，通过查表法，从全部角点中区分辨出定位板的中心点O和顶点；

第4步，根据式(2)和式(4)，计算出定位板中心点距离摄像机镜头中心点的距离和方向角，此数值则为当前声源装置的实际物理位置信息；

第5步，如需测量多个声源装置的空间位置，返回第2步，重新操作即可。

表1　角点编码表

2　仿真实验和性能比较

为验证本文视频定位算法的有效性，以轮式机器上固定摄像机为平台，对静态背景下单个声源目标进行测量。要求声源装置距离摄像机5 m

以内，测距误差不大于20 mm，角度误差不大于2°。本实验假设定位板中心点O即为声源装置的中心位置，已知该室内的初始化距离系数ω以及定位板黑色方块的实际长度l。

2.1算法性能仿真

测定场景如图4。定位板中心点水平偏移摄像头中心O固定为300 mm，与摄像机的垂直距离为D∈[1 500,5 000] mm，测量对比结果见表2。由比较距离与方向角的计算结果与实测结果可知，距离误差范围在±15 mm内，角度误差范围在±1.2°内，均达到误差允许范围。

图4　垂直距离为3 500 mm的实测效果图

垂直距离/mm15002000250030003500400045005000实际距离/mm1520.702009.102529.803023.403518.804016.904520.805017.40测量距离/mm1529.702022.402517.903015.003512.804011.204510.005009.00实际角度/(°)12.468.346.435.464.884.414.214.06测量角度/(°)11.318.536.845.714.904.293.813.43距离误差/mm-9.00-13.3011.908.44726.005.7010.808.40角度误差/(°)1.15-0.19-0.42-0.26-0.020.120.390.63

2.2视频实时测试仿真

对室内近场声源视频定位进行场景仿真实验，实验仿真环境如图5。仿真实例以摄像机固定于机器人上为平台，测试者手持定位板在距离机器人5 m内任意运动方向，速度约为1.5 m·s-1，摄像机输出数字视频信号为mpeg4video编码，分辨率为320×240，帧速率为30 fps，视频定位效果如图6。

图5　仿真环境图(含6麦克风阵列实物图)

(a)第1帧　(b)第30帧　(c)第60帧　(d)第90帧

仿真实例结果见表3。可以看出，视频定位能够实时地准确找到定位板位置，距离绝对误差小于15 mm，且角度绝对误差小于1.2°，因此本文算法可以为麦克风阵列提供可靠的初始化室内定位参数信息。

表3　视频定位距离、方向角计算结果

3　结　语

本文针对机器人室内声源定位时初始化参数快速获取问题，提出一种近场声源阵列的麦克风阵列定位信息实时初始化算法，能够快速定位声源目标的距离以及方向角,有效地简化室内声源定位的初始化工作，为系统提供辅助校准信息和参数修正信息，进而提高声源定位的准确性。本算法仅采用定位板来作为辅助，以角点检测为主要数学手段，计算复杂度低，可行性强，适用于移动设备和低功耗设备应用，方便应用于机器人语音定位、识别与跟踪系统中，具有较高的工程应用价值。

[1] D'ARCA E, ROBERTSON N M, HOPWOOD J. Person tracking via audio and video fusion[C]// Data Fusion & Target Tracking Conference : Algorithms & Applications. Liverpool: IET, 2012:1-6.

[2] LIU C L, HANG H M. Direction of arrival estimation of speech signals using ICA and MUSIC methods[C]// Industrial Electronics and Applications (ICIEA). Taichung: IEEE, 2010:1768-1773.

[3] WANG Dongxia, ZHENG Jiachao, WU Tao. A Broadband Beam forming Method Based on Microphone Array for the Speech Enhancement[C]// International Conference on Signal Processing Systems. Dalian: IEEE, 2010, 1(2): 363-366.

[4] ARADHYA H V Ravish, MOHANA, KIRAN Anil Chikodi. Real time objects detection and positioning in multiple regions using single fixed camera view for video surveillance applications[C]// International Conference on Electrical, Electronics, Signals, Communication and Optimization(EESCO) . Visakhapatnam: IEEE(24-25 Jan.), 2015: 1-6.

[5] CHEN L W, HO Y F, CHANG C C, et al. A video-based metropolitan positioning system with centimeter-grade localization for VANETs[C]// International Conference on Pervasive Computing and Communication Workshops. Missouri: IEEE(23-27 March), 2015: 187-189.

[6] 关晓彬. 基于空间域的麦克风阵列近场声源定位与增强研究[D]. 成都：西南交通大学, 2012.

[7] DIOS M D, JIMENEZ-GONZALEZ A, OLLERO A. Localization and Tracking Using Camera-Based Wireless Sensor Networks[M]. Vienna: Sensor Fusion - Foundation and Applications, 2011.

[8] ZHANG B, TENG J, ZHU J. EV-Loc: Integrating electronic and visual signals for accurate localization [J]. IEEE ACM Transactions on Networking, 2012, 22(4):1285-1296.

(责任编辑邹永红)

The Parameter Initialization of Microphone Array Based on Video Real-time Localization Algorithm

MAO Lin, ZENG Qing-chao, ZHANG Jing

(School of Electromechanical Engineering, Dalian Minzu University, Dalian Liaoning, 116605)

For obtaining the relative position and direction angle between sound source and the center of microphone array in real-time, the paper proposes an indoor video sound-source-localization measurement algorithm, in order to provide the initializing parameters for the microphone array so that offers the ability to realize the near field environment for a moving robot. This method uses the positioning plate which is printed on A4 paper, captures video-data through camera and searches the center point and the vertex points of the positioning plate frame by frame. According to the specified points, the actual distance and the direction angle of the microphone array to the sound sources have been derived. The simulation experiments show that this algorithm can measure source position indoor in real time, providing the auxiliary and calibration function for the subsequent voice location, identification and tracking and having a strong engineering practical value.

moving robot; sound source array; video localization

2096-1383(2016)05-0482-04

2016-07-24；最后

2016-07-28

辽宁省教育厅科学研究一般项目(L2014542)；大连金州新区科技创新主体支持计划(KJCX-ZTPY-2014-0005)；中央高校基本科研业务费专项资金资助项目(DC201501093)。

毛琳(1977-)，女，山东莱州人，副教授，博士，主要从事信息融合处理技术、目标检测与识别技术研究。

TP242.6

A