基于双摄像机瞳孔距离定位研究

林浩辉，彭建中，吴南寿，曾兴晖，李晓雯，唐艳红，钟俊平

（佛山科学技术学院 物理与光电工程学院，广东 佛山 528200）

0 引言

瞳孔定位在医学方面上应用广泛，在眼底检测方面，通过观察眼底视网膜、视盘形态可以对老年黄斑变性、青光眼、糖尿病视网膜病变等疾病进行诊断和早期治疗的作用[1,2]。在医学临床上常用光学相干断层扫描仪（OCT）获得眼底视网膜图片，OCT眼科仪器的探测范围在2mm～3mm左右，在获得眼底视网膜图片的过程中，需要将OCT眼科仪器对准瞳孔中心，使得探测光进入眼睛，并且移动到OCT眼科仪器的探测范围内，才可以采集到眼底图像[3,4]。在为被检测者进行检测时，有手动对准和自动对准两种瞳孔对准方式，手动对准对需要操作者与被测者进行配合，并且需要医院人员有较高的操作水平；自动对准是通过图像处理算法计算出瞳孔当前位置，并驱动电机移动图像采集装置到适合位置，对准瞳孔中心进行眼底图像采集。目前比较流行的眼科自动化辅助仪器多为二维移动方向的装置，用于眼睛生物参数测量上[5]，并没有三维移动方向上的需求；还有关于无人看守的眼底筛查仪器的自动化装置，大部分只有二维方向上对准瞳孔功能，并不能自动定位到最适合眼底筛查仪器采集图像的位置[6]。因此，一种基于计算机的测距技术对于眼底检测设备有着重要意义。

目前比较流行测距定位算法在国内外已有深入研究[7-9]，有单目视觉测距和双目视觉测距，如董峰等[10]采取摄像机标定方法，实现双目视觉对放疗过程中的精确定位，该方法对于放疗位置定位准确，但是却不适用于瞳孔测距；李贤辉等[11]将单目视觉应用到瞳孔定位中，实现了对人脸图像中瞳孔与到摄像机镜头间的距离探测，但精确度上还有待提高。

鉴于此，提出一种基于双摄像相机瞳孔测距定位方法，在红外LED（中心波长850nm）照射下对人眼无刺激与损伤，有着使瞳孔与背景的区分度大，能清晰地呈现瞳孔特征等优点。以先验知识得知OCT眼科仪器最佳拍摄位置作为目标位置，再采集到图像进行图片预处理操作，快速识别瞳孔中心并且将瞳孔与背景分离，求得图像采集装置的距离与目标位置的偏差，并通过电机使得图像采集装置达到设定位置，该方法适用于OCT眼科仪器的辅助装置上，可有效提高辅助装置的准确性、快速性，并且满足OCT眼科仪器对辅助装置实时性的要求。

1 瞳孔距离定位原理的理论

双摄像机视觉测量是采用两台摄像相机从不同角度采集图像，基于透镜成像的原理[12]，利用位于空间中的点在两台摄像相机成像平面上的透视成像点坐标。采用双目摄像机透镜成像原理建立系统模型如图1所示，将两个相同规格的摄像机对称固定在位移平台上，O1，O2为左、右透镜光心，O1P和O2P为左、右相机的光轴，P为两相机光轴的交点，左、右相机与水平线的夹角均为θ。两透镜光心的距离即基线距离为2b，过P点作PC垂直于基线，可得C为基线的中点，即O1C的长度为b。以左相机为例，Q为基线的中线上的任意一点，左光轴与像平面交于O11，Q在像平面分别对应的点为Q11，过Q分别作QF垂直于左相机光轴。

图1 双目摄像机透镜成像原理系统模型Fig.1 Binocular camera lens imaging principle system model

若设P点为目标位置，Q点将要对P点进行定位，则设Q1O11为△x，PQ为△z，把Q点设为三维空间中的物点，Q1点则是Q投影在成像平面上的像点，则物距u和像距v分别为FO1和O1O11，根据相似三角形原理易得三角形O1QF相似于Q1O11O1，由角度变换关系可得∠PQF的值也为θ，则QF的长度即为Δzcosθ，物距u=O1P+PF=b/cosθ+Δzsinθ。根据透镜成像公式1/u+1/v=1/f得：

根据三角关系得：

当Δx1=Δx2=0时，则Q点运动到P点，即两光轴相交处，Q点到达目标位置。

2 双目视觉瞳孔测距定位系统的组成

基于双目视觉瞳孔测距定位装置由CCD相机、位移平台、步进电机和托头架组成。其中，将两个摄像头光轴与水平线以夹角θ=35°进行摆放，被测试者的头部被托头架托载，减少头部的晃动，以便于图像采集。位移平台承载着双目相机，步进电机根据系统的指令带动位移平台进行前后方向上的移动，流程图如图2所示。

在近红外LED（中心波长850nm）光照环境下，可以清晰地分辨瞳孔与虹膜的边缘，两台摄像机从不同的角度采集图片，由于在采集瞳孔图片的过程中存在着反射光斑，并且眼睑、睫毛方面会对瞳孔进行部分遮盖，还有由于拍摄角度问题，瞳孔的形状近似于椭圆，这些因素都会影响到瞳孔中心位置的定位。首先，要对采集的图片进行预处理，先进行中值滤波对图片进行去噪，能有效地保留后续处理所需的信息；由于采集的图像中，瞳孔灰度值低于人脸其他部位，采取阈值分割可以有效地将瞳孔与人类其他部位进行区分，然后对图像进行图像二值化处理，筛选出瞳孔轮廓；对瞳孔进行面积计算，设定阈值将背景与小面积的光斑移除；再利用canny边缘检测算法[13]进行边缘细化，最后利用最小二乘法椭圆拟合轮廓，并将椭圆中心作为瞳孔中心；将双目相机的中轴线对准瞳孔，设置偏移量k=Δxl-Δxr，设Δxl为左图像圆心横坐标xl与图像中心点横坐标的差值，Δxr为右图像圆心横坐标xr与图像中心点横坐标的差值，由于双目相机左右对称，则当偏移量k不满足设定时，步进电机带动位移平台进行前后方向的移动，判定当k与预设值的差值在误差允许范围内时，步进电机停止工作。

图2 系统流程图Fig.2 System flow chart

2.1 图像预处理

2.1.1 噪声处理

图像在采集过程中容易受到不同噪声的影响，如机械噪声、光学噪声等，这里选用中值滤波对采集的瞳孔图像进行噪声去除，因为中值滤波在去除大部分正态分布的噪声的同时可以较好地保留边缘结构，这里选用9×9的滤波模板。

2.1.2 阈值分割

通常情况下，人眼瞳孔部分的像素值会比脸部其他部分的低，根据人眼瞳孔这一特点，使用自适应阈值分割的方法[14]。由于背景像素值与人脸瞳孔像素值差距较大，在阈值分割后消除大部分背景。此时图像上会剩余多个轮廓，根据瞳孔的几个特性，设定筛选条件，进而筛选出瞳孔区域，由于相机是以一定角度对瞳孔进行图像采集，瞳孔呈现在图像上为椭圆形，长宽比在1.2～1.5之间，在双目相机有效拍摄距离内，当距采集装置与眼睛距离不同时，轮廓大小也会随着距离的变化而变化，经过采集多张不同距离的眼睛瞳孔图像，统计得出瞳孔轮廓像素点大概在5000～11000范围内，设定此面积范围可提升提取瞳孔轮廓的准确性，同时将剩余的轮廓排除，并且可以减少由于睫毛与眼睛相近造成的阴影相连影响，处理效果如图3（b）所示。

2.1.3 边缘检测

将瞳孔轮廓提取出来后，需要对瞳孔轮廓进行边缘检测，从而减少数据量，并且瞳孔轮廓的边缘检测的结果会直接影响后续瞳孔坐标的准确性，进而影响测距定位的精确度，使用Canny算子进行瞳孔轮廓的边缘检测，Canny算子的特点在于对瞳孔轮廓进行高斯平滑处理，使用了非最大抑制来对抑制多边响应轮廓的影响，双阈值可以有效减少边缘的漏检，处理效果图如图3（c）所示。

2.1.4 边缘拟合

提取出的瞳孔轮廓边缘为不规则图形，为了保持准确性及快速性，选择最小二乘椭圆法[15]拟合法将椭圆中心点求出并且获得瞳孔边缘。平面坐标系中，椭圆的一般表示方程为：

上述参数，(x,y)为像素点的坐标，A,B,C,D,E,F为二次曲线参数，其中还需满足二次曲线才可以判定为椭圆。

从瞳孔轮廓边缘任意选取6个像素点的坐标代入式（5）中，进而求出上述5个参数，算出关于椭圆的二次曲线方程，拟合出椭圆的轮廓，通过对椭圆中心坐标与轮廓边缘的方差，选取方差最小的瞳孔轮廓边缘作为最终的瞳孔轮廓，其相对应的中心点即为瞳孔中心点，效果如图3（d）所示。

2.2 瞳孔距离定位

本方法只针对当瞳孔位于两摄像机基线的中线上的情况下，在此情况下探索瞳孔到基线的距离，拍摄将左右图像瞳孔中心点重合位置设为标准点，本装置采集图像大小为640×480通过图像预处理后，求得左图像瞳孔中心点与右图像瞳孔中心点如图4所示，得到左右瞳孔中心的坐标，由式（3）和式（4）可得出偏移量Δx，通过偏移量转换为步进电机电信号，从而控制位移平台达到预设定位点。则电机转动参数的表达式为：

图3 图像预处理图Fig.3 Image preprocessing diagram

3 实验结果及分析

为了验证距离瞳孔定位系统的可行性，进行重复误差测试。对双目系统准确性验证，选取kingcent的KS2A418低照度夜视摄像头作为双目摄像机。实验环境在CPU为i5-9700，内存为16GB的硬件环境下，使用visual 2017和C#的软件环境下运行。

3.1 瞳孔中心定位结果

使用在红外灯照环境下对10位同学采集图片进行距离瞳孔中心定位测试，图5(a)为左偏且上偏的初始位置的图像，当瞳孔中心点移动到左图像中心点时，如图5(b)所示。图5(c)为距离18mm时的图片，当左图片瞳孔中心与右图片瞳孔中心点重合时，如图5(d)所示，此时瞳孔距离眼底筛查设备距离范围在14mm～15mm的范围内，图5(e)为初始位置右偏且上偏的初始位置图像，图5(f)是在电机移动后到达做图像中心的图像，图5(g)为距离18mm时的图像，图5(h)的图片是满足OCT眼底筛查仪器的最佳图片采集距离。综上所述，本方法可以在任意随机初始位置情况下均能到达OCT眼底筛查仪器采集图片最为清晰的位置。

图4 瞳孔中心图Fig.4 The center of the pupil

图5 工作过程图Fig.5 Working process diagram

3.2 重复误差测量

对10位同学进行重复误差测试，重复误差测量数据见表1。由精度测量数据表可以看出，在大多数情况下，本文瞳距定位方法的定位方差波动在0.4以内，偶尔有较大的波动，可能是被测试者的坐姿发生改变，或者其他特殊因素导致的。总体情况较为乐观，该方法的可行性较高。

4 结论

以瞳孔作为研究对象，在红外LED（中心波长850nm）光照环境下对瞳孔进行距离定位研究，利用红外灯环境可以使得瞳孔与背景之间的像素值产生明显差距的特性，以找到瞳孔大致位置，之后采用最小二乘椭圆拟合法拟合出瞳孔边缘，求得瞳孔图像中心点，最后根据透镜原理进行目标位置进行定位，搭配步进电机，实现瞳孔的距离中心定位与图像采集中心点快速对准，并且该系统的精确度基本达到±2mm以内，有较高的精度，并且满足了眼底筛查设备的辅助装置实时性的要求，实现全自动化眼睛距离定位功能，能作为眼底筛查设备的辅助装置，在后续研究中会进一步提高距离定位精度以及鲁棒性。

表1 重复误差测量数据表Table 1 Repeated error measurement data table