眼球突出度的双目视觉测量
2022-05-11李帮建
李帮建
(奥佳华瑞(厦门)医疗科技有限公司, 福建 厦门 361008)
0 引 言
甲状腺相关眼病是最常见的眼眶疾病,因其病程长(持续时间通常为25 年),损伤组织结构多,症状、体征复杂,治疗效果欠佳,而备受关注。 中国甲状腺相关眼病的患病率为0.1%~0.3%。 准确地诊断甲状腺相关眼病,必须了解甲状腺相关眼病的临床表现,包括症状和体征、影像学检查和辅助检查等。 眼球突出,即眼球向前突出,是甲状腺相关眼病中第二常见的体征,可影响40%~70%的甲状腺相关眼病患者。 眼球突出主要是眼眶脂肪和(或)肌肉膨大所致,即由于眼睑存在相对致密的睑板-韧带隔膜,限制扩张的眼眶组织前移,而推压眼球向前突出。 甲状腺相关眼病80%~90%双眼都会发生眼球突出,可以是不对称的,或者仅单眼突出。 眼球突出的判断依赖于眼球突出程度的准确测量和正常突出度的上限参考值。 中国汉族人口的眼球突出度正常上限是19 mm。 针对不同人种的眼球突出差异,眼球突出被定义为个体的眼球突出度增加至少2 mm。
目前,眼球突出度的常见测量方法有Hertel 眼球突出计测量方法和CT 测量方法。 Hertel 眼球突出计测量方法需要测试者与被测试者近距离相对而坐进行测量,该方法测量效率低(两只眼睛需要分别测量),且对测试者要求高(测试者需避免用力下压患者眼球,需调整观察角度进行读数,需调整头的姿态并保证Hertel 眼球突出计静止)。 CT 测量方法需要进行颅脑连续扫描,并进行图像重建。 测试者选取眼眶轴位图像,通过人机交互测量眼球突出度值。 该方法测量结果的影响因素有眶周软组织、测量体位变化、头颅活动等,此外与测量平面、窗宽、窗位等具体计算过程有关。 该方法使用价格高且有辐射风险。
三维视觉测量技术是结合计算机视觉和精密测量的先进高端技术。 随着计算机和视觉技术的发展,三维视觉测量已形成成熟的理论基础,且已广泛应用于科学研究、医学诊断、逆向工程、刑事侦查、在线检测、质量控制、智慧城市和高端装备制造等领域。 双目视觉测量是三维视觉测量技术中被动视觉测量方法的一种。 近来,有研究者提出利用双目视觉测量眼球突出度,具体地,利用双目相机获取图像,通过标定、利用霍夫变换定位角膜中心点(颞侧骨性点通过人工手动选择)、利用SURF 特征描述子获取左右视图特征点且利用RANSAC 算法筛选,完成立体匹配、计算三维位置信息和眼球突出度值。 目前该方法的测量结果不稳定,相对误差为0.3%~68.3%。 为了使眼球突出度的双目视觉测量方法测量结果更稳定,在本文的双目视觉测量法中,颞侧骨性点和角膜中心点均采用图像处理方法获得。 为了验证本文双目视觉测量方法的精密度和准确度,搭建了实验平台,采集了不同对象的双目图像,计算获得不同状态下的眼球突出度,实验结果表明,本文双目视觉测量方法的测量结果具有较高的稳定性。
1 眼球突出度及其测量方法
眼球突出度的计算示意如图1 所示。、’表示角膜顶点;、’ 表示颞侧骨性点;’ 为颞侧骨性点连线;、’’ 为角膜顶点到颞侧骨性点连线的垂直距离,该距离为左、右眼的眼球突出度值。
图1 眼球突出度计算示意图Fig.1 Schematic diagram of exophthalmos calculation
本文中,眼球突出度采用双目视觉测量方法获得。 如图2 所示。 眼球突出度的双目视觉测量步骤如下:
图2 眼球突出度的双目视觉测量流程图Fig.2 Flow chart of binocular vision measurement of the exophthalmos
(1)利用双目相机采集被测试者眼部图像,如图3(a)、3(b)所示;
(2)结合标定信息对图像进行校正,校正结果如图3(c)、3(d)所示;
(3)利用图像处理方法识别图3(c)中的角膜顶点和颞侧骨性点,如图3(e)所示;
(4)利用匹配算法获得图3(d)中角膜顶点和颞侧骨性点,如图3(f)所示;
(5)利用视差原理可获得对应特征点(角膜顶点和颞侧骨性点)的空间三维坐标;
(6)结合图1 计算左、右眼的眼球突出度值。
图3(e)、图3(f)中,十字星表示角膜顶点、六角星表示颞侧骨性点。
图3 眼球突出度双目视觉测量中间过程图Fig.3 Images of intermediate process of binocular vision measurement of the exophthalmos
本文中,人眼角膜顶点使用MediaPipe Iris获取的虹膜中心代替。 如图4 所示,颞侧骨性点图像处理识别步骤如下:
图4 颞侧骨性点图像处理流程图Fig.4 Flow chart of image processing of temporal bony spot
(1)使用MediaPipe Iris 获取人眼位置,如图5(a)所示;
(2)根据人眼位置,绘制颞侧骨性点所在区域,如图5(b)所示;
(3)利用阈值分割,获取颞侧骨性点标记点区域,如图5(c)中白色区域;
(4)利用轮廓检测,获取颞侧骨性点的轮廓;
(5)轮廓中心为颞侧骨性点。 如图5(d)中,六角星表示颞侧骨性点。
图5 颞侧骨性点图像处理中间过程图Fig.5 Images of intermediate process of image processing of temporal bony spot
2 实验与结果分析
实验搭建了双目视觉测量系统,首先,对双目系统进行立体标定,得到相机的内外参数;其次,根据双目视觉视差原理,得到眼球突出度特征点的三维坐标;最后,利用特征点的三维空间位置计算眼球突出度值。
2.1 双目相机的立体标定
实际应用中,双目相机及镜头不可能做到理想对齐,为了修正镜头的偏差和相机安装偏差,同时获取相机的参数,需对双目相机进行标定和立体校正。本文采用中科融合感知智能研究院(苏州工业园区)有限公司提供的相机标定软件进行标定,标定模板为GRB200-11*9 圆点标定板(黑底白点),如图6(a)所示,具体参数见表1。
图6 实验平台Fig.6 Experiment platform
表1 标定板参数Tab.1 Parameters of calibration board mm
本文中,相机标定得到的参数为:
式中,和分别为左右相机的内参矩阵;和分别为左右相机的畸变参数;和分别为右相机相对于左相机的旋转矩阵和平移矩阵。
2.2 实验平台及双目数据
搭建的实验平台如图6(b)所示,相机与头部支架的距离约为30 cm,符合眼科检测设备的一般应用场景距离。 如图6(c)所示,头部支架通过额托、颌托固定头部姿态,此外设计的卡具可以精准定位颞侧骨性点。 双目相机使用海康相机搭建,如图6(d)所示。
实验采集了不同对象的图像,如图7 所示。 为了验证整体精度,标准件静止和移动后状态各采集5 组图像;头部模型(含角膜标记点)静止和移动后状态各采集5 组图像;头部模型(不含角膜标记点)静止和移动后状态各采集5 组图像;真人(含角膜标记点)静止和移动后状态各采集5 组图像;真人(不含角膜标记点)静止和正常测试状态各采集5组图像,共采集50 组图像。
图7 采集的图像Fig.7 Captured images
2.3 实验结果
2.3.1 标准件
标准件如图6(e)所示,共有4 个标记点,从左到右依次为颞侧骨性点1、角膜顶点1(类似右眼)、角膜顶点2(类似左眼)和颞侧骨性点2。 双目相机采集的图像如图7(a)所示。 标准件的实际尺寸如图8 所示,其中眶距为左右颞侧骨性点的连线距离,瞳距为左右眼角膜顶点的连线距离。 标准件保持静止状态采集5 组图像,各标记点识别方法参考颞侧骨性点图像识别方法,具体测量结果见表2。
图8 标准件实际尺寸示意图Fig.8 Schematic diagram of actual size of standard part
表2 标准件静止状态测量结果Tab.2 Measurement results of standard part in static state mm
标准差的计算公式为:
其中,表示样本数量;x表示第个样本值;表示样本的平均值。
标准差可以反映样本数据的离散程度,即可以度量本文数据的精密度。 均方根误差可以反映样本数据的准确度,其计算公式为:
其中,表示样本的真值。
从表2 可以得出,对于标准件静止状态时,眼球突出度的标准差最大值为0.003 7 mm,均方根误差最大值为0.375 3 mm;眶距的均方根误差为0.221 2 mm;瞳距的标准差为0.089 2 mm,均方根误差为0.122 8 mm。存在标准差和均方根误差,说明特征点的图像识别方法存在一定误差。
标准件移动到5 个不同位置后采集图像,具体测量结果见表3。 从表3 可以得出,对于标准件移动后测量时,眼球突出度的标准差最大值为0.467 0 mm;均方根误差最大值为0.631 3 mm;眶距的标准差为0.130 2 mm,均方根误差为0.305 8 mm;瞳距的标准差为0.220 8 mm;均方根误差为0.238 3 mm。比较表3 和表2,移动后测量结果的标准差和均方根误差均比静止状态大,说明移动到不同位置后,图像识别方法同样存在一定误差。 原因是不同位置处的光照等外界环境不同。
表3 标准件移动后测量结果Tab.3 Measurement results of standard part after moved mm
2.3.2 头部模型实验
头部模型如图6(f)所示,共有4 个标记点,从左到右依次为颞侧骨性点1、角膜顶点1(右眼)、角膜顶点2(左眼)和颞侧骨性点2。 双目相机采集的图像如图7(b)所示。 头部模型保持静止状态采集5 组图像,各标记点识别方法参考颞侧骨性点图像识别方法,具体测量结果见表4。 因头部模型各项的真值不易获得,表4 中未给出真值和均方根误差值。 从表4可以得出,对于头部模型静止状态时,眼球突出度的标准差最大值为0.281 8 mm;眶距的标准差为0.041 5 mm;瞳距的标准差为0.000 7 mm。
表4 头部模型静止状态测量结果Tab.4 Measurement results of head model in static state mm
头部模型移动到5 个不同位置后采集图像,具体测量结果见表5。 表5 中的真值为表4 中的平均值。 从表5 可以得出,对于头部模型移动后测量时,眼球突出度的标准差最大值为0.344 8 mm,均方根误差最大值为0.391 3 mm;眶距的标准差为0.086 0 mm,均方根误差为0.088 0 mm;瞳距的标准差为0.046 8 mm,均方根误差为0.047 2 mm。 比较表5 和表3,头部模型测量结果的均方根误差均比标准件的大,原因是两组数据的真值来源不同。
表5 头部模型移动后测量结果 Tab.5 Measurement results of head model after moved mm
针对头部模型,去掉两角膜顶点的标记点。 双目相机采集的图像如图7(c)所示。 头部模型保持静止状态采集5 组图像,其中角膜顶点使用MediaPipe Iris 获取的虹膜中心代替,具体测量结果见表6。 从表6 可以得出,对于头部模型静止状态时,眼球突出度的标准差最大值为0.490 6 mm;眶距的标 准 差 为 0.118 6 mm; 瞳 距 的 标 准 差 为0.119 3 mm。比较表6 和表4,头部模型(无角膜顶点标记点)测量结果中,眼球突出度的标准差比头部模型(有角膜顶点标记点) 的大, 原因是MediaPipe Iris 获取的虹膜中心有一定误差;此外,头部模型(无角膜顶点标记点)测量结果中,眼球突出度和瞳距的平均值均比头部模型(有角膜顶点标记点) 的小,原因是角膜顶点标记点的位置和MediaPipe Iris 获取的虹膜中心的位置不同。
表6 头部模型(无角膜顶点标记点)静止状态测量结果Tab.6 Measurement results of head model without corneal markers in static state mm
头部模型(无角膜顶点标记点)移动到5 个不同位置后采集图像,具体测量结果见表7。 表7 中的真值为表6 中的平均值。 从表7 可以得出,对于头部模型移动后测量时,眼球突出度的标准差最大值为0.696 3 mm,均方根误差最大值为0.845 4 mm;眶距的标准差为0.080 8 mm,均方根误差为0.220 7 mm;瞳距的标准差为0.218 5 mm,均方根误差为0.229 5 mm。
表7 头部模型(无角膜顶点标记点)移动后测量结果Tab.7 Measurement results of head model without corneal markers after moved mm
2.3.3 真人实验
双目相机采集的图像如图7(d)所示(真人闭眼且贴有角膜顶点标记点)。 共有4 个标记点,从左到右依次为颞侧骨性点1、角膜顶点1(右眼)、角膜顶点2(左眼)和颞侧骨性点2。 真人保持静止状态采集5 组图像,各标记点识别方法参考颞侧骨性点图像识别方法,具体测量结果见表8。 因真人各项的真值不易获得,表8 中也未给出真值和均方根误差值。 从表8 可以得出,对于真人静止状态时,眼球突出度的标准差最大值为0.269 9 mm;眶距的标准差为0.017 9 mm;瞳距的标准差为0.203 4 mm。
表8 真人静止状态测量结果 Tab.8 Measurement results of real person in static state mm
真人移动到5 个不同位置后采集图像,具体测量结果见表9。 表9 中的真值为表8 中的平均值。从表9 可以得出,对于真人移动后测量时,眼球突出度的标准差最大值为0.388 0 mm,均方根误差最大值为0.486 1 mm;眶距的标准差为0.057 8 mm,均方根误差为0.072 6 mm;瞳距的标准差为0.212 5 mm,均方根误差为0.238 8 mm。
表9 真人移动后测量结果 Tab.9 Measurement results of real person after moved mm
针对真人实验,去掉两角膜顶点的标记点。 双目相机采集的图像如图7(e)所示(真人睁开眼且不贴角膜标记点)。 真人保持静止状态采集5 组图像,其中角膜顶点使用MediaPipe Iris 获取的虹膜中心代替,具体测量结果见表10。 从表10 可以得出,对于真人静止状态时,眼球突出度的标准差最大值为0.474 2 mm;眶距的标准差为0.132 7 mm;瞳距的标准差为0.177 6 mm。
表10 真人(无角膜标记点)静止状态测量结果Tab.10 Measurement results of real person without corneal markers in static state mm
真人(无角膜标记点)移动到5 个不同位置后采集图像,具体测量结果见表11。 表11 中的真值为表10 中的平均值。 从表11 可以得出,对于真人(无角膜标记点)移动后测量时,眼球突出度的标准差最大值为0.645 4 mm,均方根误差最大值为0.689 1 mm;眶距的标准差为0.144 5 mm,均方根误差为0.160 8 mm;瞳距的标准差为0.206 8 mm,均方根误差为0.207 6 mm。
表11 真人(无角膜标记点)移动后测量结果Tab.11 Measurement results of real person without corneal markers after moved mm
3 结束语
本文研究了双目视觉测量眼球突出度。 双目视觉测量方法较Hertel 眼球突出计测量方法效率更高,较CT 测量方法无辐射更安全。 为了评估双目视觉测量方法的精密度和准确度,搭建了实验平台,并针对不同对象和不同状态,采集了双目图像。 实验结果表明,对于标准件,精密度为0.467 0 mm,准确度为0.631 3 mm;对于头部模型,精密度为0.696 3 mm,准确度为0.8454 mm;对于真人实验,精密度为0.645 4 mm,准确度为0.689 1 mm。 真人实验的精密度和准确度比标准件均低,下一步需深入研究角膜顶点图像处理识别算法。