基于眼球生理结构和眼模型的眼底三维重建方法

肖志涛，李 敏，吴 骏，耿 磊，张 芳，温 佳，苏 龙

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津医科大学第二医院，天津 300211）

基于眼球生理结构和眼模型的眼底三维重建方法

肖志涛1，李 敏1，吴 骏1，耿 磊1，张 芳1，温 佳1，苏 龙2

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津医科大学第二医院，天津 300211）

为将眼底的各项生理结构和病灶信息在三维空间中显示出来，更好地辅助医生诊断，提出一种基于眼球生理结构和眼模型的眼底三维重建方法.首先通过分析眼底的生理结构和眼模型，将眼球后极部近似为局部球面；然后根据眼底相机参数以及视轴长度构建局部球面模型，把眼底图像恢复为三维结构；分割眼底图像中的血管和病灶部位，利用眼底三维模型，将血管和病灶部位显示在三维空间中.实验表明，平均每幅图像处理用时1.410 1 s，重建速度快、准确度高、可重复性高.

眼底图像；眼底三维重建；眼球生理结构；眼模型；局部球面模型；病灶信息

眼底是人体唯一可直接进行无创观察的内部生理结构，具有透明性和可接近性，通过眼底图像能够对与眼底相关的全身疾病做早期诊断，如糖尿病、高血压、动脉硬化、心血管疾病和中风等[1].眼底的三维重建可通过传统的三维医学成像技术实现，如计算机断层扫描（CT）、核磁共振成像（MRI）、超声成像、光学相干断层扫描（OCT）等.其中，CT、MRI以及超声成像采用断层面进行三维重建，只有眼底断层上的轮廓，不能清晰地展现眼底曲面上的图像.而OCT只能提供眼底视网膜的局部断层图像，观察的眼底范围有限，在眼科中主要用于青光眼以及黄斑水肿等局部视网膜疾病的诊断，其成像清晰度受屈光介质影响较大.

眼底相机可快速获取清晰的二维彩色眼底图像，具有无损健康、拍摄范围全面、清晰度高的特点.但是拍摄的二维图像无法真实展示三维眼底的直观信息.本文将拍摄到的二维眼底图像进行三维重建，能够将眼底的各项生理结构和病灶信息在三维空间中进行可视化，更好地辅助医生进行诊断.

对于眼底图像的三维重建，国内外已有文献对此进行了初步研究.Enrique等[2]对眼底的局部区域视盘进行三维重建，重建范围过小.Deguchi等[3]研究多幅眼底图像的三维重建和显示，但主要讨论了多幅眼底图像的配准方法，在讨论三维重建时，只是简单地把眼底图像反投影到球面上，没有考虑图像拼接后视场角的大小.李超等[4]提出了中心扩散逆投影方法，要求黄斑位于眼底图像中心，将黄斑区的中心定位于三维曲面的中心位置，然后把黄斑中心周围的点定位于曲面上相应位置.由于在使用眼底相机拍摄眼底图像时，无法保证每幅眼底图像的黄斑都位于眼底图像的中心，因此该方法具有一定局限性.陈骥等[5]将正常眼球与屈光异常眼球分别假设为球体和椭球体，采用投影逆变换方法重建三维曲面.由于不同人的眼球半径是有差异的，而文献[5]直接采用眼球半径经验值会带来误差.由于人眼为近似球形结构，但是与球体有差别.因此，文献[4]和[5]直接将整个眼球假设为球体或者椭球体，降低了眼球三维模型的准确度.文献[4]和[5]的眼球模型参数均采用眼科超声检查获得，精度低，可重复性低[6].文献等[7-9]提出使用改进的相机-眼球的自校准方法获得眼底三维坐标，在拍摄过程中，通过旋转眼底相机获得患者眼底不同部位的图像，采用2组各10幅图恢复眼底三维模型.结果表明，由于其要求眼底相机每釆一幅图转动的角度不能超过相机视场角的1/4，使得实际操作的难度以及复杂度提升.

为了克服现有方法中存在的上述问题，本文提出一种基于眼球生理结构和眼模型的眼底三维重建方法.采用眼底相机拍摄单幅图像恢复眼底三维模型，可恢复任意角度拍摄的眼底图像，不需要特定的黄斑位于眼底图像中心的图像.通过分析眼球的生理结构和眼模型，只对眼球后极部作假设，假设其为局部球面，通过已知的眼底相机参数和光学仪器测量的眼球视轴作为参数计算局部球面，得到眼底三维模型.与现有方法比较，本文所提的方法提升了眼底三维模型重建方法在模型准确度、图像采集、参数采集等方面的综合效果.

1 眼底的三维模型

1.1 眼底的生理结构及眼模型介绍

眼球生理结构主要由屈光调节系统和视觉感受系统组成[10]，如图1所示.其中，由角膜、瞳孔、房水、晶状体和玻璃体等组成的屈光系统起聚焦成像的作用，视觉感受系统包括视网膜和大脑的视觉皮质中枢，能够接收外界光信号并成像.

图1 眼球生理结构（侧视横截面）Fig.1 Anatomical structure of eyeball（side cross section）

眼底就是眼球内后部的组织，即视网膜、视盘、黄斑和视网膜中央动静脉，如图2所示.视盘是视神经穿过眼球壁的部分，由神经纤维构成，呈椭圆形.黄斑区位于眼球后极部中央，富含感光色素上皮细胞，呈近似圆形.视网膜血管系统包括视网膜中央动、静脉和睫状视网膜动、静脉，分别发出多级分支供应视网膜的营养.恢复眼底的三维模型需要分析眼底在眼球整体结构中的位置关系.

图2 眼底生理结构Fig.2 Anatomical structure of fundus

人眼模型是将人眼光学系统简略为仅有一个折射面而又保持其基本屈光特性的光学结构.Gullstrand提出了将视网膜的面型模拟为球面的眼模型，后来Le Grand改进其成为广泛使用的Gullstrand-Le Grand眼模型[11]，如图3所示.

图3 Gullstrand-Le Grand眼模型Fig.3 Gullstrand-Le Grand eye model

在对Gullstrand提出的眼模型进行改进的Navarro眼模型、Liou-Brennan眼模型和Isabe眼模型中，眼球视网膜的面型一直都为球面.由于视网膜位于眼球后极部且与后极部保持同样的形状，因此，本文利用眼球后极部面型为球面的特点，假设眼球后极部（即眼底）为局部球面.

1.2 眼底三维模型的建立

根据眼球的实际光学特性，采用与眼球在折光效果上相同、但更为简单的等效光学系统模型，称为简化眼球，如图4所示.简化眼球的光学参数和其它特性与实际眼球相同.根据简化眼球的定义，拍摄不同角度的眼底图像都只是眼球后极部表面视网膜的局部图像.

图4 眼底的三维模型示意图Fig.4 Diagram of 3D fundus model

本文方法只假设眼底为局部球面，由于球面在各个方向上的投影模型相同，因此不需要定位黄斑作为眼底三维模型的中心.现有的眼底模型三维重建方法均通过眼科超声检查仪测量眼球模型的参数，本文方法不需要对眼部做超声检查，只通过眼底相机的参数和视轴的长度即可计算得到局部球面的参数.

首先，将眼底相机拍摄的眼底图像简化为图4（a）所示的简化结构，为眼球的侧视图，作为图1的简化示意图，点A表示眼底相机中心，点B表示眼球瞳孔中心，点C表示拍摄得到的眼底图像的中心，点D表示眼底后极部的中心，点E和F表示眼底相机视场角范围内所能拍摄到的眼底的上下边界（正视图中的眼底边界在图4（a）中的侧视图上对应为一个点），距离AB表示眼底相机的工作距离，距离BD表示眼球的视轴长度，距离EF表示眼底图像的高度，角α表示眼底相机的视场角.对于单幅眼底图像，所拍摄到的眼底范围只有EDF对应的区域，则对应的眼底区域可以看作局部球面，如图4（b）所示.

图4（b）中局部球面的曲面方程可以由球心O的x、y、z坐标以及球的半径确定，球心O的x、y坐标由二维眼底图像的中心坐标（a，b）决定，假设球心O的z坐标为0，即O的坐标为（a，b，0）.设圆球的半径为R，由于角θ为90°，可知

式中：ED可以由勾股定理得到，即

式中：EC表示眼底图像高度的1/2；CD可以由工作距离AB、视轴长度BD和眼底相机视场角α得到

由式（1）、（2）和（3）可以得到角度β：

得到眼底的三维模型为

由前述可知，眼底图像近似于眼底曲面的投影成像，要进行眼底图像的三维重建，需要把平面图像f（x，y）映射成实际的三维曲面f（x，y，z），映射关系为

式中：z由式（6）计算为

据此进行三维映射，即可重建出三维眼底模型.

1.3 眼底结构以及病灶信息的三维重建

眼底的各项结构和病灶信息包括眼底血管、出血点、渗出物和微动脉瘤等.本文利用作者所在研究团队已有研究成果[12-15]，采用结合自适应脉冲耦合神经网络和最大类间方差准则的方法分割得到眼底图像中的血管，并采用数学形态学方法处理得到血管骨架，记血管骨架的点集为S（x，y）.采用基于k均值聚类和自适应模板匹配的方法分割眼底图像中的出血点，记出血点的点集为H（x，y）.采用基于相位一致性模型的方法分割眼底图像中的微动脉瘤，记微动脉瘤的点集为M（x，y）.采用基于背景估计和SVM分类器的方法分割眼底图像中的硬性渗出物，记硬性渗出物的点集为E（x，y）.

将S（x，y）、H（x，y）、M（x，y）和E（x，y）点集按照式（7）和式（8）展示的映射关系映射至三维空间，分别为S（x，y，z）、H（x，y，z）、M（x，y，z）和E（x，y，z），即可以将眼底图像中的血管以及其他病灶信息在三维空间进行显示.

2 实例验证

2.1 实验对象

本文实验所用眼底图像采集自天津医科大学眼科医院，共包含593幅眼底图像，图像尺寸均为2 180× 2 000.眼底相机为日本TOPCON公司的TRC-50DX眼底相机，视场角α为50°，工作距离AB为39 mm.视轴通过天津医科大学眼科医院一种新型的非接触式光学生物测量仪Lenstar LS900测量，相比较于超声检查，由于Lenstar LS900采用光学技术而非声学特性进行测量，具有非接触、准确度高、可重复性高等优点[9].本文在CPU为酷睿i3、内存为2 G、显存为512 MB的计算机上，使用Matlab2009a进行二维眼底图像的三维曲面重建.实验表明本文方法将二维眼底图像恢复重建为三维眼底曲面所需的时间为平均每幅图像1.410 1 s.

2.2 眼底三维重建实例

根据式（7）将眼底图像（表示为f（x，y））映射为实际的眼底曲面f（x，y，z），图5给出了4个不同角度的三维眼底曲面实验结果，分别对应不同的方位角和仰角.其中，方位角指的是与x=0平面的夹角，仰角指的是与z=0平面的夹角.

图5 重建的三维眼底曲面Fig.5 Reconstruction result of 3D fundus surface

由于一幅眼底图像所呈现的只是眼底的局部，通过观察可以发现，图5展示的眼底曲面的弧度与图1展示的眼球生理结构中眼底的弧度基本吻合.图6所示为血管及病灶的三维重建结果.

图6 血管及病灶三维重建结果Fig.6 3D reconstruction results of vascular centerlineand lesions

本文分割得到眼底图像中的血管以及其他病灶信息，并在三维空间进行显示，创建的三维模型可以根据需要进行旋转和缩放.图6（a）为彩色眼底原图，其中，病灶信息包含渗出物和出血点，分别将分割得到的血管中心线、出血点和渗出物描绘在彩色眼底图中.图6（b）和（c）分别为从不同视角观察的三维重建结果，能够很好地将眼底血管及病灶信息的位置关系展现出来，图中的圆圈代表视野范围的中心.图6（d）、图6（e）和图6（f）分别展示了眼底血管中心线、出血点和渗出物在三维空间中的可视化模型.

本文方法与其它重建方法的比较结果如表1所示.

表1 本文方法与其它方法的比较Tab.1 Comparison of proposed method and other methods

由于眼底几乎是平面的形状，曲面角非常小，不同型号眼底相机的视场角范围在30°～50°之间，能够拍摄的眼底范围都非常有限，球面角一般可选20°、30°和50°[5].由表1可以看出，文献[4]直接假设眼底模型为半椭球面，球面角设为180°，与实际的眼底模型差别大，重建效果准确度低.由表1还可以看出，文献[16]采用文献[4]的方法进行三维模型的重建，但是重建效果显示其球面角为360°，更加不符合眼底实际占眼球范围的比例.由于眼底相机一次成像能拍摄到的眼底范围有限，也没有固定的球面角度数，本文方法根据眼底生理结构自动计算球面角，实现的重建效果更逼真.

采集眼底图像时，文献[4]需要定位黄斑位于眼底图像的中心，较难操作，文献[8]需要操作者转动相机拍摄10幅不同的图像，并且要求图像之间有较大的重合区域.采集眼球参数时，文献[4]、文献[5]和文献[16]都需要通过超声检查获得眼球参数，超声检查本身具有重复性较低的特点，且非常繁琐.本文采用光学仪器测得参数，相比较于超声检查，由于采用光学技术而非声学特性，具有非接触、准确度高、可重复性高等优点.

3 结束语

本文提出了一种基于眼球生理结构和眼模型的眼底三维重建方法，通过解析眼底的生理结构和眼模型，分析眼底相机成像过程，将眼球后极部近似为局部球面，提高了眼底三维模型的准确度.根据眼底相机参数和视轴长度构建局部球面模型，利用眼底三维模型将血管和病灶部位在三维空间中进行显示.该方法通过准确度和重复性较高的光学仪器测量视轴长度即可实现眼底三维模型的重建，无需对眼球做超声检查来获取眼球参数，而且本文方法可以重建任意角度拍摄的眼底图像的三维模型，在眼病诊断中具有较高的应用价值.

[1]WONG T Y，MCINTOSH R.Hypertensive retinopathy signs as risk indicators of cardiovascular morbidity and mortality[J]. British Medical Bulletin，2005，73（1）：57-70.

[2]ENRIQUE C，SUNANDA M，MARK W，et al.Digital stereo image analyzer for generating automated 3-D measures of optic disc deformation in glaucoma[J].IEEE Transactions on Medical Imaging，2002，21（10）：1244-1253.

[3]DEGUCHI K，KAWAMATA D，MIZUTANI K，et al.3D fundus shape reconstruction and display from stereo fundus images[J]. IEICE Transactions on Information and Systems，2000，83（7）：1408-1414.

[4]李超，梁斌，陈武凡，等.由二维眼底正投影图像向三维曲面逆投影成像的重建算法 [J].中国生物医学工程学报，2002，21（4）：346-350. LI C，LIANG B，CHEN W F，et al.Reconstruction algorithm from two dimentional orthographic projection image to three dimentional surface by back-projection[J].Chinease Journal of Biomedical Engineering，2002，21（4）：346-350（in Chinese）.

[5]陈骥，彭承琳.眼底图像的三维重建[J].生物医学工程学杂志，2008，25（1）：177-181. CHEN J，PENG C L.Three-dimension reconstruction of ocular fundus image[J].Journal of Biomedical Engineering，2008，25（1）：177-181（in Chinese）.

[6]张鸿瑫，蒋华.Lenstar LS900与A超测量高度近视眼瞳孔中央角膜厚度对比[J].实用医药杂志，2012，29（11）：974-975. ZHANG H T，JIANG H.Comparison of central corneal thickness measured in patients with high mypopia by Lenstar LS900 and A ultrasonic pachymeter[J].Practical Journal of Medicine &Pharmacy，2012，29（11）：974-975（in Chinese）.

[7]ARTURO E R，ELENA M P.Optical 3D reconstruction of retinal blood vessels from a sequence of views[C]//8th Interna－tional Symposium on Laser Metrology.Merida：SPIE，2005：605-612.

[8]JAVIER A I，ELENA M，ARTURO E，et al.Minimizing camera-eye optical aberrations during the 3D reconstruction of retinal structures[C]//SPIE Photonics Europe.Brussels：SPIE，2010：77231F-77231F-10.

[9]ELENA M P，ARTURO E R.Three-dimensional reconstruction of blood vessels extracted from retinal fundus images[J]. Optic Express，2012，20（10）：11451-11465.

[10]LAKSHMINARAYANAN V.The human eye：A model system for teaching optics[C]//Education and Training in Optics and Photonics.Asaph：SPIE，2009：40-50.

[11]BLAKER J W.Toward an adaptive model of the human eye[J]. Journal of the Optical Society of America，1980，70（2）：220-223.

[12]吴骏，肖志涛，张芳，等.结合自适应脉冲耦合神经网络和最大类间方差准则的眼底图像血管自动检测方法[J].电子与信息学报，2013，35（10）：2411-2417. WU J，XIAO Z T，ZHANG F，et al.Combing adaptive pulse coupled neural network and maximal categories variance criterion for blood vessels automatic detection in fundus image[J]. Journal of Electronics and Information Technology，2013，35（10）：2411-2417（in Chinese）.

[13]肖志涛，赵北方，张芳，等.基于k均值聚类和自适应模板匹配的眼底出血点检测方法 [J].中国生物医学工程学报，2015，34（3）：264-271. XIAO Z T，ZHAO B F，ZHANG F，et al.Hemorrhages detection in fundus image based on k-means clustering and adaptive template matching[J].Chinese Journal of Biomedical Engineering，2015，34（3）：264-271（in Chinese）.

[14]肖志涛，刘璐，耿磊，等.基于相位一致性模型的眼底微动脉瘤检测方法 [J].中国生物医学工程学报，2014，31（1）：8-15. XIAO Z T，LIU L，GENG L，et al.Microaneurysms detection infundusimagebasedonphasecongruency[J].ChineseJournal of Biomedical Engineering，2014，31（1）：8-15（in Chinese）.

[15]肖志涛，王雯，耿磊，等.基于背景估计和SVM分类器的眼底图像硬性渗出物检测方法 [J].中国生物医学工程学报，2015，34（6）：720-728. XIAO Z T，WANG W，GENG L，et al.Hard exudates detection method based on background-estimation and SVM classifier[J].Chinese Journal of Biomedical Engineering，2015，34（6）：720-728（in Chinese）.

[16]戴培山，王博亮，鞠颖.视网膜血管图像分割及眼底血管三维重建[J].自动化学报，2009，35（9）：1168-1176. DAI P S，WANG B L，JU Y.Retinal vessel image segmentation and three-dimentional reconstruction of retinal vessel[J]. ActaAutomaticaSinica，2009，35（9）：1168-1176（inChinese）.

3D reconstruction of fundus based on anatomical structure of eyeball and eye model

XIAO Zhi-tao1，LI Min1，WU Jun1，GENG Lei1，ZHANG Fang1，WEN Jia1，SU Long2
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.The Second Hospital，Tianjin Medical University，Tianjin 300211，China）

In order to show the physiological structure and lesion information of fundus in 3D space to assist diagnose，a kind of new 3D reconstruction method of fundus based on the anatomical structure of eyeball and the eye model is proposed.Firstly，the posterior pole of eyeball is approximated as the partial sphere by analyzing the anatomical structure of eyeball and the eye model.Secondly，the partial sphere is calculated according to the fundus camera parameters and the axial length of eyeball，and the 3D model of fundus is reconstructed from the fundus image.Finally，vessel and lesions of the fundus image is segmented and showed in the 3D space using the 3D model of fundus.The experimental results show that the average processing time of each image is 1.410 1 s，the proposed method has high reconstruction speed，high accuracy and high reproducibility.

fundus image；3D reconstruction of fundus；anatomical structure of eyeball；eye model；partial sphere model；lesion information

TP391.4

A

1671-024X（2016）06-0067-06

10.3969/j.issn.1671-024x.2016.06.012

2016-02-26

天津市科技支撑计划重点项目（13ZCZDGX02100）；天津市自然科学基金项目（15JCYBJC16600）

肖志涛（1971—），男，博士，教授.

吴 骏（1978—），男，博士，副教授，主要研究方向为图像处理与模式识别、智能信号处理，E-mail：zhenkongwujun@163.com