仿真假体视觉下的行动能力研究进展

【作 者】顾柳君，王静，陆燕玉，柴新禹

上海交通大学生物医学工程学院，上海，200240

0 引言

视觉是人们认识客观世界的基础，是人们日常生活中保持独立活动的必要条件。视觉为人类提供了超过 70%的外界信息，是人类最重要的感官，因而失明被认为是人类最严重的残疾。目前全世界视力残疾约有1.5亿，而我国约有1200万，其中盲人约有550万。研究者们从光动力学、药物、基因等方面展开了治盲的研究，但还没有非常有效的临床治疗措施，特别是对视网膜色素变性(Retinitis Pigmentosa,RP)、老年黄斑变性(Age-related Macular Degeneration,AMD)等眼底疾病和外伤导致的失明，目前都缺乏有效的治疗措施。近年来，新兴电子科学与计算机技术的飞速发展和广泛应用，以及生物医学工程、仿生学、神经工程、医学等各领域的研究进展促进了人工视觉研发的开展，视觉假体有望为失明患者开辟一条复明之路。

视觉神经通路主要包括视网膜、视神经、视皮层等部分，而大多数盲人仅某一部分发生病变。视觉假体针对视觉通路中组织结构和功能尚完好的神经部位，通过施加特定的人工微电流刺激从而诱发出“光幻视”，使盲人重新获得视觉感受。国际上已有多个研究小组进行了临床实验，并成功诱发了光幻视，证明了通过植入视觉假体使患者恢复视觉感受的可行性[1-4]。视觉假体包括获取视觉图像的摄像头，将图像转换为合适电刺激模式的图像处理系统，多通道微电流刺激器以及给予视觉神经系统电刺激的微电极阵列。Humayun小组研制的第一代视网膜上假体包含16个(4×4)刺激电极，在2002年植入人体开始一期临床实验。目前，包含60个(6×10)刺激电极的第二代假体装置已进入2/3临床阶段，而超过200个电极的阵列也在研制中[5-7]。Zrenner小组研制的视网膜下假体包含1500个刺激电极，并已进行了前期的临床实验[8]。从现阶段的研究进展来看，由于电极尺寸、供能效率、散热和生物相容性等问题及现有技术的局限性，使视觉假体中的微电极数量受到了限制，从而只能诱发出有限数量的光幻视点。摄像头获取的高分辨率图像必须经过降低像素处理，转换为适合微电极数量的刺激模式。因此，目前视觉假体研究中最为关键的问题之一是如何优化图像处理策略，使有限分辨率下的光幻视阵列呈现更多的视觉信息，帮助假体设计者改进图像信息的处理编码方案，使植入者获得最佳的视觉感受。

基于仿真假体视觉的心理物理学研究，能够定量探索视觉假体中的最小信息需求，为假体视觉的建模和表达提供了一种有效的方法。与假体植入者的真实人体实验相比，基于正常视觉被试的仿真实验能够召集到更多的志愿者，在视觉刺激的呈现模式、参数调节等方面上也能进行更精确的控制。目前，国际上已经有许多研究团队利用这一方法，对日常生活中的不同视觉任务展开了研究，主要包括视敏度[9-10]、阅读[11-13]、物体识别[14-15]、面部识别[16]、手眼协调[17]、行动能力[18-21]、视觉跟踪[22-23]等方面。其中行动能力（如在有障碍物的环境中寻找路径并顺利穿行等）是日常生活中保证活动的独立性和安全性的必要能力之一，因此针对这一方面的假体视觉最小信息需求研究具有重要意义。本文主要对仿真假体视觉下行动能力方面的心理物理学研究进行综述。

1 光幻视阵列分辨率的影响

有限数量的电刺激点只能诱发有限的光幻视点，所构成的假体视觉比正常视觉的分辨率要低很多。分辨率越低的图像，所包含的视觉信息越少。针对仿真假体视觉下不同分辨率对行动能力的影响，国际上多个研究团队基于皮层视觉假体和视网膜假体进行了深入研究。

Cha等人[18]针对皮层视觉假体仿真了其光幻视阵列，并进行了行动能力的研究。仿真光幻视阵列的分辨率从10×10到32×32不等，光幻视点的间距从0.053o到0.17o不等，视野大小从2.0o到45.5o不等。试验要求受试者在光幻视阵列组成的低像素视觉引导下穿过由白墙、地板、天花板和黑色障碍物组成的迷宫，并根据受试者穿行的速度以及碰到障碍物的次数来评价其行动能力。试验发现，受试者的行动能力随着摄像机拍摄视角的增大而提高；在最理想的视野范围时，受试者的行动能力随分辨率的增加而提高，而与点密度几乎无关。实验结论为视野范围为30o时，光幻视阵列需要25×25或32×32的分辨率，才能帮助皮层视觉假体植入者具有在熟悉环境中保证安全、独立活动的行动能力。

Dagnelie等人[19]在行动能力方面对视网膜假体的最小信息需求进行了研究。仿真光幻视阵列由离散的圆点组成，分辨率为16(4×4)、60(6×10)和256(16×16)，分别对应11o×11o、16o×27o和27o×27o大小的视野，摄像机拍摄的视角固定为37o。试验分别让缺乏仿真假体视觉经验和经过训练的受试者穿行过相似环境的路径，并测算穿行时间和碰撞次数，发现受试者的表现能力随分辨率的提高而提高。研究结果表明，无经验的受试者需要16×16的分辨率、经过训练的受试者至少需要6×10的分辨率，才有一定的行动能力。

Wang等人[21]在文献[19]的基础上，研究了固定眼动时低分辨率的视网膜假体视觉是否仍然能够帮助假体植入者拥有基本的行动能力。研究发现，当固定受试者的眼动在1o的视窗之内时，6×10的分辨率（对应16.2o×27o大小的视野）能够为受试者提供保持基本行动能力的视觉信息。

以上研究表明，随着分辨率的提高，受试者的行动能力也随之提高。60个(6×10)电极的视网膜假体给植入者的视觉信息，能使其具有基本的行动能力。

2 光幻视点缺失的影响

通过调节视觉假体装置的刺激参数，可以改变视野范围内植入者对光幻视的感知[1]。神经节细胞的兴奋具有一定的电刺激阈值，一旦视觉假体微电流刺激器的刺激强度没有达到诱发光幻视的阈值，则电极在视野中相应位点就会发生光幻视点的缺失[1]。若电极位点接触到的是坏死或退化的神经节细胞，电刺激不起作用，缺失的情况同样会发生。因此，一定光幻视点的缺失是视觉假体植入后可能出现的一个现象。

Dagnelie等人[19]基于分辨率为6×10的仿真视网膜假体视觉，研究了缺失率对受试者行动能力的影响。他们让经过至少10小时训练的受试者通过10个房间的虚拟环境，给予假体视觉的光幻视点缺失率分别为0%、10%和30%。实验结果表明，缺失率会影响受试者的行动能力，当缺失率达到30%时会导致受试者的行动能力发生显著的下降。

Wang等人[21]也基于分辨率为6×10的仿真视网膜假体视觉，研究了固定眼动时，噪声、对比度和缺失率等因素对行动能力的影响。研究结果表明，噪声和对比度对受试者行动能力的影响不大，而缺失率的影响显著，当缺失率达到30%时，受试者穿过10个房间的时间增长了40%。这与Dagnelie等人的结论一致。

Srivastava等人[17]基于皮层视觉假体进行了仿真。他们让受试者穿行过与Dagnelie和Wang等人的实验中相似的环境，光幻视点的缺失率分别为0%（650个光幻视点）、25%（488个光幻视点）和50%（325个光幻视点）。他们的研究发现，光幻视点的缺失对受试者的行动能力并没有显著的影响，即使缺失率达到了50%，受试者们依然能够在训练后完成任务。这一结果可能是由于他们的研究中仿真假体视觉的分辨率都很高，即使缺失率达到了50%，仍然有325个有效的光幻视点，大大高于Dagnelie等人的60个光幻视点；而前文中提到Dagnelie等人的研究表明60个电极的视网膜假体就能够使受试者完成任务，因而在Srivastava等人的实验中，剩余的50%（325个）光幻视点依然能够满足基本行动能力的需求。

以上研究表明，当电极数较少时（如60个），光幻视点的缺失率达到一定程度时会导致植入者行动能力的显著下降；当电极数量较多时（如超过600个），光幻视点的缺失对行动能力没有显著影响。

3 图像处理方法的影响

有限的电极数量只能提供给植入者低分辨率的假体视觉。如何通过一些图像处理方法去除图像中的非主要信息、保留那些对盲人最有用的信息，在视觉假体的研究中就显得十分重要。为此研究者们将多种图像处理算法应用到了假体视觉中，并针对行动能力方面进行了心理物理学研究。

Boyle等人[20]研究了几种基于提取图像感兴趣区域（Region-Of-Interest,ROI）的处理算法，对假体视觉信息的优化效果。试验对分辨率为256×256的原始图像应用了6种不同的处理算法：（1）IM equal算法，特征图（Importance Map,IM）中各个特征（如尺寸、形状、对比度等）拥有相等的权重；（2）IM scene算法，特征图中各个特征的权重根据盲人在日常生活中可能遇到的场景（如办公室、家里、街道等）的不同而不同；（3）IM training算法，按照训练图集选择各个特征的权重；（4）IM optimization算法，不断调整各个特征的权重以使结果图中有最多的边缘数；（5）Edge算法，使用Canny算法提取边缘；（6）No IP算法，无特征图算法。所有算法最终都使用近邻算法，低像素化为25×25的分辨率。试验将6种处理算法的结果图以随机顺序呈现给受试者，并要求受试者回答哪一版图像提供的信息对穿行过这一场景最有用。结果发现，当不进行电子放大（Digital Zoom）时，大多数人都选择No IP算法，而另外5种算法之间没有显著性差异；而当对ROI区域进行电子放大，舍弃那些不重要的区域后，对受试者的行动能力有所提高。

Van Rheede等人[23]也研究了应用于假体视觉的图像处理算法。试验基于一套实时的假体视觉仿真系统，采用ROI、鱼眼放大等算法对行动能力的影响进行了研究。试验要求受试者沉浸在有障碍物的虚拟3D环境中，寻找路径并穿行而过。实验结果表明，在直接低像素化的算法下，任务完成时间最短，所找到的路径也最短；而ROI算法和鱼眼放大算法的结果之间没有显著差别。这一结论与Boyle等人[20]的研究结果相符。

目前的研究结果表明，利用基于视觉注意机制的ROI算法提取出感兴趣区域，并进行数字放大后，能够优化有限分辨率下的视觉信息，帮助受试者具有更佳的行动能力。

4 总结

视觉假体是目前视觉修复的主要手段和研究热点。但由于现阶段技术的局限性，导致视觉假体的电极数量有限，只能形成由有限光幻视点构成的低分辨率的假体视觉。因此，如何在低分辨率的视觉下为假体植入者提供最有效的信息，是目前视觉假体研究中亟待解决的主要问题。在这方面研究中，基于仿真假体视觉的心理物理学研究方法得到了广泛的应用，并发挥了重要的作用。

本文讨论了仿真假体视觉下行动能力的影响因素，并对这一方面的心理物理学研究进行了综述。总结这些研究的结论，假体视觉下行动能力的表现主要取决于仿真假体视觉的分辨率，即光幻视点的个数。60（6×10）个电极的视网膜假体可以给假体植入者提供基本的行动能力，但其效果会随光幻视点的缺失而下降。通过一些图像处理方法（如提取感兴趣区域并电子放大）能够在同样的分辨率下提高行动能力。这些研究结果证明了通过视觉假体使盲人获得基本行动能力的可行性，为应用于视觉假体中行之有效的图像处理策略和编码方案提供了重要参考，并为视觉假体的设计和改进提供了理论依据。

[1]Humayun MS,De Juan E Jr,Dagnelie G,et al.Visual perception elicited by electrical stimulation of retina in blind humans[J].Archives of Ophthalmology,1996,114(1): 40-46.

[2]Caspi A,Dorn JD,McClure KH,et al.Feasibility study of a retinal prosthesis: spatial vision with a 16-electrode implant[J].Archives of Ophthalmology,2009,127(4): 398-401.

[3]Rizzo JF 3rd,Wyatt J,Loewenstein J,et al.Perceptual efficacy of electrical stimulation of human retina with a microelectrode array during short-term surgical trials[J].Investigative Ophthalmology &Visual Science,2003,44(12): 5362-5369.

[4]Yanai D,Weiland JD,Mahadevappa M,et al.Visual performance using a retinal prosthesis in three subjects with retinitis pigmentosa[J].American Journal of Ophthalmology,2007,143(5):820-827.

[5]Humayun MS,De Juan E Jr,Weiland JD,et al.Pattern electrical stimulation of the human retina[J].Vision Research,1999,39(15):2569-2576.

[6]Humayun MS,Weiland JD,Fujii GY,et al.Visual perception in a blind subject with a chronic microelectronic retinal prosthesis[J].Vision Research,2003,43(24): 2573-2581.

[7]Chader GJ,Weiland J,Humayun MS.Artificial vision: needs,functioning,and testing of a retinal electronic prosthesis[J].Progress in Brain Research,2009,175: 317-332.

[8]Zrenner E.Restoring neuroretinal function by subretinal microphotodiode arrays[R].Presentation at ARVO,Fort Lauerdale,USA,2007.

[9]Cha K,Horch K,Normann RA.Simulation of a phosphene-based visual field: visual acuity in a pixelized system[J].Annals of Biomedical Engineering,1992,20(4): 439-449.

[10]Hayes JS,Yin VT,Piyathaisere D,et al.Visually guided performance of simple tasks using simulated prosthetic vision[J].Artificial Organs,2003,27(11): 1016-1028.

[11]Sommerhalder J,Rappaz B,De Haller R,et al.Simulation of artificial vision: II.Eccentric reading of full-page text and the learning of this task[J].Vision Research,2004,44(14): 1693-1706.

[12]Dagnelie G,Barnett D,Humayun MS,et al.Paragraph text reading using a pixelized prosthetic vision simulator: parameter dependence and task learning in free-viewing conditions[J].Investigative Ophthalmology & Visual Science,2006,47(3): 1241-1250.

[13]Zhao Y,Lu Y,Zhou C,et al.Chinese character recognition using simulated phosphene maps[J].Investigative Ophthalmology &Visual Science,2011,52(6): 3404-3412.

[14]Boyle JR,Maeder AJ,Boles WW.Challenges in digital imaging for artificial human vision[A].Proceedings of SPIE[C],2001,4299:533-543.

[15]Zhao Y,Lu Y,Tian Y,et al.Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision[J].Information Sciences,2010,180 (16): 2915-2924.

[16]Dagnelie G,Thompson RW,Barnett D,et al.Simulated prosthetic vision: Perceptual and performance measures[A].In: VisionScience and its Applications,OSA Technical Digest[C].Washington DC: Optical Society of America,2001,43-46.

[17]Srivastava NR,Troyk PR,Dagnelie G.Detection eye-hand coordination and virtual mobility performance in simulated vision for a cortical visual prosthesis device[J].Journal of Neural Engineering,2009,6(3): 035008,1-14.

[18]Cha K,Horch KW,Normann RA .Mobility performance with a pixelized vision system[J].Vision Research,1992,32(7): 1367-1372.

[19]Dagnelie G,Keane P,Narla V,et al.Real and virtual mobility performance in simulated prosthetic vision[J].Journal of Neural Engineering,2007,4(1): S92-S101.

[20]Boyle JR,Maeder AJ,Boles WW.Region-of-interest processing for electronic visual prostheses[J].Journal of Electronic Imaging,2008,17(1): 013002,1-12.

[21]Wang L,Yang L,Dagnelie G.Virtual wayfinding using simulated prosthetic vision in gaze-locked viewing[J].Optometry and Vision Science,2008,85(11): E1057-E1063.

[22]Hallum LE,Suaning GJ,Taubman DS,et al.Simulated prosthetic visual fixation,saccade,and smooth pursuit[J].Vision Research,2005,45(6): 775-788.

[23]Wang L,Yang L,Dagnelie G.Initiation and stability of pursuit eye movements in simulated retinal prosthesis at different implant locations[J].Investigative Ophthalmology & Visual Science,2008,49(9): 3933-3939.

[24]Van Rheede JJ,Kennard C,Hicks SL.Simulating prosthetic vision:Optimizing the information content of a limited visual display[J].Journal of Vision,2010,10(14): 32,1-15.