用于盲人的图像振动触觉显示系统设计

吴 涓 宋振中 吴伟雄 李莅圆 宋爱国

(东南大学仪器科学与工程学院，南京 210096)

视觉障碍人士由于丧失了视觉，获取信息主要依靠触觉和听觉，对于图形图像类信息，目前很难有效感知.如何让盲人获得一定程度的图像信息，是研究者们广泛关注的问题.触觉是视觉障碍人士获取环境信息的重要方式.通过触觉刺激能够获得的环境信息除了直接的本体触觉感受如纹理、冷热、柔顺性等，还能依靠人脑对各种触觉刺激的解释加工获得感知对象的空间方位、距离、速度、形状，甚至图像、语义等信息，对触觉刺激按照一定的规定进行组合就能形成丰富的“触觉语言”，实现信息的触觉表达和感知［1］.

为了将图像信息转换为触觉信息，国外研究者研制了各种阵列式的触觉刺激发生装置，能实现像素空间和触觉阵列的映射.此类刺激单元的作用方式包括振动触觉刺激、电刺激、射流力刺激等［2］.典型的如美国Bach-Y-Rita等研究的视觉-触觉替代装置(TVSS)［3］，这种 20×20的点阵装置将压力刺激作用于人的背部，图像的亮度变化与振动触点的振动相一致.2010年，英国国防部推出了一款名为Brain Port的装置［4］，该装置会将拍摄到的黑白影像变成电子脉冲，传到盲人使用者口含的感应器中，由脉冲信号刺激舌头表面的神经，并由感应器上的电极传到大脑，大脑就会将感知到的刺激转化成一幅低像素的图像，从而让盲人“看到”各种物体的线条及形状.在国内，帅立国等［5］研制了射流触觉显示器，通过射流点阵中射流水柱施加在用户皮肤表面的压力，让用户感知触觉图文信息［5］.

为了实现图像信息的准确触觉表达，同时减少硬件系统本身的体积和复杂度，本文提出了一种由8×8个盘片式振动电机组成的振动触觉阵列，基于ARM系统设计了图像信息的采集、轮廓特征提取和动态显示的振动触觉编码方法及硬件驱动电路.该系统能在有限触觉点阵空间内，产生按图像二维轮廓特征分布并随时间变化的振动触觉刺激，能较为准确、快速地显示物体轮廓特征.该装置具有体积小和控制简单的优点.

1 硬件结构和实现

图像的振动触觉显示首先是通过摄像头采集图片信息，然后通过图像处理提取环境物体的轮廓特征，再根据轮廓的二维空间分布特性控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动触觉刺激作用于人背部.由于该系统需要直接佩戴于人身体上，因此需具有体积小、功耗低、便于携带等特点.基于以上考虑，本文设计了基于ARM11的图像处理和电机驱动控制系统.该系统选用ARMSYS6410嵌入式开发平台，并根据功能需求对其硬件资源进行配置.软件部分基于WinCE嵌入式操作系统，采用Platform Builder 6.0集成开发环境来定制满足要求的Windows CE 6.0操作系统.图像处理算法采用ANSI C语言编写.该系统的硬件组成见图1，包括图像采集模块、图像处理与振动编码模块以及触觉表达模块3部分.

图1 图像的触觉编码和表达系统硬件结构框图

振动触觉刺激单位由8×8振动电机阵列组成，振动电机选用小型振动电机JK-21260.振动电机最大工作电压5 V，最大工作电流100 mA.ARM11微控芯片通过IO口扩展，经光耦隔离、电流放大后驱动64个振动电机.

1.1 图像采集

由于开发板移植了嵌入式操作系统WinCE，因此系统选用了可用于WinCE系统下并具有中星微301镁光芯片的USB摄像头，通过调用USB摄像头驱动的接口函数实现图像采集功能.图像采集和处理流程如图2所示.

图2 图像特征提取流程图

图像采集时，首先调用capInitCamera函数初始化摄像头并返回当前活动的摄像头数目，利用capSetVideoFormat函数设置当前视频格式和尺寸模式(本系统设置为RGB24和320×240像素)，然后调用capStartCamera函数启动摄像头，借助capGrabFrame函数获取一帧图像并以bmp格式保存于缓存中.结束图像采集时先调用capStopCamera函数停止摄像头捕获视频，再调用 cap-CloseCamera函数关闭所有活动的摄像头.实际图像采集状态如图3所示.

图3 图像采集实物图

1.2 图像特征提取

形状特征是反映图像中物体最直接的视觉特征，要以触觉方式呈现图像信息，首先要提取图像的边缘轮廓信息.目前基于PC机上实现的图像轮廓特征提取方法很多，但大多不能满足实时性和小型化的要求.为此，本文采用效果较好且运行效率较高的图像处理算法，在Platform Builder 6.0集成开发环境上，利用ANSI C语言实现了适用于便携式系统的轮廓特征提取程序，该程序基本原理和流程如下.

1.2.1 图像预处理

为了保证运算速度，同时不影响处理后的效果，摄像头采集的原始图片尺寸设为320×240像素，并以bmp格式保存于缓冲区中.RGB彩色图进行灰度处理后转换为灰度图.在提取图片轮廓进行边缘检测之前，通常需要首先进行一定程度的降噪，以剔除图像本身以及传输带来的噪声信号.常用的图像滤波方法有均值滤波、中值滤波、Laplace滤波等.其中，中值滤波是一种实现简单而有效的图像滤波方法，首先取N×N大小的窗口(N为奇数)，然后对图像中位于该窗口内像素的灰度值进行排序，取中值作为窗口中心像素的灰度值.在考虑保证一定信噪比同时又保存边缘特性的要求下，本系统采用3×3的中值滤波器.

1.2.2 边缘检测

图像轮廓一般被认为是像素邻域内灰度剧烈变化的部分.经典的边缘检测方法通过构造各种边缘检测算子，度量相邻像素的变化程度.常用的边缘检测算子有 Sobel算子、Prewitt算子、Canny算子等.考虑到Sobel算子具有边缘检测效果好、实现简单的优点，本系统选用Sobel算子用于边缘检测.边缘检测是一个图像二值化的过程.

阈值的设定是影响边缘检测效果的另外一个关键因素.本文选用Otsu法来确定阈值［6］，该方法以图像的一维直方图为依据，根据目标和背景的类间方差最大为准则计算阈值.基本思想是把图像中物体边缘轮廓作为目标，其余部分作为背景，利用方差统计两者之间的分散度.方差值越大，说明轮廓与背景间差别越大，当部分目标错分为背景或部分背景错分为目标都会导致方差变小，因此使背景与轮廓之间的类间方差σ2B最大的分割意味着错分概率最小，这样可取得较好的阈值t*.该算法既能保证运算速度，又能满足一定的误识率和低拒识率要求.

阈值计算的具体流程为:设一幅图像的灰度等级分为1，2，…，L，处在灰度级i的所有像素点个数用fi表示，总像素个数用N表示，则有N=f1+f2.若用Pi表示图像中灰度级为i的概率，则Pi=fi/N，且.将图像中的灰度等级按阈值t划分为2类C0和C1，即灰度等级小于或等于t的一类C0={1，2，…，t}，和灰度等级大于 t的一类 C1={t+1，t+2，…，L}.2 类灰度等级出现的概率分布为

2类的灰度均值为

对于任意的t值，下列等式成立:ω0+ω1=1，ω0u0+ω1u1=uL.

利用该方法得到阈值t*后，将像素灰度值小于等于t*的赋值0，而大于t*的赋值255，就可实现图像的二值化，从而实现图像边缘检测.

1.3 振动触觉编码

在振动触觉阵列上显示图像轮廓最常见的形式是直接将像素空间和触觉电机点阵一一对应.像素矩阵灰度值为255的点，对应的电机状态为振动“on”，像素矩阵中为0的点，对应的振动单元状态为“off”，轮廓的振动单元点同时振动［7］.目前，振动刺激阵列的规模由于受振动单元本身体积以及人接触区域限制，远小于像素规模(电机阵列规模通常小于50×50，而像素规模通常大于100×100，本设计选用的图片像素为320×240).因此，将像素阵列映射到振动阵列时，需要进行一定比例的缩小，这样所能显示的图像分辨率就降低了.实验研究表明，上述振动显示模式下，受试者往往无法有效识别物体轮廓特性［8］.为此，本文提出了一种动态触觉编码的方法，这种编码利用人对变化的触觉刺激较为敏感的特性，让对应于物体边缘位置上的振点以顺时针的时序依次振动，电机阵列以一定的刷新频率循环扫描.其原理如图4所示.

图4 电机阵列振动空间时间分布图

假设物体轮廓空间映射到电机阵列后的形状为如图4所示的多边形，将这些参与轮廓显示的振动电机按照顺时针方向依次编号为1，2，3，…，16.则实际1～16号电机在时序上的振动状态如图5所示，每个电机持续振动时间为0.2 s，间隔0.1 s触发下一个电机的振动，直至所有位于轮廓边缘上的电机都被逐个扫描到.该方法具有同时触发的振动电机少、参数调节方便、能耗小的优点.

图5 电机振动时序图

为实现沿物体轮廓按顺序触发电机的振动触觉刺激模式，本文引入“链码”的方法对轮廓电机进行队列排序.遍历振动电机阵列，将位于轮廓上的电机按顺时针方向自动编成一个有方向性的链表.选用8-邻域链码，首先按照从左至右、从上至下的顺序查找轮廓起点;然后按照右、右下、下、左下的顺序查找第2个轮廓点;最后按照右、右下、下、左下、左、左上、上、右上的顺序查找其他轮廓点，直到找到轮廓起点为止.当检测到角点(位于图形顶点)时，自动标识该振动电机，并定义不同的振动强度以区分形状的转折点.电机的顺序编码过程如图6所示.

图6 轮廓链路的搜索示意图

2 图像的振动触觉表达系统

振动触觉显示装置实物图和实际穿戴于人背部的效果图如图7(a)、(b)所示.电机水平与垂直间距均为40 mm［9］，大于人体背部振动触觉刺激空间阈值11 mm［10］.振动电机通过黏性胶带贴合于弹性背带上，每个单元的空间位置可根据实际需要调整.实际使用时，USB摄像头以30 frame/s的速度采集图片信息，系统自动对图片信息进行轮廓特征提取，然后驱动振动电机以轮廓跟踪方式逐个振动，显示图片轮廓信息.

图7 振动触觉显示装置

对20个受试者利用该触觉振动显示装置进行了图像感知和辨识实验.采用如图8所示的动态振动触觉编码方法，让受试者戴上眼罩和耳塞，在排除视觉和听觉辅助的情况下，依靠振动触觉提示，判断和辨识所指示物体的形状.在20个受试者均没有佩戴过触觉提示装置的经验且未被告知所要显示的物体形状的前提下，让受试者仅依靠触觉提示画出其感受到的大致形状轮廓.

图8 图像的特征提取及动态编码显示示意图

实验结果表明，20个受试者利用触觉显示系统感知物体形状时，对于轮廓封闭的物体形状辨识率平均达到82%以上.

3 结语

本文基于嵌入式系统、USB摄像头和微型振动电机阵列构建了图像的振动触觉显示系统.该系统能从图像中提取环境物体的二维轮廓特征，并将轮廓特征转换为振动刺激信号作用于人身体，利用人的触觉空间定位特性，使人可以感知环境物体的轮廓、形状特征和相对位置信息.该系统能够帮助视觉障碍人士以非视觉方式感知外界图像信息，也能用于危险或者复杂环境下的信息的非视觉通讯和传递.该系统具有便携式、体积小、安装方便、操作简单的优点.动态轮廓跟踪的振动电机驱动模式不仅能提高触觉显示的真实感，还能降低能耗，简化控制.今后，将进一步完善信息的触觉编码方法，重点研究复杂环境下，尤其是包含曲线边缘和多个物体的图像的触觉编码方法，以扩大系统的实用性和鲁棒性.

References)

［1］ Kyung Ki-Uk，Son Seung-Woo，Yang Gi-Hun，et al.How to effectively display surface properties using an integrated tactile display system［C］//Proceedings of the 2005 IEEE International Conference on Robotics and Automation.Barcelona，Spain，2005:1761-1766.

［2］吴涓，宋爱国，李建清.图像的力/触觉表达技术研究综述［J］.计算机应用研究，2007，24(5):1-9.Wu Juan，Song Aiguo，Li Jianqing.Research summarization of image expression with haptic rendering［J］.Application Research of Computers，2007，24(5):1-9.(in Chinese)

［3］Bach-Y-Rita P，Collins C C，Saunders F A，et al.Vision substitution by tactile image projection［J］.Nature，1969，221(5184):963-964.

［4］包美玲.用舌头“看”世界［EB/OL］.(2010-04-07)［2010-06-20］.http://www.qdmx.qdedu.net/jyjx1.asp?fileid=1030＆clsName=%BD%CC%D3%FD%BD%CC%D1%A7.

［5］帅立国，姜昌金，周芝庭，等.斜坡触觉及射流触觉显示器技术研究［J］.测控技术，2008，27(7):64-66.Shuai Liguo，Jiang Changjin，Zhou Zhiting，et al.Ramp tactile and the study on the technology of waterjet tactile display［J］.Measurement and Control Technology，2008，27(7):64-66.(in Chinese)

［6］ Jiang C W，Etorre B.A hybrid method of chaotic particle swarm optimization and linear interior for reactive power optimization［J］.Mathematics and Computers in Simulation，2005，68(1):57-65.

［7］ Benali-Khoudja M，Hafez M，Alexandre J-M，et al.VITAL:a new low-cost vibro-tactile display system［C］//Proceedings of IEEE International Conference on Robotics and Automation.New Orleans，LA，USA，2004:721-726.

［8］Brown L M，Brewster S A，Purchase H C.Multidimensional tactons for non-visual information presentation in mobile devices［C］//Proceedings of the 5th Australasian User Interface Conference.Espoo，Finland，2004:15-23.

［9］Jones L A，Ray K.Localization and pattern recognition with tactile displays［C］//Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems.Reno，NV，USA，2008:33-39.

［10］ Eskildsen P，Morris A，Collins C C，et al.Simultaneous and successive cutaneous two-point threshold for vibration［J］. Psychonomic Science， 1969，14:146-147.