视触觉融合感知的点阵刺激装置设计①

蔡 群,黄金鹏,杨文珍,张 文,吴新丽,李俊峰,陈立翰

1(浙江理工大学 机械与自动控制学院,杭州 310018)

2(北京大学 心理与认知科学学院,北京 100871)

视觉通道和触觉通道是人们认知事物的主要方式.为揭示视觉通道和触觉通道的融合感知机理,前人虽然开展了系列物理心理学认知研究[1–3],但是由于缺乏高性能的仪器设备,难以深入探究人的视触觉融合感知特性[4,5].针对不同的研究目标,人们开发了一些仪器设备[6–15],能够提供视觉刺激或触觉刺激,用于物理心理学的认知研究.

在触觉刺激的仪器设备方面,Zappe 等[9]研制了一个气动式点阵刺激装置,在80×80 mm2的平面上,布置了8×8=64 个触点阵列,行和列间距均为10 mm,触点直径为4 mm.此装置可以提供1.3–2.7 N 作用力,最大刷新频率是6 Hz,且有50 ms 延时.Neuro Device Tacti ™公司也研制了一个气动式点阵刺激装置[10],有6×4=24 个触点阵列,行和列间距均为2.6 mm.此装置体积比较大,必须配有一个230 V 供电的外接气泵.Kim等[11]研制了一个吸气式压力刺激装置,有一个6 ×6=36 mm2大小的吸气孔,指尖覆盖在吸气孔上可以感受到5 种不同强度的吸力,用来研究手指的触觉属性.

在视觉刺激的仪器设备方面,da Silva Pinto 等[12]研制了一种便携式低成本LED 灯视觉刺激装置,包括6 V 电源、微控制器(MSP430F149)、LED 灯驱动模块和操作界面等,提供10 盏LED 灯,最大刷新频率为500 Hz,重量约为525 g,能够诱发稳定、无污染的脑电图反应.Mouli 等[13]设设计了一种紧凑型多功能的LED 灯视觉刺激装置,能够产生多种闪烁频率,适用于稳态视觉诱发电位.它的闪烁频率范围在5–50 Hz,有红、绿、蓝3 种颜色,需要3–12 V 的DC 电压.Xie 等[14]设计了一个LED 灯的视觉刺激系统,基于EEG 信号响应研究人的空间选择性注意,通过由FPGA 最小驱动系统驱动的二组LED 灯,在不同闪烁频率和闪烁模式下,可以得到较好的稳态视觉诱发电位结果.

上述这些装置虽然能够提供一定的视觉刺激或触觉刺激,但是不能同步提供视触觉融合的感知刺激,在点阵密度、刷新频率、便携性等方面已经难以满足物理心理学认知研究的需求.为此,本文设计了一种高密度的点阵刺激装置,能够同时生成视觉刺激和触觉刺激,以便研究人的视触觉融合感知特性.此装置的视觉点阵刺激模块能够提供多种颜色、多种明亮灰度值等级、多种闪烁频率和闪烁模式的视觉刺激,其触觉点阵刺激模块能够提供符合指尖皮肤触觉感知分辨率的触觉刺激.通过上位机控制平台,实验设计者可以控制视觉点阵刺激模块和触觉点阵刺激模块中的一个或多点LED 灯或触点,设计视触觉融合感知的实验,开展物理心理学的实验研究.

1 装置的整体设计

1.1 装置的工作原理

本文设计的高密度点阵刺激装置可分为上位机控制平台和下位机执行平台两部分,其工作原理如图1所示.上位机控制平台可运行在PC 机或移动设备上,通过USB 串口或无线蓝牙与下位机执行平台进行通讯.下位机执行平台由视觉点阵刺激模块、触觉点阵刺激模块以及下位机控制模块等组成.实验设计者通过上位机控制平台经下位机控制模块,控制视觉点阵刺激模块和触觉点阵刺激模块上的LED 灯和触点,让被试者感受到视觉刺激和触觉刺激,开展视触觉融合感知的实验研究.

图1 装置的工作原理

1.2 装置的物理样机

装置的3D 爆炸图如图2所示.视觉点阵刺激模块位于装置的最上层,在其下面是触觉点阵刺激模块,下位机控制模块位于装置的最下层.图3是装置的物理样机,正处于工作状态,被试者手指可以感受到触点的触觉刺激,被试者眼睛可以感受到LED 灯的视觉刺激.图4是拆除视觉点阵刺激模块后的装置,可以清楚地看到触觉点阵刺激模块.

图2 装置的3D 爆炸图

图3 装置的物理样机

1.3 装置的硬件电路

此装置的硬件电路包括单片机最小系统、串口通讯电路、蓝牙通讯电路、电源稳压电路、视觉点阵行驱动电路、视觉点阵列驱动电路以及触觉点阵驱动电路等,硬件电路的组成体系如图5所示.

单片机最小系统由STC89C52RC 单片机、复位电路和晶振电路组成,采用11.0592 MHz 晶振频率.串口通讯电路由CH340 总线转接芯片和USB 串口组成,实现单片机与上位机之间的串口通讯和程序烧入功能.蓝牙通讯电路采用HC-05 蓝牙模块,实现单片机与上位机之间无线传输通讯.电源稳压电路有5 V 升压稳压电路和过压过流保护功能,保护电路正常运行,还有充放电一体功能,可以给装置的电池充电.

图4 触觉点阵的触摸方式

图5 硬件电路的组成体系

2 视觉点阵刺激

此装置可以生成基于LED 灯的视觉刺激,由视觉点阵刺激模块、视觉点阵行驱动模块和视觉点阵列驱动模块实现.

2.1 视觉点阵刺激模块

LED 灯是一种高性能二极管发光器件[15].其控制性能良好,使用寿命长,视觉效果稳定[16],因此,本文采用LED 灯作为视觉刺激源.视觉点阵刺激模块由19×12=228 盏LED 灯阵列组成,每盏灯横向间距为1.05 mm,纵向间距为1.1 mm,面积约49.95×50.02=2500 mm2,如图6(a).本装置的LED 灯有4 种型号可选择,见表1,LED 灯最大封装尺寸为3.2×1.6 mm,LED 灯最小封装尺寸为1.0×0.5 mm,可选用红、白、黄、蓝4 种颜色.我们设计了10 个等级明亮灰度值(7.6,14.9,22.3,29.8,39.5,44.7,52.9,61.2,68.1,75.8 lux),LED 灯最高刷新频率为85 Hz.采用足够大的扫描频率,人眼视觉暂留效应就可观察到持续点亮的视觉刺激[17].且可输出多种闪烁频率和闪烁模式的视觉刺激.228 盏LED 灯阵列按照扫描驱动方式连接,其每一行正极连接在一起、对应的每一列负极连在一起,其电路图如图6(c).图6(b)为LED 灯的PCB 板.

图6 视觉点阵刺激模块

表1 LED 灯的封装尺寸

2.2 视觉点阵的驱动电路

因为LED 灯阵列以扫描驱动方式连接,所以其驱动电路由视觉点阵行驱动模块和视觉点阵列驱动模块组成.视觉点阵行驱动模块接收单片机MCU 的行控制指令,可以输出高电平控制视觉点阵LED 灯正极的通断.图7(a)为视觉点阵行驱动电路图.

图7 视觉点阵驱动模块

视觉点阵行驱动模块采用74HC595 位移缓存器作为行驱动芯片,其引脚可输出高低电平且输出强度可调,控制速度快功耗非常较低,能够驱动数量较多的LED 灯,并且具有锁存功能.74HC595 位移缓存器支持级联方式,数据可以通过上一片位移缓存器的数据输出端直接输送到下一片位移缓存器的数据输入端,节省数据输入端口与时钟线控制端口,从而节省单片机I/O 口资源.

视觉点阵列驱动模块接收单片机MCU 的列控制指令,可以输出低电平控制视觉点阵LED 灯负极的通断.图7(c)为视觉点阵列驱动电路图.

视觉点阵列驱动模块采用74HC573 锁存器作为列驱动芯片,有高电平、低电平和高阻态的三态输出,可以兼容视觉点阵列的控制和驱动功能,其使能输入端和8 路输入端口可以加入PWM 脉宽调制波形信号,可以控制其输出端口的输出电压变化,输出2.0 V～5.0 V电压,满足LED 灯不同明亮灰度值的电压要求.图7(b)为视觉点阵驱动电路PCB 板.

2.3 视觉点阵刺激的生成

视觉点阵刺激由上位机控制平台和下位机执行平台共同完成.例如,实验要点亮视觉点阵中LED 灯和调节LED 灯的明亮灰度值,实验设计者在上位机控制平台首先输入需要点亮LED 灯的行数(1–19 行),然后输入需要点亮LED 灯的列数(1–12 列),最后通过灰度等级按钮来控制LED 灯明亮灰度值变化.

采用扫描方式控制LED 灯的亮灭,调节PWM 波占空比来控制LED 灯的明亮灰度值.基于人眼的视觉暂留现象,人眼识别连贯的图像若超过24 帧/s 约25 Hz,人眼所看到的图像变化就不会出现明显卡顿,因此扫描速度足够快,频率足够高就可以产生良好的视觉刺激.同时扫描频率受到程序和硬件电路的制约,也不能不断增加给系统造成负担.因此设置合理的PWM 周期即合理的扫描频率对视觉刺激是十分必要的.在LED 评测标准里面,当控制LED 刚好使人眼观察不到闪烁时候的扫描频率称为临界闪烁频率(Critical Flicker Frequency,CFF).在不同环境条件下,理论计算CFF 只要大于60 Hz 人眼就不会看到明显的闪烁现象[18].目前市场上的LED 显示屏幕扫描频率多数100 Hz[19].基于实际使用情况,扫描频率由LED 本身发光亮度与环境共同所决定[20],环境更亮扫描频率也应越高效果才越好.本装置为离散化LED 视觉刺激点,因此其发光密度小于LED 显示屏,且满足不同环境下的使用,频率应设置为60～100 Hz 之间.根据LED 电子产品实际使用情况若LED 灯的扫描频率低于85 Hz,人眼能够感知到LED 灯的闪烁现象.排除装置本身硬件误差,程序运行时间和满足简化程序使定时器初值设置合理等诸多考虑,进行如下扫描频率计算.

此装置MCU 时钟电路的晶振频率为f=11.0592 MHz,时钟周期为T=1/f=0.09 µs,则它的机器周期t为:

本文应用的STC89C52RC 单片机计数器最大值为65 536.我们设置计数器初值为65 036,以500 次计数产生一次溢出,完成一次扫描中断,因此,单片机完成一次中断服务时间t中为:

设置20 个t中为一次扫描周期,PWM 周期TPWM为:

LED 灯的扫描频率为:

因此,设置本文LED 灯的理论扫描频率为fLED理论=92.2 Hz.

为了验证理论LED 灯的扫描频率和明亮灰度值是否符合预期,我们开展电子电路的电性能实验测量,通过北京普源数字示波器(型号DS1204B)和苏州特安斯数字照度计(型号TA8133)测量此装置LED 灯的实际扫描频率fLED实际和实际明亮灰度值(LuLED实际),测量结果如表2所示.

从表2中可知,在4.3 V 电压下,我们调节PWM波的占空比,可以得到不同的明亮灰度值.在1 级明亮灰度等级(5%占空比)情况下,LED 灯可以产生7.6 lux的视觉刺激,在10 级明亮灰度等级(50%占空比)情况下,可以产生最高75.8 lux 的视觉刺激.数字示波器实际测得的LED 灯扫描频率约为85 Hz,接近于我们设计的理论扫描频率92.2 Hz,LED 灯扫描频率的误差率ferror约为:

由于电子元器件在使用过程中不可避免会受到周围环境电磁波等电子干扰,fLED理论和fLED实际存在偏差是必然的.ferror<10%在电子产品电路设计标准许可范围之内,表明此视觉点阵刺激模块能够可靠工作,人眼观测无频闪无不良发应,产生性能稳定的视觉刺激.

3 触觉点阵刺激

3.1 触觉点阵刺激模块

触觉点阵刺激模块由4 方尺寸相同的点阵单元,按2 行2 列的矩形排布组成,如图8(a)所示.每方点阵单元有3 行2 列的6 个直径为1.5 mm 的触点,如图8(b)所示,以2.6 mm 行和列间距均布,每个触点的凸起高度为0.40±0.05 mm.最大刷新频率约为10 Hz,触点凸起后处于自锁位置,能够承受约10 N 的指尖按压力.与本文所引用国内外触觉研究装置相比,本文刺激装置点数更加密集,在更小的刺激面上所集中触觉点数更多.同时与气动触觉刺激等装置相比,其所需功率更小驱动电路更为简洁,并且在较小的功率下满足了更高的刷新频率.

触点的机械结构如图8(c)所示,每个触点都有一个电磁线圈,在不同电流方向作用下,可以产生不同极性的磁场,让永磁铁横向来回运动,从而推动触点上下运动.当永磁铁与左铁片相吸引,触点处于凸起状态,指尖可以触摸到触点.当永磁铁与右铁片相吸引,触点处于非凸起状态,指尖触摸不到触点.

表2 LED 灯的扫描频率和明亮灰度值

3.2 触觉点阵的驱动电路

点阵单元为功率器件,其功率参数决定了触觉点阵驱动电路的设计.触点的电磁线圈电阻为34Ω±10%,工作电压在3.6 V～5.5 V 之间,工作电流为150 mA.

触觉点阵驱动电路模块包括74HC595 位移缓存器和MS3111 直流电机驱动芯片,如图9(a)所示.采用74HC595 位移缓存器可以节省单片机IO 口,通过单片机3 个IO 口就可以实现24 个触点的驱动.但是,由于74HC595 端口输出电流小于20 mA,无法驱动大功率电子器件,包括本文中的点阵单元.为此,我们采用MS3111 直流电机驱动芯片作为点阵单元的外部驱动器件.MS3111 是一款高性能的电机驱动芯片,可以输出800 mA 电流,足够驱动点阵单元正常工作,并且其输入端口可以接入PWM 脉宽调制波形信号来控制输出电流的频率和大小,从而控制触点的运动频率以及运动强度.

图8 触觉点阵刺激模块

图9 触觉点阵驱动电路模块

3.3 触觉点阵刺激的生成

触觉点阵刺激由上位机控制平台和下位机执行平台共同完成.例如,实验要凸起触觉点阵中某一个触点或多个触点,实验设计者在上位机控制平台输入触点编号并发送给下位机执行平台.74HC595 位移缓存器串行接收单片机MCU 数据,并行输出给MS3111 电机驱动芯片,进而控制触点运动.

我们以不同周期发送数据,控制触点的刷新速度,可以产生不同的触觉刺激.为了探明触点的最大刷新频率,我们开展电子电路的电性能实验测量,通过北京普源数字示波器(型号DS1204B)测量触点的刷新频率f触点.在实验测量过程中,我们设定数据的发送周期T触点分别1000 ms、200 ms、100 ms 和10 ms,测量电磁线圈的电压波形频率,得到触点的刷新频率,测量结果的如图10所示.

图10(a)显示当T触点=1000 ms 时,触点刷新频率为f触点=996 mHz;图10(b)显示当T触点=200 ms 时,触点刷新频率为f触点=4.9 Hz;图10(c)显示当T触点=100 ms 时,触点刷新频率为f触点=9.8 Hz;图10(d)显示当T触点=10 ms 时,触点刷新频率还是f触点=10.2 Hz.

因此,我们得出此点阵单元的触点最大刷新频率为10 Hz.

4 装置的性能测试实验

4.1 装置控制程序

嵌入式系统开发与设计由于性能良好得到了越来越多的关注[21].本装置应用嵌入式开发知识,设计控制程序包括上位机人机交互程序与下位机MCU 驱动程序.上位机人机交互程序提供人机交互界面,实验者可以在数据发送界面输入视觉点阵的行列序号、触觉点阵的点序号,可以在灰度控制界面调整LED 灯的明亮灰度等级,可以选择定时自动发送数据方式或者手动发送数据方式,通过USB 串口或者无线蓝牙,把数据发送给下位机控制模块.此外,上位机人机交互程序还有通讯端口配置、数据文件管理等功能.

下位机控制模块接通电源后,下位机MCU 驱动程序首先执行单片机初始化程序,完成定时器时钟、标识符等参数的初始化工作,然后接收并校检上位机控制平台传来的数据,接着解析和分配数据给视觉点阵刺激模块和触觉点阵刺激模块,实现LED 灯的亮灭、LED 灯的不同明亮灰度值以及触点的运动.图11为下位机MCU 驱动程序的流程图.

图10 触点刷新频率测量结果

图11 MCU 驱动程序流程

上位机控制界面由VS (Microsoft Visual Studio)软件应用C#语言编写,用户界面框架搭建过程中实现界面与程序分离,简化了程序设计,秉持人机交互原则使操作界面与使用方法一目了然.下位机编写语言为C 语言,应用keil 开发平台进行52 系列嵌入式程序开发.

4.2 视觉刺激实验

在此实验中,我们通过上位机的人机交互界面,输入LED 灯的行列数,调整明亮灰度值等级,来验证此装置的视觉刺激生成功能.表3罗列了部分视觉刺激生成的实验结果.

实验测试结果表明,视觉点阵刺激模块工作可靠性能稳定,能够以不同明亮灰度等级点亮不同的LED灯点阵,生成视觉刺激,由实验证明实时响应速度良好.

表3 视觉刺激生成的实验结果

4.3 触觉刺激实验

在此实验中,我们通过上位机的人机交互界面,输入触觉点阵的点序号,驱动每方点阵单元的触点,验证此装置的触觉刺激生成功能.表4罗列了部分触觉刺激生成的实验结果.

实验测试结果表明,触觉点阵刺激模块工作可靠性能稳定,能够触动不同的触点运动,生成触觉刺激,由实验证明实时响应速度良好..

5 总结

人们通常由视、听、触、嗅、味等多个通道,融合感知和认知环境.探明人的多通道感知特性是物理心理学研究的重要目标,其中,能够提供多通道感知刺激的仪器设备是物理心理学研究必不可少的工具.本文设计了一种视觉和触觉融合感知的点阵刺激装置,可以同步给指尖提供触觉刺激,给眼睛提供视觉刺激,为物理心理学研究人的视触觉融合感知特性提供实验设备.

相对于前人研究成果,此装置的主要创新有:1)能够提供更高密度、更高刷新频率的触觉刺激;2)能够提供不同颜色、不同微小封装尺寸、不同明亮灰度值等组合的LED 灯点阵视觉刺激;3)能够同步产生视觉刺激和触觉刺激;4)装置的电子元器件集成度更高、装置的体积更小且重量更轻,并且能够远程操控.借助此装置,人们可以感受到温和不刺眼的视觉感知,也能够获得清晰辨识的触觉感知.

表4 触觉刺激生成的实验结果

此装置的不足之处在于:1)触点的凸起高度不可调;2)触点凸起时,指尖必须离开触点;3)控制程序较复杂.