基于Matlab的电子耳蜗信号采集研究

陈又圣

（深圳信息职业技术学院电子与通信学院，广东 深圳 518172）

基于Matlab的电子耳蜗信号采集研究

陈又圣

（深圳信息职业技术学院电子与通信学院，广东 深圳 518172）

电子耳蜗和助听器是目前治疗听力损失的有效装置，尤其是对于严重听力损失者来说，植入电子耳蜗是目前唯一临床上可行的方案。目前临床上电子耳蜗在安静环境下的言语识别率较高，而在噪声环境下则大幅度降低，如何提升噪声环境下的电子耳蜗言语识别率是目前的研究热点之一。为了便于进行电子耳蜗噪声环境下的算法研究，需要采集真实环境的语音数据，本文基于后续算法开发的需求进行基于Matlab的电子耳蜗信号采集的研究。

电子耳蜗；信号采集；语音信号；言语识别

电子耳蜗是一种帮助中度听力损失者恢复听力的有效装置，又称为人工耳蜗。电子耳蜗又称为人工耳蜗，是目前治疗重度聋或者全聋的有效听力装置。电子耳蜗是通过电刺激来直接刺激听神经来产生声学感知的电子器件，电刺激部位（包含刺激电路，刺激电极，线圈和磁铁等）需要通过手术植入体内。对于听力损失较浅的患者来说，他们耳朵里还残留部分毛细胞，可以通过佩带助听器来协助恢复听力。而听力严重损伤者往往残存的毛细胞很少，只能通过植入电子耳蜗来进行听力损失的治疗。据美国美国食品药物管理局的统计（统计数据截至2010年的12月），全球植入电子耳蜗的人数已达219000[1]。目前电子耳蜗的生产商主要是国外的三家，即COCHLEAR公司（澳大利亚），MED-EL公司（奥地利）和AB公司（美国），而国内的诺尔康公司（Nurotron）也在近年进行了电子耳蜗国产化的有益尝试。目前电子耳蜗在安静环境下的言语识别率已经很高了，他们可以非常便利顺畅地进行面对面的对话或者电话交流，而在噪声环境下则言语识别率大幅度降低。同时，英语本身不像汉语那样有丰富的声调信息和含义，因此英语环境下开发的电子耳蜗应用于我国则会降低其性能。目前提升电子耳蜗言语识别率的研究主要集中在对电子耳蜗前端信号的增强[2-7]、虚拟通道技术[8-9]和光学耳蜗[10-11]等方面。在电子耳蜗前端语音增强方面，麦克风阵列是其中一种有效的方法，这种语音增强技术需要在电子耳蜗体外机上装置两个或以上的麦克风进行信号采集。为了进行多麦克风电子耳蜗信号采集和言语识别率的实验研究，需要开发一套电子耳蜗信号采集系统，本文开发了一种基于Matlab的电子耳蜗信号采集系统。

1　电子耳蜗多麦克风信号采集架构

1.1电子耳蜗多麦克风信号采集结构

多麦克风结构，即麦克风阵列结构是一种多传感器波束形成的结构，通过空间上以一定方式排列的麦克风采集空间上的语音信号，不同采集点上采集到的信号有时间差，其结构如图1所示。

图1　多麦克风信号采集结构Fig.1 Structure of multi-microphone signal acquisition

图1表示的是多麦克风信号采集的结构。在空间上不同方式放置的多个麦克风采集到空间上具有不同到达时间和强度的信号，然后每个采集到的信号分别给予一个算法的延迟系数和加权系数，然后组合成总的信号输出，这样的信号会形成在空间一定的指向，进而达到语音增强的目的。

1.2双麦克风波束形成

由于电子耳蜗对尺寸有严格的限制，因此麦克风数量不能太多，双麦克风波束形成是一种有效的方案之一，如图2所示。

图2　双麦克风波束形成结构Fig.2 The structure of dual microphone beamforming

图2表示双麦克风波束形成结构的示意图。如果是距离较远的声源，则传输到两个麦克风的信号可以近似认为是平行的，两个平行的信号到达麦克风的信号延迟和强度可以根据信号的几何关系来得到。为了达到针对特定方向的波束指向，可以对其中一个麦克风给予一个延迟参数，然后两个信号组合输出。不同的延迟参数可以形成不同的极性图，比如可以形成双极型、超心型和心型极性图。

2　基于Matlab的信号采集系统

2.1器件选择考虑及硬件设计

基于尺寸考虑，本文选用Konwles的双TO微型麦克风作为信号采集端，麦克风采集得到的电信号输出通过放大和滤波的前置电路来对信号进行预处理并去掉电路干扰信号，然后，采集的两路信号通过AD芯片转换成数字信号。由于考虑使用双麦克风阵列方法，因此需要采集两路信息，这里可使用USB声卡并将信号输入电脑，声卡输入的左右声道分别对应两个麦克风采集的信号。

2.2Matlab信号采集流程

基于Matlab的信号采集流程如图3所示。

图3　基于Matlab的信号采集流程Fig3.Procedure of Matlab based signal acquisition

图3表示的是本系统的基于Matlab的信号采集流程。由于采集的是实时从USB声卡传递来的双麦克风的通道数据，基于Matlab的信号采集过程包括：首先要设置硬件的参数，包括设置声卡的ID参数、选择用于信号传输的接口、初始化模拟设备、设置采样率、设置每个时间片断的采样点数。然后就可以启动设备进行信号采集了，USB声卡实时采集数据传输到计算机中，然后保存数据信息。由于研究的是不同方位的信号特征，因此需要不断调整信号采集方位，然后重新进行信号采集。在Matlab中可以通过循环采集的方式，设置一个充裕的时间间隔以便调整方位然后进行信号的采集。信号采集完成后需要停止设备对象，删除缓存数据。

2.3Matlab信号采集的函数及实现

在图3的信号采集流程中的各个环节通过编写matlab程序来完成，相关的主要函数及实现如下：

模拟输入初始化的函数为：analoginput('winsound',ID)，其中“winsound”和“ID”为所选的声卡及类型。选择通道参数(双通道)的函数为：addchannel(AI,channel)，基于本文的实际需要，选择两通道。采样率参数设置的函数为：set(AI,'SampleRate',Fs)，采样点参数设置的函数为：set(AI,'SamplesPerTrigger',duration * fs)。启动设备对象的函数为：start(AI)，数据采集的函数为：getdata(AI)，保存数据的函数为：wavwrite( data,fs,'...\oridata.wav')，数据采集停止的函数为：stop(AI)，删除设备对象的函数为：delete(AI)。系统各参数的设置和初始化只需要一次，调整声源方位进行信号采集只需要设置循环函数并设定采集等待时间间隔即可。

3　实验结果

3.1实验方案

为了更精确采集信号，本实验选择在静音房间内进行。播放信号的音箱距离地面1.5米，同时在距离音箱1米距离并且等高的位置（同样是1.5米）本硬件的麦克风采集模块。为了更精确调整和记录音箱到麦克风声采集模块的距离，本文设计了一个旋转平台来进行距离和方位的调整，旋转平台的示意图如图4所示。

图4　旋转平台信号采集Fig.4 Rotatable platform based signal acquisition

为了便于信号采集实验中精地标记信号方位，需要精确标记好从0°到360°的方位，角度标记在转盘上。所采集的信号通过本文所设计的基于Matlab的电子耳蜗信号采集系统进行信号采集并保存数据，用于手续的算法研究。采集的信号与计算机通过USB外置声卡方式来进行传输，同时在所基于Matlab系统编写的程序里设置了循环采集时间参数，以便进行实时的采集信号过程。

3.2基于Matlab系统的信号采集结果

本文基于开发的基于Matlab的信号采集系统进行实际信号的采集。本实验采集了CCTV新闻联播中的一小段（女声），采集的原始信号如图5所示：

图5　基于Matlab的系统的信号采集结果Fig.5 Signal acquisition result in the Matlab based system

图5是用本文开发的系统采集的实际信号的波形，该信号为一个女声的CCTV新闻联播中采集的其中一个声音片断，所采集的信号通过USB声卡传输到计算机上并保存下来用于后续的算法研究。

3.3电子耳蜗CIS言语处理算法的结果

目前不同电子耳蜗生产厂商所用的言语处理策略不同，但常见的言语处理算法基本都是基于连续交替采样策略（Continuous Interleaved Sampling Strategy，CIS[12-13]）发展起来的，本文基于前面用Matlab信号采集系统采集的信号，用电子耳蜗CIS言语处理策略进行算法研究，得到对应的算法调制后的信号波形如图6所示：

图6　电子耳蜗CIS言语处理策略调制后的结果Fig.6 Result of modulated signal in CIS speech processing strategy for cochlear implant

图6是用电子耳蜗CIS言语处理策略对原始信号进行调制后的波形，对比图5可以看到，调制后的信号波形的包络发生了较大的改变，这与电子耳蜗CIS言语处理策略对信号的调制过程有关。电子耳蜗CIS策略用滤波器组对信号进行频带划分，每组频带用所含信号的能量及包络进行调制，并形成对应频带中心频率的纯音信号传递到对应电子耳蜗电极上，而CIS策略是连续交替采样刺激的，即某一特定时刻只有一个电极在刺激，也就是特定时刻只有一个频带的调制信号，因此会发生信号的信息丢失，而其细致差别有待基于本系统进行更为深入的研究。

4　结论

本文针对电子耳蜗国产化及适应汉语特征的电子耳蜗言语处理算法研究的需求，进行了基于Matlab的电子耳蜗信号采集的研究。本文阐述了具体实现的方法并在所开发的硬件平台上进行信号采集，为后续基于汉语特征的电子耳蜗言语处理算法的研究提供了基础平台，具有较高的理论研究价值和实践价值。

[1]National institute on dreafness and other communication distorders,“Cochlear implants” [M].National institute of health,Bethesda,MD,USA,NIH publish.2011,11-4798.

[2]Wouters J,Vanden J.Speech recognition in noise for cochlear implantees with a two-microphone monaural adaptive noise reduction system.Ear Hearing,2001,22:420-430.

[3]陈又圣,宫琴.基于双TP型麦克风的电子耳蜗前端指向性语音增强系统的研制,仪器仪表学报,2010,(9):1952-1958.(Chen Yousheng,Gong Qin.Study on dual TP microphone-based directional speech enhancement system for cochlear implant.Chinese Journal of Scientific Instrument,2010,(9):1952-1958.)(in Chinese)

[4]Hersbach A A,Arora K,Mauger S J.Combining directional microphone and single-channel noise reduction algorithms:a clinical evaluation in difficult listening conditions with cochlear implant users.Ear Hearing,2012,33(4):13-23.

[5]Yousefian N,Loizou P C.A Dual-Microphone Speech Enhancement Algorithm Based on the Coherence Function.IEEE Trans Audio Speech Lan P,2012,20(2):599-609.

[6]Yousheng Chen,Qin Gong.Real-time spectrum estimationbased dual-channel speech-enhancement algorithm for cochlear implant.Biomed Eng Online,2012,11:74.

[7]Yousheng Chen,Qin Gong.Broadband beamforming compensation algorithm in CI front-end acquisition.Biomed Eng Online,2013,12:18.

[8]Donaldson G S,Kreft H A,Litvak L.Place-pitch discrimination of single- versus dual-electrode stimuli by cochlear implant users.J Acoust Soc Amer,2005,118(2):623-6.

[9]Busby P A,Battmer R D,Pesch J.Electrophysiological spread of excitation and pitch perception for dual and single electrodes using the Nucleus Freedom cochlear implant.Ear Hearing,2008,29(6):853-64.

[10]Izzo A D,Richter C P,Jansen E D.Laser stimulation of the auditory nerve.Laser Surg Med,2006,38(8):745-753.

[11]Teudt I U,Maier H,Richter C P,et al.Acoustic events and“Optophonic” cochlear responses induced by pulsed near-infrared Laser.IEEE Trans Biomed Eng,2011,58(6):1648-1655.

[12]Wilson B S,Lawson D T,Zerbi M.Design and evaluation of a Continuous Interleaved Sampling(CIS) processing strategy for multichannel cochlear implants.J Rehabil Res Dev,1993,30(1):110.

[13]Boex C,Pelizzone M,Montandon P.Speech recognition with a CIS strategy for the Ineraid multichannel cochlear implant.Amer J Otology,1996,17(1):61-68.

【责任编辑：高潮】

Research on Matlab based signal acquisition for cochlear implant

CHEN Yousheng
（Shenzhen Institute of Information Technology,shenzhen 518172,China）

Cochlear Implant and hearing aid is the effective device to help those with hearing loss at present.Especially for those with severe hearing loss,cochlear implant is the only feasible clinic solution presently.At present,clinic cochlear implant has high speech recognition at quiet environment,but in noisy environment,the speech recognition sharply reduces.Improvement of speech recognition for cochlear implant in noisy environment is one of the key fields in present research.In order to simplify the algorithm research for cochlear implant in noisy environment,we need to record the real speech data.In this paper,we focus on the signal acquisition research for cochlear implant based on the demand of algorithm development.

cochlear Implant；signal acquisition；speech signal；speech recognition

TH776,R318

A国家标准学科分类代码：310.61

1672-6332（2016）03-0006-05

2016-07-05

广东省自然科学基金博士启动基金（No.2016A030310073）；深圳科技计划基础研究（No.JCYJ20160415114250896）

陈又圣（1985-），男（汉），博士。主要研究方向：电子耳蜗，麦克风阵列，语音增强。E-mail:chenyoushengtsinghua@aliyun.com