多模态人体生理电信号的3D电视健康评估系统

李忠强，邢丽冬，钱志余，王 笑，于德飞，刘保玉，金帅南京航空航天大学，南京市，210016

多模态人体生理电信号的3D电视健康评估系统

【作 者】李忠强，邢丽冬，钱志余，王 笑，于德飞，刘保玉，金帅南京航空航天大学，南京市，210016

为了满足3D电视健康评估多信号测量要求，应用高性能的生物采集芯片来设计可实时地采集所需人体电信号的硬件系统。该系统主要是采用ARM11微控制器S3C6410控制脑电/眼电采集芯片RHA2116和心电采集芯片ADS1298，并将芯片采集的数据通过控制芯片的USB口传至上位机软件，并可实时地显示和保存实验数据，再应用Matlab软件对各信号的数据进一步处理，进而做出健康评估。同时，针对观看3D电视脑区变化的不同设计出3D电视评估专用的脑电极放置方法和实验数据处理方式，可有效地对多信号的数据进行层次性分析。

3D电视；评估系统；采集芯片；人体电信号；脑电极放置

0 引言

随着3D电影的不断热映，3D电视的用户急剧增长。但观看3D电视非常容易造成疲劳[1]，特别是对儿童和老年人来说，会引起视力下降、头晕、视线模糊、眼睛或肌肉等出现不自主的抽动、恶心、抽搐、痉挛、方向障碍，甚至是意识丧失等不适症状[2]。3D电视引起的不良反应越来越引起人们的关注，研究和建立3D电视健康评估体系也成为社会热点，而现在国内外还没有统一的3D电视评估方法和检测设备。

观看3D电视过程中所造成的人体不良反应，在多种人体生理信号中会发现变化，目前主要通过检测脑电信号、眼电信号和心电信号等人体生理信号参数对人体进行健康评估，尤其脑电信号现已成为最广泛的评价中枢神经系统变化的主要指标之一[3]， EEG信号也将成为研究3D电视疲劳的有效手段，所以需要配备多模态人体生理电信号检测和测量系统研究3D电视。但是常用的人体生理信号检测设备大都是专用性，无法同时对多种生理信号进行测量[4-5]，在传统检测仪器的基础上无法建立专门用于3D电视评估的检测设备。基于高性能生物采集芯片的硬件检测系统可以完成对人体多种信号实时、准确的测量，克服传统检测设备的不足。此外，由于人体在观看3D电视时，人脑各区域的变化及各人体电信号之间的变化规律有明显的区别，在国际标准体系的基础上，探寻脑电电极通道选择和放置，以及多信号的层次性数据处理方法有利于发现3D电视的人体变化规律。在此基础上研制3D电视综合评估系统为建立统一的3D电视健康评估体系打下坚实的基础。

1 硬件系统设计

整个的系统工作流程如图1所示，主要包括以下几个部分：ARM11微控制器系统，生物采集芯片模块和上位机软件模块组成。

ARM11微控制器主要是通过自身的USB端口建立与上位机软件的通信，并在上位机软件的指令下控制生物采集芯片，并将芯片采集的数据传至上位机软件。生物采集芯片模块应用的是INTAN RAH2116和TI ADS1298生物采集芯片，前者16个采集通道完成对脑电和眼电信号的采集，后者完成心电信号的采集。上位机软件系统主要完成硬件系统的控制，数据的接收、显示、处理和保存。

图1 系统流程图Fig.1 The fl ow chart of system

1.1 硬件系统设计原理

1.1.1 ARM微控制器设计

ARM11微控制器采用的是三星公司的S3C6410控制芯片，它有丰富的扩展口，可根据需要实现不同的功能，整个硬件采集系统的设计框图如图2所示。整个微控制器的设计主要分为：(1)存储器接口 接入NAND-FLASH存储器和DDR高速缓存器，用于存储系统的控制代码及系统内存；(2) JTAG端口 主要是用于系统升级的端口；(3) USB数据传输口 其主要作用在于：首先，与上位机软件建立通信，便于上位机软件对整个硬件系统的控制；其次，系统检测的人体信号通过此端口传输至上位机软件；最后，整个系统是由上位机通过USB端口的电源线接入供电；(4) 芯片组端口 此端口主要与生物采集芯片相连，完成对生物采集芯片的控制和数据的读入，脑电和心电采集芯片主要通过微控制器的SPI口控制，完成芯片的启动、时钟信号输入和生物信号的接收。

图2 微控制器设计框图Fig.2 The design diagram of micro-controller

1.1.2 芯片模块设计

ARM控制器与脑电采集芯片的接口电路如图3所示。两种生物采集芯片主要与ARM控制芯片的SPI口相连，配合微控制器其他的I/O口实现相应端口的功能即可完成对生物采集芯片的控制。图3(a)的设计基于INTAN RHA2116生物采集芯片，它主要完成对模拟的生物电信号放大，后由AD7980模数转换器将放大后的脑电和眼电信号传至ARM控制芯片。图3(b)的设计基于TI ADS1298芯片模块，该模块可直接完成对信号的采集和模数转换。图3中的ADP1710和ADR381是为生物采集芯片提供工作或模数转换稳定的电压值。

图3 生物采集芯片原理图Fig.3 The schematic of biological capture chip

1.1.3 系统控制代码的设计

系统控制代码的设计流程图如图4所示，S3C6410在控制代码的控制下完成的功能主要有：(1)通过USB端口建立与上位机软件的通信，并对系统进行初始化；(2) 在上位机软件特定的指令引导下完成对生物采集芯片组的控制，并将芯片采集的数据传至上位机。其工作过程如下：

(1) 评估系统与上位机通过USB连接，软件成功识别设备，完成与评估系统建立通信，评估系统自动对ARM芯片、生物采集芯片等进行初始化；

(2) 当评估系统建立与上位机软件的通信后，硬件系统自动对整个系统初始化并对芯片进行复位，完成后等待上位机软件的下一步指令；

(3) 上位机软件通过USB端口向评估系统发送特殊的ASCII，S3C6410在对应的指令引导下完成所需生物电信号的选择、信号采集和阻抗测量等，并在特定的情况下可以自动警报；

(4) 当ARM微控制器在接收到实验数据后，自动按照信号种类和通道的不同，加入识别码以便上位机软件区分信号。

图4 微控制器控制代码流程图Fig.4 The fl ow chart of micro-controller code

2 软件系统设计

系统软件主要通过USB的固件程序实现对外设评估系统各个模块的识别、通信和数据实时传输，从而上位机软件准确地接收硬件系统传输的数据。USB的固件程序[6]中包括有USB描述符的定义、USB标准设备请求及USB中断的处理等[7-8]。其主要的功能是实时准确地接收并保存实验数据，同时能够对接收的数据实时的波形显示和滤波等简单处理。

本软件主要基于Visual Studio 2010软件开发环境编写界面，配合于WDM(Windows driver modeI)驱动开发工具开发USB固件程序，从而使软件的函数可以实现软件与硬件检测系统之间的通信。软件系统保存的实验数据可通过Matlab专用的代码程序将数据导入至Matlab软件之中，配合Matlab专用的EEGLAB脑电信号处理工具包，可以在Matlab软件中完成实验数据的进一步处理与统计分析,如工频陷波，降低采样频率等等。经过处理之后的人体脑电信号、眼电信号和心电信号如图5所示。

图5 人体生物电信号Fig.5 The human biological signals

3 系统电极放置及数据处理方法

本测量系统，可同时采集多种人体电信号，如何有效地对信号进行处理才能更好的研究3D电视对人体的影响，是设计完硬件测量系统所需解决的问题。本课题在前期研究观看3D电视对脑电信号的影响时，发现人脑各脑区的变化不同。在对各脑区不同变化的原因分析中，并借鉴目前研究疲劳的研究方法[9]，本套测量系统建立了一套以脑电信号为主，眼电、心电为辅的多模态人体生理参数的电极放置方案及层次性的数据处理方法。

3.1 多模态人体生理信号的电极放置方案

如图6所示， 图6(a)是脑电国际标准导联10/20体系示意图，图6(b)是在国际标准的基础上，三层脑区所选择的特定的通道及相应电极放置位置。图6(b)中三层脑区所划分的第一脑区电极放置选择是视觉枕区的01、02通道和顶叶区的P3、P4通道做重点放置，以后颞区T5和T6通道为辅助放置，完成对第一层脑区的检测；所划分的第二层脑区电极放置选择是以前额的FP1和FP2通道为主，额区F3、F4通道和前颞区F7、F8通道为辅，完成对第二层脑区的检测；此外，第三层脑区是以中央脑区的C4通道为主，附近的剩余通道为辅的第三层，这样完成整个3D电视脑电电极的布局。在结合其他国际标准体系的基础上，可有针对性地增加各脑区对应的通道数量以增加检测脑区变化的精确度。

图6 3D电视脑电极布局图Fig.6 The placement of 3D-TV brain electrode

3.2 多模态人体生理信号的数据处理方法

在上述电极的层次性放置的基础上，所建立的以脑电信号为主，眼电、心电和近红外信号为辅的层次性数据处理方法，如图7所示。各信号数据的主要操作是：(1)脑电信号提取特征波后，计算和分析观看前闭眼和观看后闭眼的特征波的相对能量、R值、A/ B值及其他评估因子的变化情况；(2)对脑电信号按照脑区的不同，分析和比较各评估因子的变化情况与标准状态之间的差异后，按照脑区层次的不同，对各评估因子的差异变化进行加权以增大不同层次脑区之间的差异性；(3)利用眼电信号的眨眼频率和眼动等参数，心电信号的心率等参数分别统计分析各对应参数的变化情况；(4)待心电信号等辅助信号的相关参数与对应标准之间的变化分析完成后，对不同生物信号间进行二次加权以增大脑电信号与辅助生物信号间的差异；(5)对加权结果进行统计学分析，并最终计算出3D电视的健康评估指数。

4 结论

本套3D电视健康测量系统基于高性能的生物信号采集芯片实现传统人体生物信号检测电路功能的同时，在一定程度上可以解决了传统检测电路的缺陷，具备更高的性能及较低的功耗，有利于微弱信号检测电路的集成化及设备便携化设计。另外，由于观看3D电视会引起多种生理信号的变化，本套系统克服了传统生理参数仪的缺陷，可完成同时对多种人体生理电信号进行采集，满足了3D电视多信号采集的要求。最后，3D电视专用的脑电电极放置方式及多生理信号的数据处理方法有利于发现3D电视的人体变化规律，并为建立统一的3D电视健康评估体系打下坚实的基础。

图7 生物信号数据处理流程图Fig.7 The fl ow chart of biological signal data processing

[1] Ntuen CA, Goings M, Reddin M. Comparison between 2-D & 3-D using an auto-stereoscopic display:The effects of viewing fi eld and illumination on performance and visual fatigue[J]. Int J Industr Ergonomics, 2009, 39(2): 388-395.

[2] Polonen M, Jarvenpaa T, Bilcu B. Stereoscopic 3D entertainment and its effect on viewing comfort: Comparison of children and adults[J]. Appl Ergonomics, 2013, 44(1): 151-160.

[3] 刘建平, 张崇, 邓崇勋, 等. 基于多导脑电复杂性测度的脑疲劳分析[J]. 西安交通大学学报, 2008, 42(12): 1555-1559.

[4] 任睿哲. 基于ARM、USB2.0技术的生物信号采集系统 [D]. 西安:西北工业大学, 2006.

[5] 钟文华, 王冬霞, 周航慈. 基于ARM的微弱生理信号采集系统 [J]. 微计算机信息, 2008, 24(10): 138-139.

[6] Logeswaran R. Customizable wireless remote control for collaborative medical diagnosis and Teaching[J]. J Med Syst, 2009, 33: 389-398.

[7] Silicon Laboratories Inc. USB Firmware Programmer's Guide[R]. 2006.

[8] Silicon Laboratories Inc, USB Driver Customization[R]. 2006.

[9] 李忠强, 邢丽冬, 于德飞, 等. 观看3D电视前后的脑电变化与电极层次性布局[J]. 中国生物医学工程学报, 2013, 32(4): 51-57.

3D-TV Health Assessment System by the Multi-Modal Physiological Signals

【 Writers 】Li Zhongqiang, Xing Lidong, Qian Zhiyu, Wang Xiao, Yu Defei, Liu Baoyu, Jin Shuai Nanjing University of Aeronautics and Astronautics, Nanjing, 210016

3D-TV, evaluation system, acquisition chip, physiological signals, brain electrode placement

R318.0

A

10.3969/j.issn.1671-7104.2014.02.002

1671-7104(2014)02-0084-04

2013-11-13

科技部十二五国家科技支撑计划课题（2012BAI23B07）；国家自然基金（61171059）

邢丽冬，E-mail: xldnuaa@nuaa.edu.cn

【 Abstract 】In order to meet the requirements of the multi-physiological signal measurement of the 3D-TV health assessment, try to fi nd the suitable biological acquisition chips and design the hardware system which can detect different physiological signals in real time. The systems mainly uses ARM11/S3C6410 microcontroller to control the EEG/EOG acquisition chip RHA2116 and the ECG acquisition chip ADS1298, and then the microcontroller transfer the data collected by the chips to the PC software by the USB port which can display and save the experimental data in real time, then use the Matlab software for further processing of the data, fi nally make a fi nal health assessment. In the meantime, for the different varieties in the different brain regions of watching 3D-TV, developed the special brain electrode placement and the experimental data processing methods, then effectively disposed the multi-signal data in the multilevel.