基于中医理论的多模态认知检测与康复训练系统设计与实现

刘庭伟，蒋皆恢，2⋆，陈丹彦，郁志华（.上海大学通信与信息工程学院，上海 200444；2.上海市生物医学工程研究所，上海 200444；上海市中医老年医学研究所，上海 2000）

基于中医理论的多模态认知检测与康复训练系统设计与实现

刘庭伟1，蒋皆恢1，2⋆，陈丹彦1，郁志华3
（1.上海大学通信与信息工程学院，上海 200444；2.上海市生物医学工程研究所，上海 200444；上海市中医老年医学研究所，上海 200031）

阿尔茨海默病（AD）是老年人群最常见的慢性疾病之一，以认知训练为主要手段的作业疗法被中西医视为AD预防与保健康复最常见手段。但是，目前市场上针对AD的认知障碍康复训练系统多基于西医方法，真正基于中医理论或中西医结合、具有中医特色的康复训练设备几不可见，且存在功能不全、用户体验不足且价格昂贵的缺陷。本团队自主研发了具有自主产权的多模态认知障碍康复训练系统，具体实现用户登录模块、康复训练模块、康复评估和反馈模块以及本地用户信息反馈模块。新系统特色为选择多模态融合技术创新作为突破口，强调中西医结合，在康复方案中融入脑电-眼动生理参数监测功能；基于物联网技术，形成老人认知障碍康复训练数据的自我管理；多功能的可选择性，集成多种功能可以根据用户需求进行增减；价格合理，与国外现有同类产品相比具有明显的价格优势。

认知康复训练；智能监测与反馈；脑电-眼动监测；物联网+

0　背景

近年来，随着人口老龄化，“中医治未病”逐渐成为我国以及上海市重要的生物医药发展战略。国家层面上，“中医药防治重大疾病与中医治未病”被列入《国民经济和社会发展第十三个五年规划纲要》发展规划重点。

阿尔茨海默病（AD）是老年人群最常见的慢性疾病之一。阿尔茨海默病的预防与保健康复具有重要的医学与社会意义，可充分体现“治未病”理念。目前国际上尚无完全被证实的AD药物治疗法或物理疗法，而以认知训练为主要手段的作业疗法被视为阿尔茨海默病预防与保健康复最常见手段，也是中医传统理论对AD患者认知障碍康复训练的主要手段[1-3]。

中医传统理论认为针对AD患者认知障碍康复训练的需要患者通过耳、眼、手、脑的使用，而对患者的视觉、听觉、回忆、思考、操作等进行全面训练[4-5]。例如，总纲可参见《素问·宣明五气论》[6]：“五脏六腑之精皆上注于目”、“脑主识神”、“胆主决断”、“肝主谋略”“心主神明”；《灵枢·大惑论》[7]所载“五脏六腑之精气，皆上注于目而为之精”；《灵枢·海论》：“髓海不足，则脑转耳鸣，胫酸眩冒，目无所见，懈怠安卧”；《类证治裁·健忘证治》[8]：“夫人之神宅于心，心之精根据于肾，而脑为元神之府，精髓之海，实记性所凭也”；《本草备要》[9]：“人之记忆，皆在脑中，……老人健忘者，脑渐空也”；《医方考》[10[11]曰：“人五十以上，阳气日衰，忘前失后，兴居怠惰，计授皆不称心”等。

然而，目前中西医AD干预中使用的认知障碍康复训练设备多基于西医方法，市场上真正基于中医理论或中西医结合、具有中医特色的康复训练设备几不可见。从市场基本品类来分，现有中西医认知障碍康复训练产品可以分为两种：第一种是以游戏为载体的虚拟作业康复设备，通过游戏方式吸引参与者，实现提升参与者注意力和记忆力。这类产品高度技术化，使用简单便捷，受到参与者喜爱，但此类产品的康复效果缺乏医学实证，更接近益智类玩具[12]；第二种为实物型作业康复设备，例如双手调节器、反应时仪等，参与者通过实际操作此类设备，提升注意力和记忆力[13]。这类产品的康复效果已被医学临床证实，并被广泛应用在中西医认知障碍康复训练中，但其功能单一、互动性差，且缺少数据记录与追踪，无法连续追踪参与者的康复进程[14-15]。此类产品国内外较著名的公司包括：COGNI、 SCHUHFRIED、瑞格、北辰等。

通过对市场上现有认知康复训练产品的分析，我们发现现有产品主要存在以下几点共性不足： 1.功能不全：目前的认知康复训练设备大多只基于眼、手、耳、脑等1-2种人体器官的使用训练，且各为一体，无法体现中医传统理论中“气血循环”的治疗理念，缺乏中医特色；2. 用户体验不足：认知康复训练产品的人机交互接口仍处于通过人机接口对产品进行简单控制的阶段，对自然交互中无意识行为的区分还很欠缺，无法达到自然交互，即中医传统理论提倡的“天人合一”；3. 价格昂贵：以COGNI为例，完整游戏训练系统成本超过10万元，超出了社区和个人用户对于认知康复训练的心理价位，难以普及。因此，为了解决以上的问题，本团队研究与开发了具有自主产权的多模态认知障碍康复训练系统。

1　系统设计

本系统基于西医的脑科学技术以及中医的传统医学理论，从认知功能检测和康复训练的角度出发，开发了十个趣味性、参与性强的康复类游戏，其中包括时间定向、无意义图像再认、文字识别、表情识别、视觉追踪、表情理解、迷宫、人物识别、反应力以及双手调节，使得轻度认知障碍患者在游戏中达到康复治疗的目的。此外，通过采集用户在游戏康复训练过程中的脑电、眼动、记忆力、反应时以及视空间等指标，结合传统中医学理论中的心、肝、胆、肾、睛、脑，综合分析并给出康复评估结果。

1.1系统体系结构设计

1.1.1硬件部分

如下图1所示，本文开发的多模态认知检测与康复训练系统的硬件部分主要包括主机、触控显示器、播音模块、按键模块、旋钮模块、摇杆模块、视频录入模块、眼动仪、脑电采集模块、IC卡读卡器以及打印机等模块。其中主机为整个系统的管理模块，触控显示器通过VGA接口以及USB接口与主机连接，用于显示图像以及人机交互。播音装置用于播放训练过程中的引导语，按键模块用于反应力训练，摇杆和旋钮模块用于在双手调节训练中控制小球的水平以及垂直运动方向，视频录入模块可以实时采集用户图像信息用于表情识别以及文字识别，眼动仪用于记录测试者视线位置并将其映射为屏幕坐标，脑电模块用来采集用户在整个训练过程中的脑电信号，IC卡读卡器用于用户信息录入、信息查询以及快速登录，打印机用来打印康复评估报告。

1.1.2软件部分

本系统软件部分主要分为用户训练和本地用户信息管理两大部分，如下图2所示。其中用户训练部分包括用户登录模块、康复训练模块、康复评估和反馈模块。普通用户使用IC卡刷卡登陆用户训练系统，然后根据引导语的提示完成整个训练过程，训练完成后可以根据提示选择是否打印康复评估报告。管理员登录本地用户信息管理系统后，可以进行用户信息的增、删、改、查操作。图3为原型机实物图。

图1　系统硬件结构图

图2　系统整体功能框图

1.2开发环境及语言

本系统开发环境为Visual Studio 2013，C++作为主要的编程语言。

由于Qt框架可以方便地用于开发高性能、跨平台的C++图形用户界面程序，允许真正的组件编程，并且能很好的支持数据库以及网络的编程，以及包含丰富的GUI元素。因此，本系统基于Qt框架设计了系统界面。

另外，考虑到MySQL是目前运行速度最快的数据库系统之一，且源代码开放，开发人员可以依据General Public License对源代码进行修改以定制个性化的需求，因此本系统使用MySQL数据库来存储系统产生的数据。

1.3系统功能模块设计

1.3.1用户登录模块

本系统通过IC卡进行用户登录，其登陆界面如下图3所示。系统在检测到IC卡后，IC读写器读取卡中的用户名以及密码，然后在后台查询MySQL数据库中的用户信息表，如果用户存在并且密码正确则进入康复训练模块。

图3　原型机实物以及登录界面图

图5　无意义图形再认训练界面　

1.3.2康复训练模块

康复训练模块设置了时间定向、无意义图像再认、文字识别、表情识别、视觉追踪、表情理解、迷宫、人物识别、反应力以及双手调节共十个康复类游戏。整个康复训练模块具体流程如下图4所示，用户在登录系统后，将根据语音提示完成整个训练流程。图5和图6分别展示了无意义图形再认和视觉追踪两个康复游戏。

图4　康复训练流程图

图6　视觉追踪训练界面

1.3.3康复评估和反馈模块

康复训练过程中的各项数据存储如图7所示，每个用户康复训练过程中各项测试结果以及脑电信息、眼动信息分别存储在三个CSV文件中，所有数据可用于后期科研统计分析和数据挖掘。训练完成后，用户可以选择打印报告，如图8所示。

1.3.4本地用户信息管理模块

本地用户信息管理管理模块设置有对用户信息的增、删、改、查功能，图9所示为本地用户信息管理界面。

图7　数据存储

图8　康复训练报告　

图9　本地用户信息管理界面

2　系统的关键技术

本项目设计软件共分有十类测试题，通过对测试者的理解力、判断力、注意力、视空间、反应力、记忆力、操作能力、文字理解能力、表情识别与复制能力进行检测和训练。分别为：①计算眼动轨迹追踪准确率、错误率、吻合率；轨迹跳跃时重新获得的时间、敏感性。根据屏幕上的红色小球（左上角）、绿色小球（左下角）、黄色小球（中间），用于检测理解力、判断力。②计算眼动轨迹追踪准确率、错误率、吻合率；跟随绿色小球移动、跟随跳跃出现的绿色小球移动、在屏幕中找寻红色小球，用于检验注意力、反应力。反应力测试用于对测试者的反应力进行训练，以提高其反应力。在训练过程中，当屏幕上出现某种颜色的小球时，要求测试者尽快按下按键装置中与小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。③表情识别和复制，观察所示的不同表情照片，找出笑脸、笑脸。对皱眉、伸舌等表情动作进行复制，用于检测反应时间和准确率。④进行无意义图形再认，先看5张无关联图片，然后在10张照片中将其选出，用于检测记忆力。无意义图形再认用于训练测试者的记忆力，即：识记、保持和重现客观事物所反映的内容和经验的能力。在训练过程中，测试者首先要牢记屏幕中出现的五个目标图形，然后在接下来出现的十个图形中将所有的目标图形全部找出，并按下按键装置的按键模块中对应编号的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。⑤进行无意义图形再认，请观察图片中的远景、近景、人物，用于检测理解力。⑥迷宫游戏，简单化迷宫，圆形或方形，现给予显示路径，当路径消失后开始检测，计算准确率和错误盲端次数，用于检测视空间。在训练过程中，要求测试者首先观察给出的迷宫和路径，待路径消失后，在带触摸功能的显示装置（如触摸屏）上开始进行走迷宫操作，同时，测试者的准确率、错误盲端次数以及训练过程中的脑电信息将被记录。⑦双手调节，左右两旋钮让光标在一定圆环（或其他图案）范围内做环形运动（或不规则运动），计算完成时间和偏离轨迹的程度，考验操作能力。⑧反应时仪，当屏幕中间出现不同颜色的点时，请点击相应的按键，用于检测反应力。⑨文字识别，请判断哪个是**，用于检测理解力、文字识别能力。⑩人物识别，出现（毛泽东、陌生人若干），哪个是你认识的人，用于检测记忆力。在训练过程中，测试者需根据语音或者文字提示从几张图片中选出常见的历史人物，并按下按键装置中按键模块中与所选图片下小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

3　结语

本系统以中医理论为指导，以西医检测为手段，通过对AD早期患者受损的认知功能进行的康复训练，符合中医“治未病”的学术思想。在预防保健服务体系环境下认知功能训练与康复技术，实现实时、实地 (Any time, Any Place) 信息的交互，从而达到能在社区进行检测的眼动、脑电、双手调节等装置。同时也与临床常用的认知能力检测量表形成互补，在诊断和康复方面并不与韦氏学习记忆量表、简易智能状态量表等形成交集。可以延缓测试者大脑老化，改善测试者的认知能力。本系统便于广泛推广，填补了该领域的空白，对其他疾病诊断和康复方面也有一定的借鉴作用，提升老年人的生活品质的同时也能够减轻社会负担，有较大的应用价值和社会效益。

[1] 赵威丽. 老年痴呆症患者的特点及康复护理[J]. 实用医药杂志, 2013, 30(1):76-77.

[2] 朱宏霞, 张彩华. 认知训练对老年轻度认知功能障碍患者生活质量的影响[J]. 上海护理, 2009, 9(4): 31-33.

[3] 王佳琪, 吴文源. 老年人认知训练研究进展[J]. 同济大学学报 (医学版), 2010, 3: 035.

[4] 王静, 许梦雅. 40例老年痴呆病人康复训练疗效观察[J]. Chinese Journal of Practical Nervous Diseases, 2009, 12期(12):89-90.

[5] 王耀兵, 季林红, 王广志, 等. 脑神经康复机器人研究的进展与前景[J]. 中国康复医学杂志, 2003, 18(4): 230-231.

[6] 黄帝内经素问[M].北京：人民卫生出版社.1956:78.

[7] 刘衡如校.灵枢经［M］．北京：人民卫生出版社, 2013:223.

[8] 林珮琴.类证治裁[M].山西：山西科学技术出版社.2010:356.

[9] 汪昂．本草备要［M］．北京：人民卫生出版社,2005:258．

[10] 吴昆．医方考［M］．北京：人民卫生出版社,2007:123.

[11] 孙思邈.千金翼方[M].北京:人民卫生出版社,1955:5.

[12] 陈翠芳. 游戏疗法对轻度老年痴呆患者认知功能及主观幸福感的改善效果[J]. 现代中西医结合杂志, 2012, (03):260-261.

[13] 程明, 任宇鹏, 高小榕,等. 脑电信号控制康复机器人的关键技术[J]. 机器人技术与应用, 2003, (04):45-48.

[14] Chan J, Nejat G. Social intelligence for a robot engaging people in cognitive training activities [J]. Int J Adv Robotic Sy, 2012, 9(113).

[15] Kim G H, Jeon S, Im K, et al. Structural brain changes after robot-assisted cognitive training in the elderly: A single-blind randomized controlled trial [J]. Alzheimer's & Dementia: The Journal of the Alzheimer's Association, 2013, 9(4): P476-P477.

Design and Implementation of Multimodal Cognitive Test and Rehabilitation Training System Based on TCM Theories

LIU Ting-wei1, JIANG Jie-hui1,2*, CHEN Dan-yan1, YU Zhi-hua3
(1.Communication and Information Engineering School, Shanghai University, Shanghai 200444;2.Shanghai Biomedical Engineering Research Institute, Shanghai 200444;Shanghai TCM and Gerontology Research Institute, Shanghai 200031)

Alzheimer’s Disease (AD) is one of the most common chronic diseases in elderly populations. To prevent and intervene AD, occupational therapy by cognitive training has beenwidely usedinboth TraditionalChinese Medicine (TCM) and Western Medicine. However, existing cognitive impairment rehabilitation training systems for AD patients have shortcomings such as incompletefunctions, lacking user experiences and unacceptable prices.In this study, a multi modal cognitive impairment rehabilitation training system with independent property rights was developed, which mainly consist of four modules, including user login module, rehabilitation training module, rehabilitation evaluation/feedback module and user information module. This system considered the multi-technological integration as major innovative aspect, emphasized the combination of TCM and Western medicine, and appliedElectroencephalogram (EEG) and eye movement monitoring technologies. Based on Internet of things technology (IOT), this system achieved self-management of cognition impairment rehabilitation training data. In addition, the price for this system is acceptablewhen compared with existing products.

Cognitive rehabilitation training; Intelligent detection and feedback; EEG-Eye movement detection; Internet of Things+

国家自然科学基金（61603236）、上海市科委生物医药领域科技支撑项目（16441906200）、上海市中医药科技创新项目（ZYKC201602002）、教育部回国人员科研启动基金、上海市教委青年骨干教师计划、上海市大学生创新创业训练计划项目（N05010716118）。

蒋皆恢，海归博士，上海大学，讲师。