基于多感官交互的阿尔茨海默老人智能穿戴产品设计研究

欧静，谭瑜，方滢洁，康庆春，许盈

基于多感官交互的阿尔茨海默老人智能穿戴产品设计研究

欧静1，谭瑜1，方滢洁1，康庆春1，许盈2

（1.湖南大学，长沙 410012；2.湖南中医药大学，长沙 410208）

研究听觉、触觉与视觉多感官刺激因素介入阿尔茨海默病老人护理的反馈效果，借助智能软硬件技术增强其对音乐的感知，设计多感官交互的老人智能穿戴产品。根据感知替换及通感原理，创建能够将音乐转化为振动及视觉信息的感官替代方法，并通过实验测试分别验证听–触觉和听–触–视觉两类多感官交互原型的可行性。在融合听–触觉的基础上加入视觉设计，可以更好地激发老人的言语行为能力。在收集被试者使用反馈分析结论的基础上设计了一款指尖振动音乐可穿戴设备——指尖钢琴，通过提供以触觉、听觉、视觉融合的多感官体验来促进患者的主动行为。多感官交互产品的设计对改善阿尔茨海默病患者的情绪和主动行为具有一定的效果，对老年患者身体健康和生活质量的提高具有积极意义。

阿尔茨海默病（AD）；多感官交互；感知替换；振动触觉；可穿戴设计

随着我国社会老龄化程度加剧，老年疾病患病人数也逐年升高，其中阿尔茨海默病（Alzheimer's Disease，AD）尤为突出，目前我国AD患者约为750万[1]，是全球老年痴呆症患者数量最多的国家。阿尔茨海默病患者的症状通常表现为：认知功能下降，常面临负面情绪并普遍存在沮丧、抑郁心理，对事物缺乏兴趣和行动力，进而表现为行为退缩[2-3]。阿尔茨海默病严重威胁着老年人的健康，给照护者、家人和社会都带来了巨大的负担，因此面向AD患者的老年医疗护理成为重要的社会问题。在对阿尔茨海默病的治疗中，多感官交互产品被越来越多地用于辅助高龄患者接受非药物的治疗干预。尽管药物干预能从一定程度上缓解症状，但其疗效有限，有些药物甚至会带来副作用，因此近年来诸多研究人员建议用非药物干预手段替代药物用于一线治疗中。在众多非药物疗法中，多感官刺激干预由于具有无侵入性、低成本且无不良反应等优点，被越来越多地用于对老年患者的治疗中[4]。

1 多感官设计在老年医疗护理中的应用

1.1 多感官交互设计

在医疗领域的多感官交互设计研究中，研究人员综合运用视觉、听觉、触觉、嗅觉等感官进行体验活动设计，以达到促进患者主动行为、激发积极情绪和辅助认知康复的目的。其中，音乐早已被证明能够有效改善阿尔茨海默病患者的负面情绪，并能缓解其认知和行为问题，因此音乐作为听觉刺激是较为基础的干预辅助方式[5]。此外，视觉和听觉刺激的组合也较为常见，例如，Huldtgren等[6]借助嵌入式传感技术设计制作了一款交互式书籍，见图1a，用户在浏览书页图像的同时能够通过翻页、触摸、按压等简单的手势来触发对应的声音和音乐。该设计被运用于对老年痴呆患者的回忆疗法中，被证明能够有效唤起患者的回忆，诱发他们进行更多的自主行为（如自主阅读、交流谈话等）。近年来，研究人员又开始着眼于探索触觉刺激对老年群体的影响和干预效果。Schelle等[7]设计了一款触觉枕头，见图1b，用户抚摸、轻拍枕头等动作能够触发不同的触觉振动反馈模式，该设计旨在通过一种有趣的交互方式来鼓励老年痴呆患者与其家人进行交流，在产品测试中五分之三的患者被观察到更乐意主动与家人进行交谈和肢体接触。

1.2 多感官可穿戴设备

除了常规的交互产品形式之外，基于可穿戴设备形式的多感官设计研究也已广泛存在。香港理工大学的Kim等[8]设计开发了一系列适老化交互式纺织品，见图1c、图1d，由聚合物光纤材料织物（POF）和集成的传感器制作而成，通过提供视觉、触觉感官刺激来提示行动不便的老人适时进行锻炼。另外，干预类医疗设备面临的一个障碍就是老年患者的抵触、恐慌心理，因此Yamazaki等[9]提出有必要开发更加轻便、更宜人的可穿戴设备。他们所开发的音乐振动设备能够为患者提供声学振动刺激，可应用于日常场景来缓解患者的紧张和疼痛。可穿戴形式的多感官交互设备有其便捷性——不依赖于环境和专业医护人员的全程参与，仅仅穿戴在患者身上就能提供辅助，因此具有更大的发展前景和应用潜力[10]。

图1 多感官交互设计

1.3 多感官应用趋势分析

众多研究已表明，多感官设计在老年医疗护理中的应用正逐步增多，对老年人的精神行为及心理状态有较为积极的改善。在对阿尔茨海默病老年患者的交互设计中，触觉的介入可以通过多感官的刺激增强多维度的体验及系统的交互性。但由于触觉技术具有一定的复杂性，过去的多感官研究通常以视觉和听觉刺激作为主导手段，与触觉等其他感官刺激的组合应用实例还较少，基于多感官的系统性交互设计案例较为匮乏。因此，触觉结合视、听觉在老年护理中的交互设计产品开发还有待进一步探索和验证。

2 面向阿尔茨海默病患者的多感官交互原型构建

2.1 听–触觉交互原型构建

2.1.1 基于感知替换理论的听觉与触觉转换方法

在听觉和触觉的感官层面，针对老年人听力下降的问题，基于感知替换理论研究创建了一种能够将音乐转化为振动的算法[11]，来增强阿尔茨海默病患者对音乐的感知。感知替换理论即在两种不同的模态之间建立特征映射关系，从而通过替代模态表达原始模态。在音乐的诸多特征中，音强可以通过触觉的振动感知强度被重新构建[12]，该种转换方式能够反映音乐节奏的变化，从而增进听众对音乐的感知和理解，特征图解见图2。通过将音强特征转换为振动强度特征的方法来开发原型，可以控制触觉刺激模式的变化，进而重构音乐的节奏信息。

图2 感知替换特征解析

2.1.2 触觉振动原型架构

触觉振动原型的硬件端是基于Arduino的微控制器系统和振动电机，软件端是基于p5.js的网页程序。听觉和触觉两种模态之间的转换过程见图3，网页端可将获取到的音乐振幅值提取出来后传输给主控制器，主控制器会对信号作进一步分析，将音乐振幅数据与电机振动的不同强度和数量相对应，完成对应关系转换后，Arduino平台再给振动电机发送PWM信号从而驱使电机振动。原型结构本质上是将音乐的振幅值转换为PWM信号发送给电机，最终反映到电机的振动强度和振动数量上，当音乐振幅值低时，只有一个电机振动，随着振幅增强，则有更多的电机依次振动，该结构旨在通过振动触觉刺激帮助阿尔茨海默病患者感知音乐的节奏变化。

2.2 听-视觉交互原型构建

2.2.1 基于通感原理的听觉与视觉映射构建方法

在听觉和视觉的感官层面，基于通感原理构建听觉和视觉的映射关系，进行音乐可视化的视听映射设计。对于通感，浅层次的理解可将其看作是以一种感觉为引导去体验和理解另一种感觉的过程，而更深层次的理解则将其表述为一种由外界刺激所产生的多感官映射的认知现象，视觉和听觉的感觉域可以在不同层次的相互转换和映射中构建通感体验[13]。Miller等[14]的研究构建了音乐符号可视化设计的结构化方法，方法具体为：第一步将音乐进行特征提取，第二步将音乐特征进行数据转化，第三步将音乐特征的数值进行视觉映射，对应格式塔原则和视觉要素，第四步构建视觉结构设计，第五步输出给用户。通过该方法构建听–视觉交互原型，将音乐特征转化为视觉特征，表达出符合阿尔茨海默病老人情感认知的音乐内涵，提升音乐体验。

2.2.2 音乐可视化设计原型架构

在音乐听–触觉融合的基础上，结合视觉感官刺激可以帮助阿尔茨海默病患者更好地感受音乐。依据布鲁夏（Brucha）[15]理论，音乐的体验层次可以分为：前音乐层、音乐层和外音乐层。振动触觉可以有效增强前音乐层和音乐层的体验，而视觉可以更好地表达外音乐层的特征。本设计中的听觉和视觉映射转化见图4。第一步：对音乐特征进行分析，在三个音乐体验层级上获得不同的音乐物理及语义情感特征。第二步：提取特征的具体数值或元素，例如歌词语意特征及音乐振幅数据等。第三步和第四步将提取出的音乐特征数值或元素进行特征映射和视觉设计。最后一步进行实验原型输出，获取用户反馈。利用通感映射，可以获取音乐视觉感知的关键要素，实现音乐可视化表达。

图3 听觉和触觉的转换过程

图4 听觉和视觉映射转化过程

3 交互原型可用性实验

可用性实验使用了听–触觉和听–触–视觉两种多感官交互原型进行活动设计和验证，以探索在听觉单感官的基础上，多感官交互在认知、情绪和行为层面对老年患者的改善效果。实验一通过设定振动位置、音乐类型等变量进行比较分析，验证振动触觉的有效性。实验二在听–触觉的基础上，加入视觉感官要素，验证听–触–视觉三种感官融合的有效性。

3.1 听–触觉的多感官实验

3.1.1 实验设计方法

1）实验目的：通过比较穿戴音乐振动设备与不穿戴两种干预情况，分析听－触觉交互原型对实验被试者在认知、情绪、行为三层面的改善效果；比较三种佩戴于手腕、脚腕与指尖的原型设备和舒缓型、节奏型与怀旧型音乐三种音乐类型，得出适于穿戴振动设备的身体部位和适于播放的音乐类型。

2）实验对象：选取从长沙市永济养老院挑选出的8名身体状况相近、听、触觉感知均正常的阿尔茨海默病患者（其中包括5名女性，3名男性，年龄均在75岁以上），提前为老年被试者讲解实验注意事项并邀请其填写用户知情同意书。将8名老年被试者进行编号并随机分成4组，1、5号为手腕振动组，2、8号为脚腕振动组，3、6号为手指振动组，4、7号为无振动对照组。

3）评估方法：采取定性与定量结合的评估方法。量化指标包括测试量表和生物生理信号收集，定性指标包括实验前后访谈和实验期间对参与者的观察。评估层面分为以下几点：在认知层面，使用简易智力状态检查量表即MMSE量表对实验前后被试者的认知进行评估；在情绪层面，采用GDS老年抑郁筛查量表衡量被试者的抑郁症状和情绪状态，运用摄像机观察记录被试者的面部表情，并使用BITalino心率检测套装收集心电信号ECG；在行为层面，运用摄像机全程记录被试者的身体动作和言语交流，并用ATLAS.ti进行视频定性分析。

3.1.2 实验过程

在正式体验振动设备前，阿尔茨海默病患者需要先完成MMSE量表与GDS抑郁量表的评测，由于阿尔茨海默病老年患者的读写能力不足以独立完成问卷，因此两份量表均通过研究人员口头询问老人并现场记录答案的方式完成。房间布局被设定为允许护工坐在被试者身边，以便缓解其紧张情绪。

接着为老年被试者依次佩戴心率检测设备与音乐振动设备，图5所示为三种不同类型的可穿戴原型，分别穿戴于手腕、指尖、脚腕。在佩戴完成后，要求被试者静坐放松两分钟以保持心率平稳；接下来依次为被试者播放舒缓型音乐、快节奏音乐与怀旧型音乐，被试者可随着音乐自然地进行反应；每听完一段音乐，都有两分钟的休息时间。在依次感受完三段音乐后，阿尔茨海默病患者再次在研究人员的询问下完成MMSE量表与GDS抑郁量表，最后询问被试者对音乐振动干预过程的体验性评价。

3.1.3 实验数据分析

通过对实验前后量表数据的对比分析和视频定性分析，对应生理指标数据从生理认知、情绪变化和主动行为三个维度来评估被试者的状态变化，并通过半结构化访谈获取被试者的态度和评价，其中2号老人因为实验中途退出导致2号数据缺失。

在认知层面上，绝大多数被试者对音乐振动可穿戴设备持可接受的态度，并且他们能感受到触觉刺激模式是随着音乐变化的。对比实验前后四组被试者的MMSE认知量表（根据MMSE痴呆严重程度进行分级：≥21分为轻度；10～20分为中度；≤9分为重度）总得分情况，见图6a，在音乐与触觉多感官活动后，各组被试者的MMSE认知量表得分均有不同程度的提高，且佩戴在手指部位的老人比无振动对照组的老人得分的提高更为明显。

在情绪层面上，通过对实验前后GDS抑郁量表（根据抑郁程度分级：0～10分可视为正常范围，11～20分为轻度抑郁，21～30分为中重度抑郁）的得分进行对比，见图6b，可知实验对85.7%的老年被试者有效果，在音乐与触觉多感官活动后，老年人的抑郁评分有所下降，说明老人们在活动后对某些问题的想法变得更加积极。根据视频分析，佩戴了多感官交互装置的被试者在感受触觉和音乐刺激的过程中微笑、开心等积极的面部情绪频次增多。心率也是常见的反映人们情绪变化的定量生理指标之一[16]，在实验中发现有6名老年患者的心率都出现了不同程度的增加，并且心率增速均在10%以上。以上指标表明，所设计的多感官交互原型能够提供令人愉悦的刺激。

图5 不同部位的穿戴设备

Fig.5 Wearing devices for different parts

在行为层面上，对实验期间所录制的被试者全身视频进行分析，可以总结出阿尔茨海默病老人在接受干预期间出现的八种典型行为动作，以及被试者在倾听舒缓型、节奏型与怀旧型三段音乐下的动作持续时长见图6c，可见被试者在接受干预的过程中多次出现如手部、脚部打节拍、头部点动等节奏性行为，且老人在指尖部位佩戴交互原型时，会表现出更为丰富的手部动作，包括食指点动和手部摩擦等，验证了该

交互装置能够有效刺激阿尔茨海默病患者主动行为的发生。在测试的三种音乐类型中，发现怀旧型歌曲可以引起被试者的主动跟唱，说明熟悉的歌曲能够进一步唤起、激发被试者的积极情绪和主动行为。

3.1.4 实验结论

1）在听–触觉多感官交互实验后，老人在认知和情绪层面较实验前均有所提高；被试者穿戴音乐振动设备相对于单纯音乐聆听在认知层面的表现有明显提高；被试者在行为层面表现出八种典型行为动作。

2）手指部位的振动触觉刺激能激发阿尔茨海默病患者更丰富的手部活动，在医学上被证明有助于促进患者的脑部活动[17]，因此指尖可穿戴设备是更为适宜的多感官交互设备形式。

3）怀旧型音乐相比较其他音乐形式能够进一步唤起、激发被试者的积极情绪和主动行为，因此适宜选取怀旧音乐作为阿尔茨海默病患者干预体验的音乐类型。

图6 实验一结果分析

3.2 听–触–视觉的多感官实验

3.2.1 实验设计方法

1）实验目的。由实验一可知怀旧音乐与手指振动触觉结合，可以让用户增进积极情绪、提高认知能力和主动行为。实验二在听－触觉交互原型的基础上加入视觉界面交互模式，测试听–触–视觉的多感官交互原型在老人认知、情绪和行为三个层面的提升效果，同时验证指尖触发画面反馈方式的有效性。

2）实验对象：考虑到实验一的老年被试者后期身体状况不佳及疫情等原因，实验二的被试者选取了另外8名身体状况相近、听、触、视觉均正常的阿尔茨海默病患者（其中包括4名女性，4名男性，年龄均在60岁以上）。提前为老年被试者讲解实验注意事项并邀请其填写用户知情同意书。

3）评估方法：实验二仍然采取定性与定量相结合的评估方法，通过访谈、量表测试和摄像记录来评估实验前后被试者的认知、情绪及行为层面的差异。相较于实验一，实验二增加了电脑端的音乐视觉刺激，在实验过程中老人们需佩戴迭代后的指尖振动触觉可穿戴交互原型，以完成交互过程，全程运用摄像机全程记录被试者的面部表情与身体动作，并使用ATLAS.ti软件进行视频定性分析。

3.2.2 实验过程

将8名老年被试者进行随机编号，实验前帮助被试者填写MMSE认知量表和GDS抑郁量表。实验中帮助老人佩戴指尖可穿戴设备，然后聆听怀旧类型歌曲《浏阳河》，并观看音乐可视化视频。老人可以通过手指的接触点动等动作触发产生相应的画面，与视觉内容进行互动，被试者的测试画面见图7。音乐结束后，询问被试者对音乐交互过程的理解和感受，并填写老年认知及抑郁量表。

3.2.3 实验数据分析

在认知层面上，通过MMSE认知量表进行实验前后的测量，得分情况前后对比见图8a，可知实验对75%的老年被试者有效果，被试者的认知量表得分都有不同程度的提高，说明音乐、振动、视觉结合的干预手段对提高阿尔茨海默病患者的认知能力具有有效性。在情绪层面上，实验前后的GDS抑郁量表得分对比见图8b，可知实验对87.5%的老年被试者有效果，被试者的抑郁量表得分都有不同程度的下降，说明经过音乐视觉交互活动后，老人对日常生活问题的主观体验更加积极。老人面部表情以微笑、大笑等积极情绪为主，可见被试者在情绪上有了很好的改善，说明多感官的融合对轻度认知障碍老年人的主观情绪体验有一定的效果。

图7 被试者观看音乐可视化视频

Fig.7 Subject watching the music visualization video

图8 实验二结果分析

在行为层面上，实验二根据被试者的活动部位和形式对动作和语言进行了分类，动作与时长统计见图8c。可见被试者的行为类型较实验一中的八种典型动作明显增加了言语互动和交流行为，他们会主动讲述自己点击后出现的图像，会谈论歌曲产生的背景，说明添加视觉图像有效激发了老人对音乐内容的思维和言语行为。不同手指的点动仍是主要的活动方式，说明可交互的音乐可视化设计增加了不同手指的活动机会，提高了手部行为的发生概率和主动性。

3.2.4 实验结论

1）音乐、振动、视觉结合的多感官干预手段对阿尔茨海默病患者的认知能力和情绪体验有很好的改善效果，证明了三种感官形式结合的有效性。

2）听–触–视觉的多感官融合交互体验可以进一步促进用户语言交流和主动行为的产生，提高用户的音乐互动性。

3）手指点动触发相应画面的动态反馈模式，利于患者接收视觉反馈，同时增加了手部动作的主动性。

4 多感官交互产品设计

研究基于听–触及听–触–视觉的实验结论，进行音乐特征可视化和可触化设计，为阿尔茨海默病患者设计了一款多感官交互产品——指尖钢琴，搭配可穿戴设备硬件及软件控制端，产品使用框架见图9。

图9 音乐治疗产品使用框架

4.1 硬件端及使用场景

硬件端为可穿戴手套形态，外观设计见图10a，使用过程见图10b，首先由护工或家人为用户佩戴交互手套，之后在手机端或者浏览器端选择播放曲目。可穿戴手套的反馈模式有两种，模式一通过振动和LED灯光进行实时反馈提示，用户能在欣赏音乐时感受到触觉模式的刺激，同时按照指尖端LED灯的提示敲击桌面，即可弹奏出相应的音符。模式二通过连接软件端，进行视觉画面的动效反馈，将音乐的振幅实时转换为包含不同强度和数量的触觉模式，以反映音乐节奏的变化并触发相应画面。阿尔茨海默病老人还可以与同伴一起使用指尖钢琴，在聆听同一首歌曲的情况下敲击音符。硬件端以触觉和听觉为主，触听同步，以视觉为辅，创造了阿尔茨海默病患者干预辅助设备的交互新模式。不仅能够用于音乐疗法中辅助阿尔茨海默病患者参与医疗干预，也可作为日常娱乐放松和陶冶情操的休闲产品。

4.2 软件端及使用场景

软件端以《浏阳河》为例通过processing软件进行音乐可视化的核心功能设计，构建了三个音乐场景，使用场景见图11。动态视觉画面元素（如雨点大小、河流水位等）与音乐节奏和响度等音乐参数分别建立视觉映射关系，随着音乐的播放出现相应的视觉特征变化。用户在穿戴手套后用手指进行点击，可触发不同的交互画面元素，控制画面的雨点大小及水位高低等，从而呈现出动态的多层次场景，让用户主动进行故事场景的发现与构建，实现视觉、听觉、触觉的多感官交互性音乐体验。

图10 硬件端外观与使用场景

图11 软件端使用场景

5 结语

面对老龄化这样一个综合的社会问题，设计学科逐渐发展出以老人为对象的包容性设计理念，失智老年群体更是备受关注[18]。新型的可穿戴音乐多感官交互设计旨在通过新颖的交互形式和多通道刺激来激发阿尔茨海默病患者的主动行为，改善其情绪，以达到减缓患者症状的目的。实地用户研究及两次原型实验表明，所开发的原型易于穿戴使用，老年患者的认知、情绪、行为层面均有所改善，怀旧型音乐可以帮助阿尔茨海默病患者进行情绪唤醒，听–触–视觉多感官结合的方式可以很好地激发老年患者的音乐讨论和动作主动性。此次短期干预实验对设计原型的可用性进行了初步证明，后期将对可穿戴设计原型进行迭代优化，寻找更多实验被试者进行设计的可用性分析，同时对适用于阿尔茨海默病患者的音乐类型及曲目进行更广泛深入的探索，进一步验证音乐、触觉和视觉对阿尔茨海默病患者的长期性影响。

[1] 马善新, 宋鲁平. 阿尔茨海默病康复管理中国专家共识要点解读[J]. 中国医刊, 2020, 55(8): 833-840. MA Shan-xin, SONG Lu-ping. Interpretation of China Expert Consensus on Rehabilitation Management of Alzheimer's Disease[J]. Chinese Journal of Medicine, 2020, 55(8): 833-840.

[2] 李晨萌, 时晶, 魏明清, 等. 阿尔茨海默病精神行为症状分布特点(附216例报告)[J]. 北京医学, 2020, 42(5): 366-369. LI Chen-meng, SHI Jing, WEI Ming-qing, et al. Distribution Characteristics of Mental and Behavioral Symptoms of Alzheimer's Disease (Report of 216 Cases)[J]. Beijing Medical Journal, 2020, 42(5): 366-369.

[3] BENDER M P, CHESTON R. Inhabitants of a Lost Kingdom: A Model of the Subjective Experiences of Dementia[J]. Ageing and Society, 1997, 17(5): 513-532.

[4] SÁNCHEZ A, MASEDA A, MARANTE-MOAR M P, et al. Comparing the Effects of Multisensory Stimulation and Individualized Music Sessions on Elderly People with Severe Dementia: A Randomized Controlled Trial[J]. Journal of Alzheimer’s Disease: JAD, 2016, 52(1): 303-315.

[5] 王宏超, 张奇. 音乐干预改善阿尔茨海默症自传体记忆障碍的效果[J]. 中国心理卫生杂志, 2020, 34(6): 482-486. WANG Hong-chao, ZHANG Qi. A Review of Effect of Music Intervention on Improving Autobiographical Memory Impairment in Patients with Alzheimer Disease[J]. Chinese Mental Health Journal, 2020, 34(6): 482-486.

[6] HULDTGREN A, MERTL F, VORMANN A, et al. Reminiscence of People with Dementia Mediated by Multimedia Artifacts[J]. Interacting With Computers, 2017, 29(5): 679-696.

[7] SCHELLE K J, NARANJO C G, TEN BHÖMER M, et al. Tactile Dialogues: Personalization of Vibrotactile Behavior to Trigger Interpersonal Communication[C]. Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction. Stanford, California, USA. New York: ACM, 2015: 637-642.

[8] KIM H Y, Tan J, Toomey A. Co-designing interactive textile for multisensory environments(Conference Paper)[J]. Advances in Intelligent Systems and Computing, 2019, Vol.849: 205-211.

[9] YAMAZAKI Y, MITAKE H, HASEGAWA S. Tension-Based Wearable Vibroacoustic Device for Music Appreciation[C]. Bello F, Kajimoto H, Visell Y. International Conference on Human Haptic Sensing and Touch Enabled Computer Applications. Cham: Springer, 2016: 273-283.

[10] 孙效华, 冯泽西. 可穿戴设备交互设计研究[J]. 装饰, 2014(2): 28-33. SUN Xiao-hua, FENG Ze-xi. Research on Interactive Design of Wearable Devices[J]. Art & Design, 2014(2): 28-33.

[11] KARAM M, RUSSO F A, FELS D I. Designing the Model Human Cochlea: An Ambient Crossmodal Audio-Tactile Display[J]. IEEE Transactions on Haptics, 2009, 2(3): 160-169.

[12] FLORIAN H, MOCANU A, VLASIN C, et al. Deaf People Feeling Music Rhythm by Using a Sensing and Actuating Device[J]. Sensors and Actuators A: Physical, 2017, 267: 431-442.

[13] Wang, WZ (Wang, Weizhen); Nagai, Y (Nagai, Yukari); Fang, Y (Fang, Yuan); Maekawa, M (Maekawa, Masami). Interactive technology embedded in fashion emotional design: Case study on interactive clothing for couples (Article)[J]. International Journal of Clothing Science and Technology, 2018, Vol.30(3): 302-319

[14] MILLER M, HÄUßLER J, KRAUS M, et al. Analyzing Visual Mappings of Traditional and Alternative Music Notation[EB/OL]. https://arxiv. org/abs/1810.10814.

[15] BRUSCIA K E, Standards of Integrity for Qualitative Music Therapy Research[J].Journal of music therapy, 1998, Vol.35(3): 176-200.

[16] 张晓敏, 尹爱青. 音乐诱发情绪的测量方式研究[J]. 中央音乐学院学报, 2017(1): 136-149. ZHANG Xiao-min, YIN Ai-qing. Research on the Meas­urement Method of Music-Induced Emotion[J]. Journal of the Central Conservatory of Music, 2017(1): 136-149.

[17] TREADAWAY C, TAYLOR A, FENNELL J. Compassionate Design for Dementia Care[J]. International Journal of Design Creativity and Innovation, 2019, 7(3): 144-157.

[18] 胡飞, 张曦. 为老龄化而设计: 1945年以来涉及老年人的设计理念之生发与流变[J]. 南京艺术学院学报(美术与设计), 2017(6): 33-44, 235. HU Fei, ZHANG Xi. Design for Aging: Development and Evolution of the Design Concept Involving the Elderly since 1945[J]. Journal of Nanjing Arts Institute (Fine Arts & Design), 2017(6): 33-44, 235.

Design of Smart Wearable Products for the Elderly of Alzheimer's Disease Based on Multi-sensory Interaction

OU Jing1, TAN Yu1, FANG Ying-jie1, KANG Qing-chun1, XU Ying2

(1.Hunan University, Changsha 410012, China; 2.Hunan University of Chinese Medicine, Changsha 410208, China)

The work aims to investigate the involvement of auditory, tactile and visual multi-sensory stimuli in the care of the elderly with Alzheimer's disease, to enhance their perception of music with the help of smart hardware and software technologies, and to design a smart wearable product for the elderly with multi-sensory interaction. Based on the principles of perceptual substitution and empathy, a sensory substitution method was created to transform music into vibratory and visual information. And experimental tests were conducted to verify the feasibility of the auditory-tactile and the auditory-tactile-visual multi-sensory interaction prototypes. Adding visual design based on the integration of auditory-tactile senses can better stimulate the speech behavior ability of the elderly. A fingertip vibrating music wearable device, the Fingertip Piano, was designed based on the result of analysis on feedback from the subjects to promote active behavior by providing a multi-sensory experience that integrates touch, hearing and vision. The design of the multi-sensory interactive product is effective in improving the mood and active behavior of Alzheimer's patients and has positive implications for the physical health and living quality of elderly patients.

Alzheimer's disease; multi-sensory interaction; sensory substitution; vibratory tactile; wearable design

TB472

A

1001-3563(2023)10-0116-09

10.19554/j.cnki.1001-3563.2023.10.011

2022–12–13

教育部人文社会科学研究项目（21YJC760056）；湖南省普通高等学校教学改革研究项目（HNJG-2020-0093）

欧静（1981—），女，博士，副教授，主要研究方向为工业设计人机工程学、智能交互硬件及产品开发、智能可穿戴设计及智能装备等。

责任编辑：马梦遥