基于情绪驱动的适老性智慧家居方案研究

2023-09-05穆明鑫梁家振姜大志

汕头大学学报（自然科学版） 2023年3期

穆明鑫，梁家振，姜大志*

（1.中国移动通信集团江苏有限公司，江苏南京 210000；2.汕头大学计算机系，广东汕头 515063）

1 引言

人口老龄化是影响着一个国家长期经济增长动力的关键变量，也是影响21 世纪大国竞争的重要因素之一.在2021 年5 月，国家统计局公布了第七次全国人口普查结果，预计1962-1976 年婴儿潮人口在未来5-10 年进入老龄化，2033 年左右进入老年人占比超过20%的超级老龄化社会，此后持续攀升至2060 年的35%[1].

由于我国老龄化人群数量不断增加，占比不断提升，老龄化人群的养老问题也受到越来越多的关注和重视[2].尤其是在2021 年国家卫生健康委召开例行新闻发布会上，国家卫生健康委老龄健康司司长表示，我国老年人大多数都将在居家和社区养老，形成“9073”的格局，即90%左右的老年人都在居家养老，7%左右的老年人依托社区支持养老，3%的老年人入住机构养老[3].因此，提供医养结合服务的重点应该放在居家养老中.

于是，如何设计一个科学、高效、高质量的居家养老方案成为学者们研究探讨的重点问题.然而，想要解决这个问题需要具体问题具体分析，针对不同情况的老龄化人群来进行不同的赡养标准的分类，保证社会养老资源分配平衡、利用合理，同时也能保证每一个老年人都能得到科学的，正确的赡养[4].

比起生理上的退化，高龄人群精神上的空虚同样值得重视[5].本文基于人口老龄化的现实背景，从理论分析出发，探索一种基于多模态情绪感知的适老性智能家庭解决方案，减少高龄人群无助、孤独、失落等负面情绪，满足他们的心理情绪需求，让高龄人群能更加积极健康的生活，助力更好地实现对高龄人群体赋能和赋值.研究结果将对智能型、服务型机器人的设计和互联网智慧居家养老平台的研发提供有益的参考.

本文的主要贡献如下：

（1）基于老年用户心理特征全面分析，深入老年人随着年龄增长的心理变化和对方案设计的指导作用.提出基于智慧大屏作为核心控制中心的智慧、安全的家居架构设计，凭借智慧大屏的显示和交互能力的提升，令家居控制功能变得更智能，实现发现、连接、状态显示以及设备控制的一体化操作.

（2）本文通过构建一个多模态情绪识别的模型，对老年用户的情绪历时进行定性定量分析，聚焦于老年用户在日常生活中心理特征的负面变化，并及时做出反馈，引导老年人的心理往积极向上的方向前进.

（3）本文探讨了情绪反馈的设计，在结合不同场景下和老年人的情绪波动变化后，设计出智慧家居的动态反馈.

2 研究现状

智慧家居为养老模式提供新思路、新手段.智慧家居的定义最早被提出是在20 世纪80 年代，当时家电市场上出现了大量的电器产品，初期的智能单品住宅开始形成. 后来，随着技术的发展，民用住宅进一步提高了住宅的智能性，开始实现家用电子设备和通信设备的服务整体化.80 年代后期，随着信息技术的发展和互联网技术的兴起，美国一些商用企业开始尝试家用信息设备，将智能电器和监控设备通过电缆终端集成，实现家庭的统一智能管理，这就是智能家居的开端[6].

随着现今大数据时代的到来以及5G 网络和人工智能的发展，智慧家居这一概念也在得到普及与加强.5G 技术带来的智慧医疗、远程医疗、智能看护等一系列技术能为未来居家医疗的巨大压力问题提供帮助.在这大背景下，以人工智能、云计算、物联网等为代表的互联网技术将带动智慧家居产业向高智能化、高创新化方向迅速迈进，将新一代信息技术产品集成应用于助老机器人的内部构造，促进科技成果转化，为老年人提供安全、便捷、舒适的服务，这是养老服务产业的一种创新模式[7].

目前，人们对使用创新技术和人工智能使智能家居技术支持老年人在自己的家中独自生活越来越感兴趣[8].石元伍、陈旺[9]结合助行机器人，设计出满足独居老人生理需求的智能家居方案.梁非凡等[10]提出了三项老年用户智能灯具的设计原则和设计方法，为老年人提供了一个舒适的照明方案.郭弈妤等[11]针对老年人疼痛群体扩大的社会现象，提出针对老年人疼痛评估工具界面信息的可视化设计策略.Baudisch Justin 等[12]提出了一种用于智能家居环境中异常检测的学习事件序列的框架，将用户行为建模为事件序列，由家庭居民与物联网设备的交互触发.Lee Bogyeong 等[13]修改通过能量驱动采样提取的超像素算法和对高维时间传感器数据有效的分层聚类方法，开发了无监督数据分割过程，为通过高维传感器数据有效评估日常生活习惯提供了方法学上的进步，并支持智能家居技术的引入，使老年人能够通过这门技术安全地独自生活.Chang Soojung 等[14]总结了影响智能家居采用因素的可持续性价值，提高对智能家居应用过程的总体理解，并为用户对智能家居的性能条件、功能特征、服务操作和质量的认知提供参考资料.Senthil Prabu Ramalingam 和Prabhakar Karthikeyan Shanmugam[15]介绍了一个具有RES 功能和适应性的家庭能源管理系统，以及一个用于设计和实施需求响应程序的储能装置用于优化家庭能源环境的能耗成本.Ghosh Soumyajit 等[16]提出非侵入性负载监测应用在住宅设备的识别和监控上，进一步的提高了家庭能源管理能力，降低耗能成本.

从以往的研究中发现，大部分研究者设计的适老性智慧家居通常都是从生理、行为、安全、技术或者造价成本方面出发的，而很少会考虑到老龄人的情绪.因此，本文希望将情绪识别和情绪反馈融入到智慧家居的设计中去，设计出真正符合老年用户情绪和生理需求的智能家居产品，并以此加快适老性智慧家居的实现进程.

3 方案设计

3.1 需求分析

老年人生理系统的老化对生活造成了一定程度的影响，加之随着科技的进步，智能设备和互联网产品充斥着我们的生活，他们不得不接受一些新奇的事物，让老年人有时会感到力不从心.另一方面，老年群体的生活水平提高，独立生活能力增强，悦己心理逐渐凸显，追求更高的生活品质，尤其是精神层面的情绪需求.为满足居家老年人的情绪需求，智能家居的设计在实现基本功能的基础上还应该考虑情绪驱动设计，使其及时满足老年人的情绪反馈需求，需求分析如下：

（1）智能家居系统可以通过传感器采集老年人的生理信息、面部表情和语音信息，再将这些蕴含着老年人情绪特征的信息作预处理后，通过多模态情绪识别模型时刻监测老年人的情绪状态；

（2）在监测到老年人产生负面情绪状态时，智能家居系统应当要主动做出心理辅导、娱乐倡议等反馈，及时安抚老年人的心理情绪；

（3）在监测到老年人产生负面情绪状态时，原因有可能是室内温度和光线强度不适宜老年人的习惯.所以，智能家居系统应当根据传感器中采集的室内温度、光线数据，根据老年人的具体习惯做出相对应的调整；

（4）子女可以通过APP 端查看老年人居家时的情绪状态，当老年人的情绪状态过于负面时，智能家居系统应当及时通知子女.

3.2 总体架构

智能家居和传统家居的区别在于智能家居使用数字技术来控制和管理家庭设备和系统，而传统家居则依赖于人工控制和操作，对于高龄人群来说，复杂的传统家居方式在操作上并不友好.

本文设计的基于情绪驱动的适老性智慧家居方案由手环端、移动端以及服务器端和智能家电组成，并采用了操作简单，字体偏大的老年人友好型关怀界面的智慧大屏作为老年人与系统交互的核心，智慧大屏是一种创新和可扩展的智能电视进化形态，是一种由人工智能和物联网等新兴技术提供动力的交互式智能家庭终端.

基于提供高质量的视频和音频娱乐功能，智能大屏幕可以通过AI、IoT 等新兴技术实现多模态自然交互、互联能力和智慧家居控制等功能，提供更个性化的使用体验，构建家庭智慧中心.在本文的方案中，智慧大屏是采集数据、展示数据以及提供智慧控制功能的核心终端.智慧大屏内置多种传感器，包括温湿度探测仪、空气质量探测仪、摄像头和声音采集传感器等，通过这些传感器，它可以采集老年人居家时刻的面部表情信息、语音特征信息、环境信息等作为识别老年人情绪的重要特征信息.除此之外，智慧大屏外连智能家电，能通过触屏详细控制智能家电的使用，还可以实时展示动态情绪变化信息以及发邮件、微信聊天和网购服务等常用移动端功能.

智能手环端，通过WIFI 将采集的心率和体温等生理信息上传到信息处理中心中，结合传感器端采集的信息共同识别老年人居家时的情绪变化.移动端主要是用手机移动端中的APP，在客户端可以通过API 接口实时获取老年人的情绪数据，以及远程操控智能家电.

服务器端主要包括两个，一个是在室内的信息处理中心，它负责的功能是将采集的数据做降噪整合等处理，然后通过5G 网络实现数据的云存储. 大数据智能分析服务器接收从信息处理中心传递过来的特征数据，通过基于深度学习的情绪识别模型分析数据信息，得出情绪识别结论，并根据情绪识别结论下达策略指令，策略指令通过5G 网络传递回信息处理中心，信息处理中心根据指令调用智能家电（如光线改变、室温改变、情绪机器人陪伴聊天等），帮助老年人的情绪恢复积极正常. 具体架构如图1所示.

图1 架构方案图

3.3 基于5G 的通信设计

5G 是第五代通信技术，其超高速率、极大容量、超低延时等优势支撑着海量设备互联和人与设备之间的真正连接，使更多硬件能够连接传感器以实现快速的数据处理和智能操控[17].

智慧家庭控制系统需要利用多个传感器将相互孤立的信息连接起来，而4G 网络下设备交换信息传输间的延时问题一直是智能家居的短板，而5G 技术的超高速传输和低延迟为智慧家庭的设计带来新的可能性[18].

通过5G 技术，老年人无论在室内走到哪里，智慧家庭都能有效地感知，并随着老人的指令做出适合他们需求的控制，以及能做到及时断开设施设备，防止资源浪费.

3.4 多模态信息采集

随着传感器技术的不断进步和5G 新一代数字技术的发展，传感器的数据信息传输速率不足以及各类传感器终端连接数量有限的缺陷被打破[19]，为多模态情绪感知技术与智能家居系统的结合提供了新的可能性.如图2 所示，本方案将通过各类传感器采取多模态信息，并以此作为情绪识别的特征信息处理.并且，本方案通过文献研究与归纳，梳理了各类传感器采集的信息中蕴含的情绪特征，如表1 所示.

表1 采集信息与提取的情绪识别相关特征

图2 智能家居情景下的蕴含情绪特征的信息处理

3.5 情绪分析模型

本文在情绪识别的设计上是以图像和语音为主，并添加了环境信息和生理信息作为辅助，丰富了模态上的选择，目标让情绪识别模型达到更优的数据结果.在结构设计上，本文采用了用图结点来表达特征信息，并使用Graph-Transformer 作为训练模型，具体流程如图3 所示，详细设计可见第5 节.

图3 模型流程图

4 情绪反馈的应用情景

基于情绪驱动的适老性智慧家庭的方案研究如何充分迎合老年人的情绪需求，给老年人带来积极的情绪体验，是本文研究需要解决的重点内容.因此在充分分析老年人的情绪后，智慧家居如何采取行动，这才是重点.我们根据感知到的不同情绪（正向情绪，中性情绪和负向情绪）结合老年用户所在室内位置（客厅、卫生间、厨房、卧室等）做一个综合考量，并反馈不同的处理.

4.1 客厅情绪反馈设计

一个适宜的环境是提升情绪正向性的重要因素，因此智能家居通过情绪分析模型在客厅中监测到老人负面情绪时，首先考虑启动扫地机器人完成清洁家务.同时，在客厅的智慧大屏通过实时语音对讲、播放音乐、聊天互动等功能缓解老年人的负面情绪，逐步引导到正向情绪上，实现以人为本的高品质智能家居生活新体验.

除此之外，可以通过智慧大屏控制的智能灯光照明系统，巧妙地把各种灯光的明暗变化、场景互换、电动窗帘、背景音乐的变化舞动等智能控制功能融为一体，让家居由静变动，让周边环境更适宜，从而缓解老年人的负面情绪[20].

4.2 厨房情绪反馈设计

随着老年人的时间愈发空闲，烹饪也成为老年人养老退休后的一大爱好.然而，老年人生理系统的老化对生活造成了一定程度的影响，加之智能厨房中的智能设备操作新奇，可能会让老年人有时感到力不从心.

基于情绪驱动的智能家居在厨房场景的应用中，应当考虑老年人的情绪状态，在监测到老年人在操作智能设备进行烹饪的过程中，如果监测到烦恼、排斥等负面情绪，位于厨房的智慧大屏应当及时以服务的态度、贴心的婉转提醒，引导老年人的使用，让老年人感到友好，必要时提供人性化的帮助，避免他们有不适当的联想和心理不平衡感，带领老人跨越数字鸿沟[21].

4.3 卧室情绪反馈设计

在卧室设计中的重点是提高舒适性.所以，通过老人的情绪变化动态调节卧室环境成为设计的关键点.建立基于情绪驱动的智慧家居，需要从情绪角度出发与智能家居进行互动，形成情绪共鸣. 交互是智能家居最重要的原则，智慧家居应符合用户行为习惯，提供个性化交互.

清晨时分，用户在睡梦中会被舒缓的背景音乐和轻松的闹铃声唤醒新的一天.然而，如果此时，用户的情绪被监测到不耐烦的时候，说明老年人并不希望“起床”、“闹铃响起”等事件发生.如果老年人没有早起的安排的话，这时，闹铃应当及时停止，或者使用安抚的、引人入睡的音乐代替，同时窗帘会缓缓地自动关闭.当老年人睁开眼，智慧大屏会自动感应，灯的亮度会随着老年人的情绪的变化而变化，让室内光线保持老年人最适宜的状况，也就是老年人的情绪是愉悦的状况.同样，当室内空气质量不好引起老年人情绪波动时，智慧大屏可自动激活室内的新风系统对室内空气进行循环，并根据老年人的情绪状况调整.

4.4 卫生间情绪反馈设计

智能家居中卫生间的功能，已不再是传统意义上的厕所概念，人们更加关注的是卫生间的舒适与健康.在室内设计中，可以通过老年人的情绪动态调节卫生间内部的采光和通风.

除此之外，对于大多数人来说，洗个热水澡是个不错的解压方式，同时合适的水温决定着解压的成效.智慧大屏可以通过动态检测老年人的情绪波动，从默认的水温开始，动态调节水温，直到老年人的情绪长时间保持愉悦为止，也可以通过老年人的语音命令作为直接调控，并记录此刻的水温作为下一次洗澡的默认水温.

4.5 实际场景应用分析

基于情绪驱动的适老性智能家居可以根据家庭成员的行为和需求，自动化分析家庭成员的情绪，动态控制和管理家庭设备和系统，提高家庭的舒适度、安全性和便利性.

但是，通过收集和分析家庭成员的行为来实现自动化控制，这可能会涉及到隐私问题. 智能家居的设备和系统需要联网，存在被黑客攻击和数据泄露的风险. 除此之外，智能家居的设备和系统需要联网，存在一定的故障风险和可靠性问题.

为了避免基于情绪驱动的适老性智能家居应用出现负面情况，系统应该加强隐私保护和数据安全，采取措施防止数据泄露.

5 情绪分析模型

5.1 模型框架

如图4 所示是我们提出的情绪分析模型的总体框架.由于人机语音交互和老人面部识别是机器识别老人情绪的重点，所以本文将文本模态、视觉模态和听觉模态作为关键模态，其他模态的信息则作为辅助.

图4 情绪分析模型总体框架图

整体的流程是，首先根据智慧大屏采集的特征信息将生理特征和环境特征拼接到文本特征、视觉特征和听觉特征上.然后利用多模态特征编码器对融合了生理特征和环境特征的三个模态的特征进行上下文的编码，然后将语言中一句话对应三个模态的特征和老年用户信息嵌入向量分别进行拼接来构建多模态的图的结点，之后通过构建特征结构图来进行编码，并进入Graph-Transformer 训练[22]，最后送入一个全连接层来完成情绪分类.

5.2 多模态编码器

人机交互过程中的上下文信息是十分重要的，我们通过相应的模态编码器为每个模态生成上下文感知的话语特征编码.具体而言，我们应用广泛使用的预训练模型Roberta对文本模态进行编码，对于听觉模态和视觉模态，我们应用完全连接的网络[23].老年人每个话语的上下文感知特征编码可以公式化如下：

5.3 老年用户信息嵌入

老年人的性格爱好等信息对心理特征的识别也很重要，为了对这个特征也有充分的考量，我们在特征中引入了老年人用户的嵌入信息，然后再构造图.老年人的个人信息可以用一个one-hot 向量si表示，而嵌入向量Si的具体计算公式如下所示[24]：

5.4 特征图结构

在本方案中，情绪分析是重点，而在情绪分析中，我们提出用图结构来表示多模态特征.鉴于人机对话是适老性智慧家居中的重要组成部分，因此以对话为例，本文特构建一个有向图来模拟人机交互中话语之间的相互作用.

首先，定义图G＝（V，E，R，A），其中表示vi∈V 表示一个话语结点，r∈R 表示边的类型.ei，j＝（vi，r，vj）表示两个节点i 和j 之间的边，ai，j∈A 表示ei，j的边属性.

（1）结点：对于一个话语un，本文采取通过多模态编码器处理过后的特征向量和这句话对应的老年人信息的嵌入向量的拼接作为节点表示，每个模态可以分别表示为：

（2）边类型：我们设计了精细的关系模型，从而可以模拟老年人用户在人机交互过程中的行为和意图.由于老年人的话语可能出现含糊不清的情况，所以可能需要重复语音命令.鉴于过去的话语可以引导当前话语的行动，而未来话语可以用来预测意图.因此，对于局部时间内的两个话语ui和uj，由于他们共享一个说话对象——智慧家居机器人，这意味着在局部时间内的同一对话中，老年用户的意图信息会从ui传递到uj，我们将正向传递的信息称为引导信息，关系表示为xWant.同时，当信息反向时，即意图信息从uj传递到ui时，表示可以揣摩在ui状态下的意图，我们称反向传递的信息为揣摩信息，定义为xSpeculate.此外，老年人的当前话语本身对自己的情绪变化也是有一定的影响的，所以一个话语可以是自连接的关系，自影响关系记为xEffect.

（3）边：一条在两个话语之间节点vi和vj之间的边定义为ei，j＝（vi，r，vj）.本文认为话语对语境话语的影响是局部有效的.因此，本文将属于同一对话中同一模态的结点连接一条边作为上下文信息建模，而将同一对话同一语句不同模态的结点连接作为不同模态的信息相互补充建模.

（4）边属性：与以往工作（只给边赋一个权重）不同，我们引入常识知识来丰富具有不同关系的边.幸运的是，常识转换器COMET 模型可以为我们所有关系提供这样的功能[25].我们利用ATOMIC（一个基于if-Then 推理知识库）训练COMET模型. 我们以COMET 的输入格式连接un和一个带有掩码标记的关系，然后COMET 处理输入.

5.5 Graph-Transformer 训练

我们利用L-layer Grapr-Transformer 来在图中传播上下文相关性信息、心理信息和不同模态之间的信息互补.

我们为每个话语节点vi∈V 表示为更新为：

其中N（i）是与目标节点i 相连的源节点集合，mj为这些节点传递的信息，ai，j为注意评分，βi为残差连接[26]的门操作，Ws为映射权重参数值.

5.6 情绪分类器

我们利用一个线性层作为预测情绪分类的分类器：

然后利用交叉熵损失函数[27]来训练这个模型，计算方式如下：

其中，yi是一个one-hot vector 表示第i 个话语的情绪向量，e 是每个情绪向量的维度表示.

6 安全性设计

智能家居应用场景的特殊性，其安全问题不容忽视，一旦出现问题，不仅会泄露用户家庭住址、用户视频影像、谈话内容等隐私信息，还可能造成经济与人身安全威胁，其中尤为突出的安全终端有智能门锁、摄像头、音箱、电视机、家庭网关等诸多终端设备.存在诸如门锁被远程开启，远程控制摄像头，远程控制音箱、控制家庭网关盗取用户银行账号密码以及HTTP 请求非法篡改显示非法视频图片内容，收集家人声音信息等网络与信息安全风险.

智能家居安全防护主要从服务云端、设备终端、手机控制APP、通信协议四个方面加强：

服务云端：确保安全的身份验证和访问控制，采取Web 防护措施并定期进行漏洞扫描和渗透测试，对敏感信息进行加密存储和备份修复.

设备终端：设计安全的身份验证和访问控制，对固件进行加固和混淆，进行软件开发和测试并默认关闭不必要的服务和端口.

手机控制APP：设计安全的身份验证和访问控制，加强身份验证，及时关注官方升级公告，必须从正规官方下载地址下载升级包.

通信协议：采取安全的加密算法和通信协议，加强认证过程，防止越权获取用户隐私信息，并采取防止重放攻击的措施.

在云端、设备终端、手机控制APP 和通信协议中，对于敏感信息如用户密码等需要进行加密存储，以避免用户隐私泄露.同时，定期进行已知漏洞扫描和渗透攻击工作，以及默认关闭不必要的服务和端口也可以提高安全性.在通信协议方面，使用成熟且安全强度较高的通信协议也能够防止协议被破解.

综上所述，本文采取多重安全措施充分提高了云端、设备终端、手机控制APP 和通信协议的安全性，足以保护用户的隐私和数据安全.