数字孪生技术在社区老年人安全健康监测领域的应用探究

张捷，钱虹，周宏远

1 上海中侨职业技术学院 护理与健康学院，上海市，201514

2 上海市食品药品监督管理局认证审评中心，上海市，200020

3 上海中侨健康智能科技有限公司，上海市，201203

0 引言

随着人口老龄化的日益严重，老年人在社区中的人口比重越来越高，以上海市为例，截至2017年底，上海60岁以上户籍老年人口483.6万人，占户籍人口33.2%；80岁及以上高龄老年人口80.58万人，占5.5%[1]。另外由于子女学习、工作、结婚等原因而离家，空巢家庭基本成为或已成为老人家庭的主要形式。专家预测，不久的将来我国老年人家庭的空巢率将达到90%左右[2]，容易出现认知症障碍的老年人走失，独居老人出现跌倒、疾病突发的风险，及老年人集中活动场所的安全隐患。“空巢老人”随着年龄的增长，生理功能逐渐衰退，对他人帮助的依赖性越来越高，安全健康监测等成为刚性需求，对智慧社区的建设与管理也越来越高。

目前老年人安全与健康相关的产品主要分为穿戴式与非接触式。穿戴式需要接触人体，存在一定的风险或隐患，老人容易产生技术恐惧；频繁充电、佩戴的问题，会改变老人原有生活习惯；而非接触式属于被动监控，不改变老年人生活习惯，无需充电、操作、佩戴等，可远距离健康监测。但非接触式的传感器为了能够更全面获取用户数据，大多使用深度摄像头或彩色摄像头，由此带来用户的肖像、身体等隐私问题，影响此类产品的推广应用。

本文介绍的数字孪生技术，正是利用非接触式的视觉传感器，在终端处理影像数据，不上传和存储任何视频和图片数据，确保用户隐私数据的安全，同时实现了老年人在社区生活状态的虚拟仿真呈现，数据由终端传感器多维动态采集，把脱敏数据虚拟呈现，包括定位、人体姿态与人体行为数据，完成记录、追踪、风险管理，实现对社区内老年人状态的精细化管理，出现风险后实时报警与风险预警，解决了非接触式老年人安全与健康产品的隐私这一关键问题，有助于视觉健康产品的全面推广应用。

1 系统概述

数字孪生是指在整个生命周期中，通过软件定义，在数字虚体空间中所构建的虚拟事物的数字模型，形成了与物理实体空间中的现实事物所对应的在形、态、行为和质地上都相像的虚实精确映射关系[3]。数字孪生系统起源于智能制造领域，随着人工智能与传感器技术的发展，在更复杂的更多样的社区管理领域，同样可以发挥巨大作用。本文介绍的就是以社区应用为目的的数字孪生技术的案例，通过视觉传感器、人工智能芯片、深度学习算法及3D建模软件实现了社区内老年人日常行为活动姿态、健康风险情况的监测与预警，起到全面关爱老年人健康，降低服务成本，提高养老服务质量，降低老年人风险隐患，实现社区的智能化精细化管理。

2 系统核心要素

该数字孪生系统包含四个核心要素：关联数据、数字模型、实时监测[4]与智能分析。其目的是基于物理实体，构建一个数字替身，实现基于数据的社区内老年人安全与健康监测，实现科技服务于人的核心。

2.1 关联数据

关联数据包含三部分：场景数据、人物数据与个体生理健康数据。

场景数据包含老年人活动的主要场所，根据现场实际测量数据后通过3D建模，精准还原现场的情况。场景包括独居老人居所，社区为老服务综合体、养老机构等老人集中活动的场所。

人物数据包括人体姿态数据与人体活动轨迹数据。人体姿态检测利用终端执行的深度学习算法，根据视频数据，利用人体部位数据库，至下而上得到关键点位置再获得骨架，进而识别人体姿态。算法不因为画面中出现的人物数量多，而增加算法的耗时。一个关节点信息包括(x,y,score)三个信息，x和y即为图像中的坐标信息，取值范围为(0，image.size（图像尺寸）)，而score则表示预测评分，归一化处理后取值范围（0，1），越接近1值表示预测值越准确，其关节点的还原度就越高，同时姿态的还原度也就越高。将18个关键节点用特定的顺序连接后，就形成一幅人体骨骼图[5]。如图1所示。

个体生理健康数据，来源于老年人在社区的健康档案，包括基本生理数据，如身高、体重、体脂，日常的健康监测数据，包括体温、血压、血糖、血氧等数据，还有老年人患有的相关疾病及患病史，如三高疾病、脑卒中、认知症障碍等等。

图1 算法识别的人体关键节点数据Fig.1 Human key node data recognized by algorithms

2.2 数字模型

数字模型包括场景数字模型和人物数字模型。

场景数字模型根据场景采集的实际尺寸数据，根据3D建模软件，实现一套数字环境模型，通过结合现有的数字组件，包含可复用的围墙、道路、家具、门、窗、路灯等数字组件，实现一个完成的可视化的沉浸式环境。

人物数字模型分为两部分，一部分是人物关节模型，一部分是人物身份模型。人物关节模型，是根据深度学习算法识别出的人体18个关键点，利用3D建模软件，根据18个关键点，来塑造虚拟人物关节模型，18个关键点可根据人体活动范围任意活动，实现真实人体的关键节点与虚拟人物节点的精准映射。人物身份模型，以人物的衣着进行判断，通过衣着特征来标识人物的身份，根据人物的行走速度、姿态、步幅、步频等，识别人物身份，重点识别老年人身份。

该数字模型系统的优势是既按真实数据完成现实的虚拟映射，同时又规避了隐私的风险，相对传统摄像头监测，该数字孪生系统不上传视频数据，不存储用户的肖像、衣着等敏感数据，仅是通过人体姿态与行为的特征数据进行分析与识别。

2.3 实时监测

该数字孪生系统是充分利用物理模型、传感器、历史数据、人工智能算法，集成多物理量、多尺度、多概率、实时的仿真过程，从而实现虚拟空间中各层线路、各传感器的有机整合，使得现实空间中的老年人行为状态信息都能够有效地反馈在虚拟数字空间中，完成完整的实时映射过程。

该数字孪生系统采用分布式的拓扑结构，传感器分布在社区内老年人活动的关键场所，利用4G/5G或WiFi无线网络实时传输采集的数据，数据经过智能算法处理后，在云端实时展示社区内老年人的活动状态，出现风险实时报警与风险预警。

2.4 智能分析

根据深度学习算法获得的人体的18个关键节点坐标，在任何一时刻就定义了一个状态。该项目选择了一种模板匹配法的支持向量机（SVM）方法，支持向量机方法适用于小样本的情况，并能取得不错的效果[6]。

支持向量机（Support Vector Machine，简称SVM），是一个二类分类模式，基本模式被定义为最大的线性分类特征空间的间隔，策略是使间隔尽量变大，转化为求解一个凸二次规划问题[7]。

支持向量机算法的关键是分类器的训练。分类器的训练过程包括图像预处理、归一化处理、特征提取与模式分类四部分。

（1）图像预处理。主要是去除图像中的无关信息，包括背景、光影影响、多余的人（在训练过程中，单个图片仅保留一个人的图像数据）等，同时对图像数据进行标注，标签主要包含三部分信息，姿态（立、坐、卧），体型（瘦、适中、胖），年龄（青年及以下、中年、老年），以上信息由人工根据图像信息标注。

（2）归一化处理。预处理后的图像数据会通过人体骨架识别算法，识别出人体的18个关键节点在图像中的坐标。但这个坐标的坐标系是相对于每张图片个体的，为了方便后续的特征提取，该研究将每张图片的各自坐标系，统一映射到人为设定的64×64个点的坐标系。具体方法为：

Length=Max(X1…X18)-Min(X1…X18)；//X1…X18为18个节点的横坐标

Height=Max(Y1…Y18)-Min(Y1…Y18)；//Y1…Y18为18个节点的纵坐标

If(Height≥Length)

归一化系数A=64/Height

Else

归一化系数A=64/Length；

（Xi，Yi）=A*（Xi'，Yi'）;//（Xi，Yi）新坐标，（Xi'，Yi'）原坐标

为了降低运算量，归一化后的18个坐标值取整，则所有人体的关键坐标都可以显示在64×64共4 096个像素点内。归一化后的数据去除大量的无用信息，仅保留核心数据，并且每个数据仅占4 kByte的存储空间。

（3）特征提取。特征提取从两个维度进行，一个是18个关键节点的整体拓扑结构，另外一个是每个关键节点与其关联节点的相对位置信息。两个维度特征提取与训练分别进行，18个关键节点的拓扑结构信息从整体考虑，把18个节点的全部坐标信息作为输入，根据标注信息进行训练，得到三种姿态的分类器。每个关键节点与其关联节点的相对位置信息，可以通过局部几个关键节点的相对位置信息，进行全局的推断人体姿态，适用于在采集影像数据时，由于物品遮挡、拍摄角度等原因，没有采集到全部18个关键节点的比对数据，可以通过局部信息，判断整体的姿态信息。

（4）模式分类。支持向量机是一个二类的分类模式，根据三种既定的判断姿态，该分类器包括了三个姿态判断的大分类，同时每个大分类下再根据两种不同的特征提取维度，分为两个子分类，总计6个子分类器。识别过程是输入未知影像数据，分别通过6个子分类器，相似度最高的子分类器的姿态状态即为最终的结果。

3 系统结构

系统结构分为四层体系，包含驱动层、平台层、算法层与应用层，如图2所示。

图2 数字孪生系统结构Fig.2 Digital twin system architecture

驱动层包含了分布在老年人活动关键场所的视觉传感器、人工智能芯片，社区健康小屋的智能健康监测设备，如血压计、血糖仪、血氧仪等等，及居家使用智能健康设备、可穿戴设备等。所有的这些嵌入了大量传感器、计算、控制部件的智能体，分布在老年人生活的环境中，既能够全部采集老年人安全健康相关的数据，又能够通过终端计算的方式，避免泄露用户的隐私，保护信息与数据的安全。

平台层主要通过驱动层上传的数据，实现各种传感器数据的融合和场景重构。通过用户的唯一身份识别信息，关联全部数据，根据用户的活动区域，利用软件建模的方式，对人物状态和现实场景进行数字孪生，并根据用户自身的特性进行任务定义，现实个性化的健康管理与风险报警。

算法层主要根据人脸识别与人体姿态与行为识别的需求，利用深度学习算法，实现云端训练与终端执行，为老年人的风险状态判定提供数据依据。

应用层主要是面向用户提供软件服务。包括面向社区管理者的老年人活动状态的虚拟重现，出现风险状态的实时报警，与老年人及家属、养老护理员、社区志愿者的沟通交流等等。老年人及家属可以查看本人相关的健康数据与报告，社区管理者也可以了解社区内所有老年人的身体状况和行为活动状况，实现社区内老年人的安全与健康的精细化管理。

4 验证

该数字孪生系统的关键是虚拟呈现出的老年人的活动行为是否与现实场景一致，其中两个要素是人体所在位置的视觉定位与人体骨架图识别。

视觉定位采用相似三角形法，如图3所示。

图3 相似三角形法视觉定位Fig.3 Similar triangle method for visual localization

通过已知量摄像机的安装高度，实地测量的图像坐标中心对应的世界坐标点与摄像机在x和y轴上的距离，镜头中心点的图像坐标，测量像素点的图像坐标，实际像素的长度，实际像素的宽度与摄像头焦距。

通过相似三角的边长公式：

AB/A’B’=BC/B’C’=AC/A’C’

其中ABC为摄像机的图像坐标的三点、A’B’C’为现实坐标的三点。

通过5个不同场景的人体站立位置的测量，通过利用相似三角形法利用图像坐标计算的现实坐标点与实际场景中的物理坐标对比，5个场景的误差平均为4.8%。

在人体骨架图的验证过程中，本文选择人体最基本的三种姿态，立、坐、卧，同时在桌椅遮挡0%、30%、50%的三种条件下，通过5个不同场景，10个不同测试人验证测试。所判断的准确率由18个关键节点的坐标偏差平均求得（被遮挡的关键节点不纳入计算），具体验证数据如表1所示。

表1 人体骨架图的验证结果Tab.1 Verification results of human skeleton maps

综上验证结果及天宝养老院实际运行情况，报警阈值可根据试运行过程中自学习算法智能调整，试运行期间，老年人行为与姿态风险漏报率0%，误报率4.3%，达到预期用途。

5 总结与展望

本数字孪生系统，通过传感器采集数据，完成数据的精准映射，数字重建老年人生活场景及状态，不泄露隐私，对老年人可能出现安全与健康风险实现报警与预警。本系统已在上海市虹口区天宝养老院进行了试点运行，初步验证了系统的可靠性与稳定性，尤其是对该养老院的失智老人的护理作用极大。本系统实现了7×24 h智能监测，对老年人尤其是失智老人的走失、跌倒、疾病突发等风险实现实时响应，很大程度上降低了养老服务人员的人力投入，提高养老护理质量。

本项目已联合天宝养老院、中国铁搭公司申报2019年度虹口区“智慧城市建设”项目，同时申请发明专利一项，实用新型专利二项，软件著作权二项。本文介绍的数字孪生系统，虽然目前仅在一个区域试点，但从其应用场景、产品定义、功能实现，是切实从养老服务行业的实际需求出发，如能进一步降低系统硬件成本，并结合全面的社区居家养老服务，该系统将在养老领域发挥巨大的作用。