多模态数据融合的护理信息系统架构及应用分析

肖爽，赵庆华，邹依然，胡磊，卢烨，王琦

一直以来，人们都知道生态环境、生活习惯对健康的影响不容忽视，因无法采集这部分数据，而没有纳入护理信息系统(Nursing Information System，NIS)等医疗系统中。随着信息技术对生活各领域的深入渗透，数学运算能力的不断提升，与健康相关的数据将不限于临床检验检查及各项评估，患者的动态生命体征、生态环境、生活习惯都是数据源，数据不再只产生于实验室或医务人员的监测，而来自多源多模态；且将开放给医务人员以外的人员使用。有研究指出，为患者和护理合作伙伴提供访问医生笔记的方式可以改善护患沟通和患者自我健康管理的信心[1]，因此NIS面向的应用对象逐渐从单纯的护理人员[2]扩展到医务人员、患者等与健康产业相关人员。这意味着NIS从数据源到最终的展示都将发生根本性转变。

多模态数据融合(Multi-Modal Data Fusion)技术将对非结构化、多源化、多种类的数据进行采集、存储、分析、交互，打破传统表单关联形式实现数据互通，将采集的数据先管理再使用，从而实现数据的底层交互与深度学习，推动护理与大数据时代的有机融合，本文探索基于多模态数据融合技术的NIS架构，并进行应用分析，以期为完善NIS的建设提供参考。

1 NIS多模态数据信息源及采集方式

①多模态数据。包括文本、视频、音频、图片等，其信息源类别、采集对象、采集方式和传统NIS有较大区别。②多模态数据信息源类别。包括临床业务数据(院内医疗过程产生的数据，如检查检验、手术等)和社会数据(院内医疗过程以外的数据，如饮食、运动、睡眠、气候、温湿度等)。③多模态数据信息采集对象。包括患者，与患者医疗过程/生活相关的人员(医生、护士、家属等)，患者使用的物品(手术器材、检查试剂等)，患者在医疗过程中的地点、温度湿度(婴儿保温箱)等。④多模态数据信息采集方式。包括鼠标键盘录入的文本，传感器采集的文本、摄像录音机采集的视频、图片、音频等。

2 NIS多模态数据融合方法及系统架构

2.1多模态数据融合方法 多模态融合(Multimodal Fusion)是对多个模态的信息进行目标预测(分类或者回归)，按照融合的层次，可分为像素层(Pixel-Level)，特征层(Feature-level)和决策层(Decision-level)。信息融合方法主要有基于估算、分类和规则3种方法，见图1。NIS的用户包括护士和患者，主要是Web用户，信息融合方式要便于他们对信息的检索或信息的精准推送；需要将各种数据放在特定护理事件中进行处理，而不是单一围绕一种模态信息进行处理；同时要关注不同模态数据之间的潜在关联性和相同模态数据间底层特征分布的不一致性，通过算法把不同媒介下的信息进行高效整合和串联，从而形成一个完整的全方位的护理信息。

图1 多模态数据融合方法

2.2多模态数据融合的NIS架构 基于多模态数据融合的NIS架构方面，可设计一种支持高并发业务的4层系统架构，分别以互联网、物联网及接口服务支持的智能设备为终端的数据采集层、采用多模态数据融合分析的数据交互层、支持多类型业务处理的数据应用层和满足异构护理数据管理的数据展示层，囊括对护理实践相关的多模态数据的采集、分析、应用及展示全过程。与传统NIS不同之处在于，采集到的多模态数据不是直接应用于临床场景，而是经过数据交互后再应用，也就是说数据先管理再使用，保证每个数据在系统中拥有“身份证”，数据作为独立的对象进行存储，并持续伴随患者在院内、院外参与的各种场景，不断进行自我更新和跨系统之间的共享；同时应用层数据可作为一种数据源反馈给采集层。如：入院体温36.5℃，这条文本数据被护士录入传统NIS的体温单界面后，画于体温单，当护理或医疗病程记录需要入院体温数据时，系统将体温单的入院数据编辑为一条文本推送给护理、医疗病程记录，形成多个表单之间的关联。基于多模态数据融合技术的NIS，会先将36.5℃作为独立对象经过数据交互(存储、处理、挖掘)，赋予其多个“身份证”信息——入院时、静息状态、午后等，再将数据由其身份特征与不同场景关联，也就是数据与应用场景的关联取代表单与表单的关联，通过改变数据之间的底层交互规则，从而打破围墙、实现共享，见图2。

图2 多模态数据融合的NIS架构

3 多模态数据融合的NIS应用

3.1多模态数据融合的NIS的应用 随着数字化的广泛推进，海量多模态临床数据需求日渐明显[3]。过去10年，医疗图像分析领域呈指数增长，促进了高通量定量特征提取方法的开发，多模态数据融合技术在放射性基因组学、疾病预测等领域成为热点[4]，但在护理领域的研究尚处于起步阶段，最早应用于重症监护病区。Saeed等[5]报道了经过7年时间建立的重症监护多参数智能监测II(Multiparameter Intelligent Monitoring in Intensive Care II，MIMIC-II)研究数据库应用情况，这项研究由美国国立卫生研究院资助，利用先进的信息技术和数据算法，对患者实验室数据、电子病历文档、床旁监护仪的数字及波形进行整合，每2～4周将数据从医院以物理方式传输到实验室，并转换为开源数据格式，合并到MIMIC-II波形数据库中，为重症监护研究建立了新的公共访问资源，支持了流行病学、临床决策规则开发和电子病历研发等各种分析研究。随着通讯技术与机器智能的进步，多模态数据融合技术开始应用于患者生命体征采集和评估，如EmoPain 2020挑战赛创建了一个多模式机器学习和多媒体处理平台[6]，用于比较人类表达行为对慢性疼痛评估的准确性，以识别与疼痛相关的行为。挑战的目标是为了促进通过实时监控和反馈来改善慢性疼痛患者生活质量的辅助技术研发，从而帮助他们管理自己的状况并保持身体机能。Gruss等[7]研发压力、感冒等产生的疼痛，并将记录数据作为“X-ITE疼痛数据库”。国内也有学者在糖尿病等领域探索多模态数据监测的应用[8]，取得显著效果。本世纪初逐渐兴起的数字孪生技术(Digital Twin)，为真实的物理世界搭建一个高度镜像化的数字世界。通过物理设备的数据，将人类的各种行为数据化，在虚拟(信息)空间构建一个表征人体的虚拟实体和子系统，也就是搭建一个“数字克隆”的“孪生体”，依据对“本体”的传感器收集的多模态数据，以及“本体”的历史数据进行动态仿真，提前反映出个体目前生活模式将带来的健康隐患，从而让个体与医务人员共同参与到自我健康管理实践中，目前这一技术已在社区老年人监测领域开展研究[9]。

3.2多模态数据融合的NIS应用存在的困难与应对 当前，尽管以患者为中心的医疗数据已非常丰富，但还有大量医疗场景中的非结构化数据未被采集，如手术过程、睡觉监测中患者的鼾声、住院期间患者的运动轨迹、饮食情况等，这些数据都可能影响到患者的诊断与治疗方案；此外，护理信息学(Nursing Informatics，NI)是一门集成护理科学、计算机科学及信息科学的综合性学科，但因缺乏师资等因素，护理教育中护理信息学课程并未普及，无论护士还是护生的计算机素养能力并不乐观[10-12]；因NIS数据采集方式有限，主要依赖护士操作结束后通过计算机或移动终端进行记录，属于“回忆型”数据，其真实性和实时性均存在质疑，虽然物联网(IOT)技术让部分重症监护室采用传感器收集数据，但因投入过大，且设备不够便捷，无法在普通病房推广。可见，宏观层质控标准与患者需求脱节、中观层信息教育与临床实践脱节、微观层底层技术与高层实践脱节是当前多模态数据融合NIS的最大障碍。多模态数据融合面对的是海量多源数据库，ICU设备复杂的接口和专有的数据格式，阻碍了设备与数据库之间无缝联结；数据的大量增加也会混淆分析，产生计算瓶颈，并降低得出有效因果推论的能力；用于决策支持的最大挑战是跨多个站点共享图像数据和元数据，而数据共享必须克服文化、行政、法规和个人问题[13]。

当人们的健康被时代所影响时，护理信息技术也应从用户需求出发，主动拥抱“数据密集型”时代，开启一次对护理的范式转换[14]，迈入“全相护理”(Deep Holographic Care，DHC)[15]时代，一个由数据驱动健康的时代，深挖与健康相关数据需求、开展诸如《实用护理信息技术》等课程加速提升护理信息能力[16]、以多学科团队协作模式推动护理与大数据时代的有机融合[17]，促进护理工作向全相护理转型。