人体数字孪生构建方法及其在骨骼分析中的应用

李忠海，孙天泽，张警，何西旺，宋学官

随着大数据、云计算、人工智能及机器人等新兴技术的发展，医学模式面临又一次重大变革，工程医学最终进化到“智能医学”阶段。近年来，数字孪生（digital twins,DT）技术的应用日渐广泛，其在智能制造、智能建造、智慧家居、智慧医疗、智慧城市和智慧交通等领域都有广阔的应用场景[1,2]。DT技术是以数字化的方式建立物理实体的多维、多时空尺度、多学科、多物理量的动态虚拟模型来仿真和刻画物理实体在真实环境中的属性、行为、规则等，其融合了三维建模、仿真与优化、物联网与传感器、人工智能和虚拟现实等一系列新型高级信息技术[3-5]。为每位患者提供量身定做的诊断及治疗是精准医学的愿景，DT 技术的出现使之成为一种可能[6]。本研究尝试从人体骨骼入手，通过DT技术构建腰椎骨骼系统，实时动态显示骨骼的动作状况和生物力学性能，忠实映射骨骼的姿态信息和健康信息，为骨骼健康监测提供宝贵的实验数据和参考案例，并对未来的挑战和机遇进行探讨。

1 资料与方法

1.1 静态物理实体模型的建立

本研究选取1 名健康成年男性志愿者，28 岁，身高180 cm，体重72 kg，既往无外伤史、脊柱疾病史，拍摄腰椎正侧位、过伸过屈侧位、左右斜位X线片及进行CT扫描，以排除腰椎损伤、退变、畸形等疾病，对L1-L5节段行CT薄层扫描。扫描条件：120 kV，125 mA，层厚0.625 mm，层间距0 mm，自上而下行螺旋周围扫描。对原始数据进行插值、放大等处理，并以DICOM格式存储。利用Mimics（Materialise NV，Ann Arbor，MI）、3dMax（Materialise NV，Ann Arbor，MI）、CATIA V5（Dassault Systemes Inc，CGD，France）和Unity3D 软件进行混合建模设计。

DT仿真建模需要保持模型与真实人体实际运动状况一致，同时保证一定的动画效果，需要对模型进行一定处理。将3dMax处理过的零件模型逐一导入Unity3D，一个虚拟模型由多个零件模型组成，这些子模型含众多变量，通过对这些变量进行修改，进而对整个虚拟模型的行为进行控制，模型的外形数据关系存储在Mesh结构中。腰椎有限元模型经过离散化后得到腰椎的三维点云数据，将这些数据经过筛选、约简、转化后，利用Unity3D 的Mesh 结构在Unity3D 开发平台中实现骨骼三维模型的重构。上述建模方法只是依据网格数据得到腰椎的三维模型，还需要添加虚拟材质，在其三维模型上实现应力云图的显示。

本研究获得医院伦理委员会批准，志愿者签署知情同意书。

1.2 数据的采集、传输与融合

使用DT仿真建模实现物理实体的状态监测，既需要完成模型，又需要完成数据的相关工作。腰椎骨骼模型建立完毕后，需要进行数据驱动。在数字驱动之前，首先需要解决的问题是腰椎骨骼数据的采集处理，数据主要包括来自物理实体的传感数据。通过处在空间定位器范围内的身体重要部位与关键骨骼位置处的传感器收集所需要的多种传感器数据信息。传感数据具有多源异构、多维度、动态性、海量、时序性等特征。本研究考虑采集数据的完整性、冗杂性等问题，对原始数据进行“原始数据→数据清理→数据集成→数据变换→数据归约”流程的预处理，对收集到的多种数据信息进行编码读取与译码写入操作，并将译码后的数据信息进行分类、筛选、约简、转换计算后得到所需要的传感器关键数据。然后，将这些关键数据导入计算系统进行计算，利用人体反向动力学与生物力学得到人体姿态与空间位置改变后的骨骼动作结果与力学结果，并与数据处理系统中得到的其他多种信息数据一同传入数据融合系统，完成对人体骨骼动作信息与力学信息、人体动作姿态数据、人体空间位置数据等多种异维数据的融合，即将物理实体的状态数据映射到数字空间，实现感知物理实体的全要素信息。

1.3 动态演化模型的建立

DT技术的一大重要特点是可以利用传感器数据对物理模型进行实时更新，从而实现DT体与物理实体之间的同步，即使原有物理模型有了自进化能力。本研究基于已建立的腰椎骨骼静态物理实体模型，通过对融合数据的静力学与动力学仿真计算得到人体在实时动作时内部骨骼的生物力学性能，并通过预测算法实现对人体某一未知姿态时骨骼生物力学性能的预测。然后利用计算机图形学技术将计算结果渲染为人体骨骼的高保真DT体，提供一种直观、可信的骨骼数字化动态模型，并在此数字化模型上显示骨骼生物力学性能完成对人体骨骼高度一致的虚拟孪生映射，最终实现DT体与物理实体之间的实时同步（图1）。

图1 人体腰椎骨骼数字孪生体的构建流程

2 结果

对静态腰椎骨骼有限元模型进行有效性验证。在模拟外力的作用下，测量本模型前屈、后伸、侧屈和旋转状况下的L3/4节段椎间盘压力和小关节接触力，与既往尸体生物力学研究结果相比[7,8]，本模型测试结果基本一致，表示所建立模型达到了生物力学要求，可应用于下一步研究。

体验者穿戴上虚拟现实（virtual reality,VR）装备后，在基站定位空间范围内校准姿势与身高后与虚拟模型匹配。匹配完成后，即可实现人体实时动作捕捉和腰椎骨骼上应力的动态计算与应力云图显示。体验者可以在基站定位空间内任意活动，做出任意的动作，如跑、跳、弯腰、俯卧撑等。虚拟模型会实时做出对应的动作，其上的DT 体会实时计算腰椎骨骼上的应力数值且动态显示应力云图。腰椎DT 体可根据实验者的实时身体姿态形象展示出腰椎骨骼的姿态和其上的生物力学性能，实现对人体腰椎骨骼的实时监测与评估。腰椎骨骼上的应力云图是根据腰椎骨骼上各个顶点的应力转化而来，代表骨骼不同位置应力的大小，对应的颜色数值段表示各个颜色代表的最大和最小阈值，红色表示最大应力区间，数值大小依次减少，蓝色为最小应力区间（图2）。

图2 四种状态下腰椎数字孪生体对骨骼应力的实时监测

实验者在做前屈-后伸-右侧屈-左侧屈4 个连续动作时，其L3/4 椎间盘平均应力与小关节接触力随时间变化的趋势如图3。当动作幅度变大时，椎间盘应力和小关节接触力均表现出增加的趋势。当前屈动作达到最大幅度时，椎间盘所呈现的压力最大；同样，小关节接触力也在前屈运动时出现最大值。

图3 L3/4椎间盘应力（A）与小关节接触力（B）随时间变化的趋势

3 讨论

3.1 DT的概念起源与应用价值

DT 的概念最早出现于2003 年，由Grieves 教授在美国密歇根大学的产品全生命周期管理课程上提出，并被定义为三维模型，包括实体产品、虚拟产品以及二者间的连接[9]。由于当时技术和认知上的局限，DT 的概念和模型并没有引起国内外学者们的重视。直到2011 年，DT 才迎来新的发展契机，当时美国空军研究实验室和NASA 合作将DT 的概念引入到航天飞行器的健康维护等问题中，并将其定义为一个集成了多物理量、多尺度、多概率的仿真过程，基于飞行器的物理模型构建其完整映射的虚拟模型，利用历史数据以及传感器实时更新的数据，刻画和反映物理对象的功能、实时状态及演变趋势，此时DT才引起业界的广泛兴趣[10]。此后，DT的概念得到了不断的补充和完善[11-13]。

从诞生之初就可以看到，DT是融合了三维建模、仿真与优化、物联网与传感器、人工智能和VR等多种新兴技术在内的复合技术。DT技术能迅速成为研究热点，也源于数字化设计、虚拟仿真和工业互联网等关键技术的蓬勃发展与交叉融合。DT作为连接物理世界和信息世界的纽带，致力于建立物理空间和虚拟空间的实时交互映射，通过定义物理实体对应的数字化孪生体，实现对物理世界中隐藏的、有价值的信息的挖掘，即以数字镜像为载体，延伸和丰富物理实体所蕴含的信息，突破数据堡垒，联通信息孤岛，贯穿结构设计、加工制造、运维管理等全生命周期阶段。目前，DT技术已应用于航空航天、智能制造、智慧城市、建筑、医疗、机器人、船舶、汽车、轨道交通、工业工程、农业、采矿、能源和环境等15个领域[1,2]。2017年中国科协智能制造学术联合体在世界智能制造大会上将DT列为世界智能制造十大科技进展之一。

3.2 DT与智慧医疗

随着工程技术、科学水平的提高，医疗行业也随之发展，并逐步实现从传统医学到数字医学再到信息医学的转变，形成如今的“智慧医疗”概念，更大程度上满足了人们预防性、个性化的医疗需求。智慧医疗强调以智能的方式主动管理并满足医疗卫生领域的多方需求，并凭借其在系统集成、互联互通、智能处理等方面的高水准，保证人们适时获得预防性和治疗性的医疗服务，激励个人做出更明智的决策，是医疗卫生领域信息化建设的更高阶段。智慧医疗带来了更高效的就诊体验，更便捷的医疗服务，更公平、开放的医疗资源供给，并满足了更高效、更少失误的发展需求，符合医疗改革的发展需要。

DT以数字化的形式在虚拟空间中构建了与物理世界一致的高保真模型，通过与物理世界间不间断的闭环信息交互反馈与数据融合，能够模拟对象在物理世界中的行为，监控物理世界的变化，反映物理世界的运行状况，评估物理世界的状态，诊断发生的问题，预测未来趋势，乃至优化和改变物理世界。DT技术的发展和应用使其成为了改变医疗行业现状的有效切入点。尽管医疗领域DT 的开发要比工程设备的DT难得多，但它们已经开始在改善人类健康方面得到应用。Lal 等[14]设计出一种危重症患者的DT模型，模拟临床多个阶段的治疗效果以及主要器官系统（心血管、神经、肾脏、呼吸、胃肠和血液）之间的相互作用，进而预测脓毒血症最初24 h 内对特定治疗的反应，结果显示在对真实患者使用某些特定治疗之前，精确的DT 模型可用于预测治疗的效果。Zohdi[15]构建了一个DT和机器学习相结合的系统，通过建立快速可计算的呼吸排放模型优化通风系统，利用该系统可确定多个通风装置的位置和流速，进而降低由咳嗽等呼吸道排放物引起的传染病传播。胡天亮等[16]针对现代诊疗系统“患者-医疗设备-治疗方案”三要素存在的问题，从孪生数据、孪生机理模型和智能决策三个方面，给出了建立DT诊疗系统的方法，并探讨了在临床诊疗、基础医学研究、教育培训、医疗设备研发等领域的应用。此外，DT也相继应用于心血管疾病、肾脏疾病、糖尿病等疾病的诊断及治疗[17-21]。基于DT 模型，医护人员可通过各类感知手段获取人体动静态多源数据，以此来预判患病的风险及概率；通过信息反馈，可以及时了解机体功能状态，及时调整活动模式和生活方式；一旦出现相关疾病，可根据各类数据和模型进行精准分析，确定病因并制定治疗方案[22-24]。此外，在虚拟模型上进行药物研发，结合分子细胞层次的虚拟模拟来进行药物的虚拟实验和临床试验，可以大幅度降低药物研发周期[25]。这些医疗领域DT 技术的运用，不仅对整个医疗行业的发展起到极大的推进作用，也极大地造福了身患疾病的患者群体。

3.3 人体骨骼的DT

在医疗领域，DT 技术得到了广泛的重视和认可。然而，目前针对患者自身机体状况的DT研究十分有限，特别是对平时难以展现于人们眼前的人体骨骼的DT 技术研究更是少之又少。目前对于人体骨骼的健康监测手段一定程度上可以获得骨骼的形态和健康信息，但是并不能实现骨骼实时动态的高保真数字化显示和运动时的骨骼动作实时模拟，更没有实现骨骼的生物力学性能动态仿真模拟、损伤预测和危险姿态预警等，因此迫切需要在数字层面动态地对人体动作过程中的骨骼进行实时模拟与仿真分析，动态预测骨骼在各种动作下的生物力学性能，以确定骨骼的极限状态以及这些动作是否对骨骼造成某种程度的损伤。

本研究中，通过对特定实验者的腰椎骨骼信息定制化采集，通过数据重建和优化处理得到可靠的有限元模型。将传感器技术与反向动力学相结合，仅使用少量的传感器就可以实现人体全身的动作捕捉，为腰椎骨骼的DT 体构建载体，可实时反映人体的动作姿态和计算当前姿态对腰椎骨骼的响应。基于代理模型，实现动态计算腰椎DT 体上的力学性能，达到实时监控和预测的目的。最后，基于计算机图形学原理，以三维模型的形式展示真实腰椎的状态，并在其上将实时计算的腰椎各个位置的应力值利用颜色转化算法渲染为应力云图，以实现更直观的展示和体验。

人体DT 构建系统主要包括：物理装备系统、数据传输系统、数据处理系统、数值计算系统、数据融合系统、仿真预测系统、孪生显示系统以及数据存储系统。物理装备系统由穿戴式VR设备、身体重要部位与关键骨骼位置处的传感器以及空间定位器组成，其中通过穿戴式VR 设备实现在虚拟空间中的DT 体显示，通过处在空间定位器范围内的身体重要部位与关键骨骼位置处的传感器收集所需要的多种传感器数据信息；利用数据传输系统，对收集到的多种数据信息进行编码读取与译码写入操作，并将译码后的数据信息传输至数据处理系统进行数据的分类、筛选、约简、转换计算后得到需要的传感器关键数据；将得到的传感器关键数据导入数值计算系统分析计算，利用人体反向动力学与生物力学得到人体姿态与空间位置改变后的骨骼动作结果与力学结果，并与数据处理系统中得到的其他多种信息数据一同传入数据融合系统，完成对人体骨骼动作信息与力学信息、人体动作姿态数据、人体空间位置数据等多种异维数据的融合，为下一阶段的仿真计算与预测提供数据基础；仿真预测系统通过对融合数据的静力学与动力学仿真计算得到人体在实时动作时内部骨骼的生物力学性能，并通过预测算法实现对人体某一未知姿态时骨骼生物力学性能的预测；最后通过孪生显示系统，利用计算机图形学技术将计算结果渲染为人体骨骼的高保真DT体，提供一种直观、可信的骨骼数字化动态模型，并在此数字化模型上显示骨骼生物力学性能，完成对人体骨骼高度一致的虚拟孪生映射；数据存储系统贯穿于整个系统架构之中，数据传输系统中收集到的数据、数据处理系统中处理后的关键数据、数值计算系统中的计算结果、数据融合系统中多源异维融合数据以及仿真预测系统中的仿真预测结果都需要借助数据存储系统保存在特定的数据库或内存空间中，为后续人体骨骼医学研究提供参考数据。

4 结论

DT技术不仅利用人类已有的理论和知识建立虚拟模型，还利用虚拟模型的仿真技术探讨和预测未知世界，给当前医疗领域的创新和发展提供了新的理念和机遇。

本研究在DT 理念下探索了人体骨骼DT体开发的框架及其关键技术，运用人体骨骼的DT构建技术，建立了人体腰椎骨骼的DT体，实时动态展现人体腰椎骨骼的动作状况和生物力学性能，忠实映射人体腰椎骨骼的姿态信息和健康信息，并通过仿真预测提前预警人体危险姿态，从而避免对骨骼造成损伤，同时也为骨骼疾病预防和治疗及骨骼健康的监测提供宝贵的研究数据和参考案例。构建人体DT仍面临诸多挑战，希望本研究能够为未来计划进行的更大规模的人体DT构建奠定基础。

【利益冲突】所有作者均声明不存在利益冲突