基于生物不变特征的数字物理耦合方法

戴凌磊，宋烨，郝泳涛

摘要：增强现实在医疗中的应用能有效提高医生的空间感知能力，其中的一个关键步骤就是数字模型与患者的耦合。提出一种基于生物不变特征的数字物理耦合方法，该方法利用人体特征的不变性，在数字模型和患者身体的相同特征位置放置标记点，最终通过两组标记点的转换实现自动耦合。在人体模型实验中仅使用少量的标记就能实现耦合，并具有较低的误差。

关键词：增强现实;医疗;数字模型;不变特征;数字物理耦合

中图分类号：TP399      文献标识码：A

文章編号：1009-3044（2021）20-0144-03

Digital-physical Coupling Method Based on Biological Invariant Characteristics

DAI Ling-lei1， SONG Ye2， HAO Yong-tao1

（1. College of Electronic and Information Engineering， Tongji University， Shanghai 201804，China; 2. Xiaoyi Technology co.， LTD.， Shanghai 201203，China）

Abstract： The application of augmented reality in medical treatment can effectively improve the doctor's spatial perception ability. One of the key steps is the coupling of the digital model and the patient. A digital-physical coupling method based on biological invariant characteristics is proposed. The method uses the invariance of human body characteristics to place markers at the same characteristic positions of the digital model and the patient's body， and finally realizes automatic coupling through the conversion of two sets of markers. In the human body model experiment， the coupling can be achieved with a small amount of markers and has a lower error.

Key words： augmented reality; medical treatment; digital model; invariant charac-teristics; digital-physical coupling

1 引言

随着增强现实（AR）与3D建模技术的发展，将AR技术与医疗应用结合的尝试也越来越多[1]。沉浸式医疗AR系统是其中一个重要的研究方向，它的主要功能就是将数字模型与患者对应部位进行耦合，以提高医生的空间感知能力。在本论文中，我们提出了一种可用于人体多个部位的基于生物不变特征的数字物理耦合方法，这里的不变特征包括肉眼可见的显性特征（比如关节，五官）和肉眼不可见的隐性特征（比如人体穴位）。我们的应用安装在具有光学透视显示的商业AR头戴式设备上（Microsoft HoloLens2），该设备在对比度感知、任务负荷和显示帧率方面比其他商业设备的性能更好，更适合临床使用[2]。我们的系统在工作过程中只需要少量标记点，通过在数字模型和患者的相同特征点放置标记并计算转换矩阵实现数字物理耦合。

1.1相关工作

为了实现数字物理耦合，国内外研究针对不同的手术场景提出了多种解决方案。第一种解决方案是手动耦合。文献[3]认为手动耦合足够快速和准确，文献[4]在手动耦合前使用轮廓匹配算法进行粗略的自动耦合，文献[5]采用先耦合人体特征点，再耦合整体模型的方法。手动耦合规避了数字物理耦合这一难题，但是靠肉眼判断耦合程度可能会造成较大的误差。第二种解决方案是借助Vuforia的识别技术进行耦合[6，7]。Vuforia可以识别特定的图像或规则物体，并在该图像或规则物体附近的位置呈现数字模型，这对图像或规则物体的摆放位置有一定的要求，导致其应用范围十分狭窄。第三种解决方案需要借助光学跟踪器和额外的光学标记[8-9]。光学跟踪器往往作为固定的现实坐标系，利用光学跟踪器和对应的光学标记，可以精准的建立虚拟世界与现实世界的联系，实现误差较小的耦合并且可以实时跟踪患者。但是该方案需要在患者和相应器材上固定光学标记，对手术环境有较高的要求，难以普及。第四种解决方案是无标记的耦合方法。文献[10]利用HoloLens自有的空间映射和凝视交互功能，通过迭代最近点算法耦合表面，文献[11]将两个HoloLens配准在同一世界坐标中，利用锥形束CT坐标可知的特点实现数字物理耦合，这属于特定场景的耦合方法，文献[12]利用HoloLens的深度相机数据和神经网络实现的面部特征检测，通过面部点云和模型点云的配准实现数字物理耦合，但该方法只能用于头部的耦合。

1.2贡献

生物不变特征在人体各个部位都存在，而现有的3D建模技术已经具有足够的精细程度，这使得建立数字模型特征点与对应人体特征点之间的联系成为可能。因此，我们的贡献在于提出了一种基于生物不变特征点的，只需要少量简单标记的数字物理耦合策略，该策略适用于人体多个部位（只要该部位表面足以贴上标记），具有一定的适用性。