基于语义参数模板的受损骨骼复原方法

何坤金,张玉雪,翁益平,陈义仁,陈正鸣

(1.河海大学 物联网工程学院，江苏 常州 213022；2.常州市图形图像与骨科植入物数字化技术重点实验室，江苏 常州 213022；3.常州市第二人民医院骨科，江苏 常州 213003)

0 引言

随着计算机辅助设计在医学领域的应用，数字骨科[1]概念应运而生。针对骨折患者，快速准确地获取骨骼模型的参数，最大程度地修复或复原受损骨骼，对后期骨科植入物(如接骨板、人造关节等)设计的准确性起到关键作用。人体骨骼因其年龄、性别或地域的不同，在形态特征方面存在差异，即同类骨骼虽整体特征相似，但个体间细节特征差异较大，且骨折后受损块也千差万别。骨骼参数准确测量、受损骨骼快速修复、骨科植入物的个性化设计是当代医学亟待解决的关键问题。人体中长骨起着驱动人体四肢运动的功能，极易发生骨折或病变，而医生对受损骨骼的测量主要基于CT图像，缺乏直观、三维立体化的测量方法。因骨骼表面复杂、骨折差异性较大，对骨折严重的患者，参数测量存在较大误差，使得术后恢复效果较差。

近年来，张海峰等[2]通过比较分析应用三维重建技术测量与直接测量的结果，探索活体骨骼形态参数准确测量的方法，验证了基于CT 数据应用三维重建技术进行股骨形态参数测量，结果准确、可信，有助于损伤的个体化治疗。汪轶平等[3]开发的Femeter软件通过重建股骨三维模型，实现了股骨近端的自动测量；Liu[4-5]等设计了一种个性化建模系统，通过重建患者股骨头模型，基于二次曲面及椭球体拟合实现坏死股骨头的修复；陈雁西等[6-7]研究发现计算机辅助术前规划技术可帮助骨科医生快速把握骨折的形态学特征及损伤细节，并进行骨折的模拟复位、内固定物的虚拟置入等一系列术前设计，验证了应用胫骨内侧低切迹单钢板结合拉力螺钉治疗C型pilon骨折可减少手术创伤。Alathari等[8]通过压力类比技术，基于图像的局部特征精确、自动地将股骨与髋臼分离，并实现了股骨可视化；Casciaro等[9]提出一种基于圆柱体拟合的颈干角和前倾角测量方法；Agathos等[10]提出一种基于参数的变形方法，通过调整语义参数值对人体足部模板三维网格进行变形，从而得到新的骨骼模型；Rudek等[11]基于CT切片重建三维模型，提出了基于椭圆曲率调整的颅骨修复方法。目前，对骨骼模型的修复在计算机辅助设计方面研究较少，主要是基于医学上的拼接技术，直接采用髓内钉与接骨板对骨折部位固定，缺少对受损情况严重、缺损较多的骨骼模型进行复原，且需对每个骨骼进行单独处理，缺少基于骨骼模板引导的受损骨骼的修复。

由于受损骨骼模型往往几何信息不完整、特征信息不充分、拓扑结构不明确，难以直接自动获取受损块中存在的语义信息，无法根据局部参数实现骨骼模型的修复。本文以长骨中的股骨为例，提出了语义参数骨骼模板构建及变形方法，实现受损骨骼在形态与几何上的修复。

1 骨骼模板构建及受损骨骼复原方法流程

为提高骨骼参数测量及受损骨骼修复的高效性和准确性，本文提出一种面向长骨的骨骼模板构建、参数测量以及受损骨骼复原方法，该方法的流程如图1所示，其中骨骼几何平均化模型的生成及参数间约束关系为本课题组的前期工作[12-14]。

图1中的流程主要包括三部分：语义参数骨骼模板构建、目标骨骼参数自动测量、基于模板的受损骨骼复原。每个部分的基本步骤如下所述:

(1)语义参数骨骼模板构建

步骤1导入骨骼的几何平均化模型数据，重建三维模型。

步骤2定义特征点及语义参数，通过人工标注几何参考元素的方式获取特征点的坐标值。

步骤3根据建立在特征点上的关系测量骨骼的语义参数值。

步骤4记录特征点及语义参数值，生成骨骼模板，用于目标骨骼参数自动测量与受损骨骼复原。

(2)目标骨骼参数自动测量

步骤1导入骨骼模板与目标骨骼数据，重建骨骼三维模型。

步骤2将骨骼模板与目标骨骼进行非刚体匹配，实现模板上的特征点到目标骨骼的映射，并自动校正。

步骤3根据建立在特征点上的关系，自动测量目标骨骼的语义参数。

步骤4重复步骤1～步骤3，测量多组目标骨骼语义参数，对参数进行统计分析并建立参数间的约束关系。

(3)基于模板的受损骨骼复原

步骤1选取体积较大且含有语义参数信息的受损块进行参数测量。

步骤2根据参数间的约束关系，指导骨骼模板进行语义参数变形。

步骤3基于三棱锥截面分割与配准，采用双向映射方式，实现骨骼模板的几何变形。

步骤4对骨骼模板进行进一步几何调整，实现对受损骨骼的复原。

2 语义参数骨骼模板构建

2.1 几何平均化模型生成

骨骼参数测量的主流方法是基于特征点[15]的测量方法。为了提高测量的效率与准确性，以100组同地域、年龄在20～35岁的男性股骨为例，采用式(1)构建几何平均化模型[12]，并在几何平均化模型上标注特征点构建语义参数骨骼模板。

(1)

几何平均化模型生成过程如下：

步骤1将N个同类型的骨骼模型看成N个节点的集合，并定义初始状态下的权值(默认值为1)。

步骤2选出节点集合中任意两个节点，如图2a、图2b、图2c所示，利用刚体配准和非刚体变形如图2d、图2e所示，使两个骨骼具有相同的拓扑结构，如图2f所示，生成一个新的平均化节点，如图2g所示，该节点的权值为选出的两个节点的权值之和。

步骤3从节点集合中删除选取的两个节点，将生成的新的平均化节点加入到集合中。

步骤4重复步骤2，直到集合中最后一个节点，即为平均化骨骼模型，权值为N个节点的权值之和。

2.2 语义参数定义

长骨起支撑躯体运动的作用，极易病变或骨折，本文以长骨中的股骨为例定义相关语义参数。在医学上股骨通常被划分为5个部分(如图3)：股骨头、股骨颈、粗隆、股骨干和髁部。其中股骨干外侧延长线将粗隆区域分为小转子、粗隆中部及大转子。在股骨的每部分分别定义几何参考元素[16]，主要包括特征点、轴线及辅助平面。其中，特征点用来辅助描述股骨每个部位的局部特征，通常是位于股骨轮廓上曲率变化大的点；轴线主要是中轴线和各个区域的分隔线，用来辅助角度的测量等；辅助平面主要用来分割股骨的各个区域。

定义股骨几何参考元素时，按以下方式建立参考坐标系。如图4所示，以股骨干中心为原点O，以经过O的水平面为XY平面，经过O指向人体外侧的轴线方向为X轴的正方向，指向人体前侧的轴线方向为Y轴的正方向，指向粗隆的轴线方向为Z轴的正方向。部分股骨几何参考元素定义如表1所示。

表1 股骨几何参考元素及其定义

基于所定义的几何参考元素，依据在医学统计学上具有相关性的特征点以及先验医学语义定义的股骨的语义参数[17]，部分语义参数定义如表2和图5所示。

表2 股骨的语义参数及其定义

2.3 几何参考元素的标注

几何参考元素的标注主要分为两步：①粗略定位，人工选取几何参考元素的粗略位置；②自动优化位置，以标注点为根节点，建立Kd-Tree(K-demension tree)[18]，根据各特征点的医学语义采用式(2)，在一定阈值范围内，选取几何参考元素的最优点。

P=T(P′)。

(2)

式中：P={P1,P2,P3,…,Pi,…}为模板特征点的集合，Pi(x,y,z)为骨骼点云模型的坐标，P′为人工标注几何参考元素的集合，T为精确计算各几何参考元素位置坐标的函数集合。

2.4 参数测量及模板构建

结合医生对骨骼畸形的判断以及对受损骨骼整体与细节修复的需要，本文对语义参数的测量分为两类，第一类是与距离相关的测量，如骨骼的长度、宽度、高度等，此类测量只需获取两点的位置坐标即可，根据式(3)计算向量的模长即为所求。

(3)

式中：PA(x1,y1,z1)，PB(x2,y2,z2)为股骨模型上的点；|PAPB|表示向量PAPB的模长。

第二类是关于角度的测量，此类测量可根据空间向量求角公式(如式(4)所示)计算角度。例如，图7所示为颈干角的计算过程，股骨颈的中轴线L1与股骨干上端中轴线L2交于点Q，颈干角α即为∠O1MO5的度数。

α=arccos〈QO1·QO5〉

(4)

统计各几何参考元素的位置坐标及语义参数的值，并将特征点在股骨几何平均模型上进行标记，生成含有特征点以及区域分割信息的语义参数骨骼模板，如图8所示，用于股骨语义参数的自动测量以及受损骨骼的复原。

3 目标骨骼参数的自动测量

3.1 配准与校正

采用人工标注几何参考元素的方法对大量骨骼样本进行参数测量耗时耗力，因此，本文提出基于骨骼模板的语义参数自动测量方法。定义多元组G={S,P,H,M,R}，用于描述模型S、特征点P、语义参数H、映射关系M及约束关系R。其中，各参数含义如下：

S={SA,SB}，SA为骨骼模板，SB为目标骨骼模型;

P={PA,PB}，PA为骨骼模板上的特征点，PB为目标骨骼模型上的特征点;

H={HA,HB}，HA为骨骼模板上的语义参数，HB为目标模型上的语义参数;

M为PA与PB之间的映射关系;

R为定义在参数P上的约束关系。

其中约束关系R建立在本课题组前期工作[19-20]的基础之上。

由于个体间骨骼局部细节存在差异性，即使通过非刚体变形后，在模板进行特征映射时，仍会存在目标骨骼的特征点位置发生偏移情形，导致测量结果不准确。为此，本文采用2.3节中基于Kd-Tree的阈值检索方法进行自动校正，如图10所示，PB为各特征点的最优点。

3.2 参数自动测量与分析

根据特征点P上建立的约束关系，实现语义参数H的自动测量。本文通过比较目标骨骼与语义参数变形后骨骼模板的Hausdorff距离[25]，来验证参数间的约束性[26]及骨骼模板变形的准确性，为通过模板变形的方式复原受损骨骼提供理论依据。如表3所示，通过对100组骨骼数据进行比较分析，发现股骨局部和整体Hausdorff值均在误差允许的范围内，其中Hausdorff最大值较大是由于骨骼的个性化差异引起的，说明仅通过骨骼模板语义参数变形难以反映骨骼的局部细节特征。但Hausdorff平均值较小，足以说明骨骼模板经过语义参数变形后与目标骨骼在整体特征上一致，表明基于模板变形策略进行受损骨骼复原在一定误差允许范围内具有理论上的可行性和合理性。

表3 目标模型与变形模板骨骼的Hausdorff值比较 mm

4 受损骨骼的复原

针对受损骨骼的复原问题，现有方法有基于骨骼对称性与表面匹配补全受损骨骼[27]，基于象素集合动态增长与布尔运算修复骨骼模型[28]。这些方法只能在整体形态上修复受损骨骼，忽略了骨骼个性化细节特征。为提高受损骨骼的准确性，本文提出了基于模板变形的受损骨骼复原方法，适用于骨折后受损块体积较大且含有部分语义参数信息的骨骼复原。

4.1 语义参数测量与变形

如图11所示为股骨颈区域完整、股骨头区域部分缺失的受损块复原过程。一方面，采用少量的人机交互对对受损块中存在的股骨颈直径H3进行参数测量，同时，增加对辅助特征点集合PC的标注以及辅助参数集合E的测量，如图11a所示；另一方面，根据定义在模板上的算法以及股骨颈与股骨头间的参数约束关系，计算出股骨头球心坐标PCO及股骨头的直径H2，接着采用式(5)对骨骼模板进行语义参数变形以复原出股骨头缺失区域，如图11b所示。

(5)

骨骼模板在受损块语义参数及其参数间约束关系的指导下复原了受损骨骼缺损部分，虽然经过语义参数变形后的骨骼模板在整体形状上与受损块相似，但是在局部细节特征上仍存在差异。为了提高骨骼模板与原骨骼之间的相似性，需进一步对骨骼模板进行配准与几何调整。

4.2 基于三棱锥截面的分割与配准

针对受损块到完整骨骼的配准问题，本文提出一种基于三棱锥截面分割的由粗到细配准方法。该方法的主要特点包括：①分割简单、规则、方便；②便于选取有效区域数据；③支持三维复杂模型分割。为了显示的直观、清晰，图12以正三棱锥及其外接球为例介绍三棱锥截面分割法，该方法对任意三棱锥分割不规则三维模型也同样适用。

将三棱锥D-ABC的4个面分别编号为S1、S2、S3、S4，沿三棱锥的每个面对其外接球进行分割，分割后的4个区域存在相交区域，故将未相交区域编号为M1、M2、M3、M4，将相交区域编号为M12、M13、M14、M23、M24、M34。

在进行受损块与骨骼模板的配准时，如图13a所示，首先，在受损块上选取4个点A1、B1、C1、D1(以已定义的特征点为主，同时构建辅助特征点，使三棱锥的外切割表面尽可能达到最大)作为顶点构建三棱锥，采用三棱锥截面分割法尽可能获取未受损区域，并计算三棱锥D1A1B1C1的外接球的球心(即外心)W1。然后，沿三棱锥D1A1B1C1每个面切割受损块，并选取受损块的有效配准区域，如图13b所示。其次，在骨骼模板相同区域构建三棱锥，选取有效配准区域并计算外心W2，如图13c和图13d所示。然后，移动受损块将W1与W2重合，实现受损块与骨骼模板的粗配准，如图13e所示。最后，采用基于典型相关性分析(Canonical Correlation Analysis, CCA)的点云配准算法[29-30]，以W2为中心旋转受损块，计算受损块与骨骼模板在有效配准区域内行向量之间的相关系数，当相关系数取最大值时，即实现受损块到骨骼模板的细配准。

4.3 几何变形与调整

对配准后重合区域，采用骨骼模板与受损块双向映射的方式[24]，使变形后的骨骼模板进一步发生几何变形[31]，以保证骨骼模板的细节特征与受损骨骼相一致。一方面，对受损块中的每一个点查找骨骼模板上的最近点，记录Hausdorff距离，并对骨骼模板上的点进行标记；另一方面，对骨骼模板上标记的点查找Hausdorff距离值最大的受损块上的点，用受损块上的点替换骨骼模板上的点，从而使骨骼模板进行几何变形，如图14所示。

对变形后骨骼模板中表面不连续区域或指定区域，可采用式(6)基于点约束的自由变形方法对骨骼模板进行几何调整[32]。首先，选取变形后的目标点C，并计算C点与模板骨骼的最近点Cmin之间的距离；然后，以高斯概率函数W作为基函数，根据变形区域选取不同的阈值，计算阈值范围内其他点的影响因子D(C,SA)，实现骨骼模板的局部几何调整。

(6)

(7)

式中CA为SA中的点。

(8)

σ=W(C,Cmin)。

(9)

其中，γ为放大系数，ε为均方差系数，α为指数系数。

4.4 实例

为验证本文所提受损骨骼复原方法的可行性和有效性，将文中方法在Visual Studio 2015、OpenGL和MATLAB R2016a集成平台上进行实验测试。首先，选取含语义参数的受损块进行参数测量，指导模板实施语义参数变形；然后，对不同区域进行几何调整，并将骨骼模板经过语义参数变形及几何变形后的模型作为受损骨骼的复原模型。

为比较骨骼模板分别在语义参数变形和几何调整下的变形效果，如表4所示，选用不同的受损块进行参数测量，根据受损块中存在的语义参数值及参数间约束关系指导骨骼模板的变形，以复原受损骨骼缺失部分。再选取不同区域及不同放大倍数，对骨骼模板进行局部几何调整。

表4 骨骼模板变形效果比较

续表4

由表4可知，在语义参数变形过程中，骨骼的局部细节特征保持不变，而整体特征发生改变；在几何调整过程中，ξ与γ的取值不同，会使骨骼发生不同程度的变形，从而使骨骼的细节特征发生改变。实验表明，通过对骨骼模板进行语义参数变形与几何调整可以最大程度地复原受损骨骼，同时使复原模型与原骨骼模型在整体特征和细节特征上保持一致。

针对骨骼受损后断裂成多块的骨折现象，本次实验选取来自同一受损骨骼的两块受损块，在受损块的指导下对骨骼模板进行语义参数变形和几何变形，以复原受损骨骼，其流程如图15所示。

在语义参数测量与变形方面，如图15a和图15b所示。首先，采用少量人机交互操作对受损块中进行参数测量；然后，计算缺失参数指导骨骼模板进行语义参数变形。在三棱锥截面分割与配准方面，如图15c和图15d所示。首先，建立三棱锥获取尽可能多的未受损区域，并沿三棱锥的表面分割后选取有效配准区域；然后，以三棱锥的外心为中心配准受损块与骨骼模板。在骨骼模板几何变形与调整方面，如图15e图15f所示。首先，将骨骼模板与受损块采用双向映射的方式进行几何变形；然后，对变形后大转子表面不连续区域，采用基于点约束的自由变形方法进行几何调整。图15g为在受损块指导下受损骨骼的复原模型。

5 结束语

目前，针对骨折后的受损骨骼进行参数测量与复原，仍然是数字化骨科研究领域中亟待解决的挑战性问题之一，对此，本文提出了基于语义参数模板变形的受损骨骼复原方法。先通过人工辅助的方式构建语义参数骨骼模板，并自动测量多组目标骨骼的参数；再建立参数间约束关系，以此指导骨骼模板的变形，从而对受损骨骼进行复原。本文方法的主要特色和优势在于：

(1)基于特征点与语义参数建立骨骼模板，实现了目标骨骼语义参数的自动测量，可用于对大量骨骼模型的参数统计，简化了人工测量过程。

(2)基于语义参数骨骼模板变形，实现了半自动化受损骨骼修复过程，为后期人工假体的制造和个性化接骨板的设计等提供了模型与数据支撑。

(3)基于三棱锥截面分割的配准方法，实现了复杂三维模型局部到整体的配准。

但在受损骨骼的修复过程中，受损块语义参数的测量主要依靠人工标注几何参考元素的方式，未来研究中将进一步实现受损块参数的自动测量及受损骨骼的全自动化复原。