基于DE-HR-Net模型自动测量Miniaci角

刘 珍,郭志恒,王永成,白福忠

(1.内蒙古工业大学机械工程学院,内蒙古 呼和浩特 010051;2.内蒙古自治区人民医院骨关节科,内蒙古 呼和浩特 010051)

下肢载荷应力分布异常可引起下肢力线偏移,造成膝关节内外翻畸形,进而导致膝关节骨性关节炎[1]。Miniaci法是评估下肢角度畸形的最常用方法之一[2-3],用于测量其矫正角度亦具有较高准确性[4],但需要手动标注关节特征点,存在难以避免主观误差、效率较低及个体差异等问题。本研究以引入密集连接、高效通道注意力机制的高分辨率网络(dense efficient-channel-attention high-resolution net, DE-HR-Net)的深度学习(deep learning, DL)方法观察自动测量全下肢正位X片中下肢畸形矫正角度(Miniaci角)的价值。

1 资料与方法

1.1 一般资料 回顾性分析2019年12月—2022年8月内蒙古自治区人民医院256例膝内翻患者全下肢正位X线片,男91例、女165例,年龄41～78岁、平均(62.9±7.9)岁。纳入标准:全下肢正位片清晰显示髋、膝及踝关节。排除标准:①髋关节置换术后;②严重髋关节发育不良;③膝关节置换术后;④图像质量差。本研究经院伦理委员会批准(202303906L)。

1.2 仪器与方法 采用GE Discovery XR656数字化X光机摄双下肢负重正位片,以电压80 kV、电流320 mA依次摄髋、膝、踝关节片后,采用数字拼接方式拼接成全下肢X线片。通过数据扩增,共获得900幅单侧全下肢图像,按5∶1将其分为训练集(n=750)和测试集(n=150)。

1.3 标注关节特征点 将DICOM文件格式的原始全下肢X线片转为JPG格式,并保持图像比例不变。采用Matlab App Designer辅助标注下肢特征点软件,以髋关节中心点、目标力线与胫骨平台交点(Fujisawa点)、合页点及踝关节中心点为测量Miniaci角所需的4个特征点并制作数据集标签:根据股骨头外轮廓3点(股骨头圆韧带窝上方拐点、股骨头最右侧拐点及股骨头最下侧拐点)拟合圆确定髋关节中心,以胫骨平台外侧62.5%处为Fujisawa点[5],以腓骨头上表面与胫骨皮质交界点为合页点,以距骨宽度线中点为踝关节中心点。见图1。

图1 于右侧全下肢正位片中标注特征点示意图 (a为髋关节中心点,b为Fujisawa点,c为合页点,d为踝关节中心点) 图2 测量Miniaci角示意图

1.4 测量Miniaci角 通过Miniaci法测得Miniaci角,以髋关节中心点为起点,过Fujisawa点作延长线(即目标力线);连接合页点(c点)与踝关节中心点(d点),以合页点为中心逆时针旋转cd线直至与目标力线相交,将目标力线与cd线旋转交点设为e点,Miniaci角为以cd线与ce线重合时cd线的旋转角度θ。见图2。

1.5 图像预处理 对图像进行锐化、对比度增强、Gamma变换、灰度均衡化及添加高斯、椒盐噪声扰动信号(图3)后,截取髋关节、膝关节及踝关节小目标区域用于训练模型;以迁移学习方法[6]训练数据集,将以ImageNet预训练好的模型权重作为基础权重。

图3 预处理右侧全下肢正位图像

1.6 建立自动检测下肢特征点模型 以中国科学技术大学和微软亚洲研究院提出的高分辨率网络(high-resolution net, HR-Net)[7]为骨干网络,引入密集连接机制[8]和高效通道注意力(efficient channel attention, ECA)机制[9](图4);以串行连接方式将Stage1中的4个BottleNeck模块改为密集连接方式,在每个Stage中添加ECA机制模块,重新标定通道权重信息,由此构建DE-HR-Net模型(图5)。

图4 Dense密集连接机制(A)和ECA机制(B)结构图 (X及分别为输入及输出特征图;b1～b4代表4个BottleNeck模块;W和H分别为特征图的宽和高;C为通道数;GAP指全局平局池化;K指自适应卷积核)

图5 DE-HR-Net结构示意图 网络分为4个阶段(Stage):Stage1只包含1个最高分辨率分支,自 Stage2始每个阶段依次增加1个平行分支并降低分辨率;Stage4共输出4个具有不同分辨率的特征图,其通道数分别为48、96、192、384,分辨率分别降为原图的1/4、1/8、1/16、1/32;通过1×1卷积核输出包含特征点信息的热力图,图中颜色最深的4个点为预测特征点 (a:3×3卷积;b:密集连接模块;c:BasicBlock模块;d:1×1卷积;e:正向传播;f:上采样;g:下采样)

1.7 测试模型效能 于测试集中随机抽取60幅全下肢图像,分别以模型自动测量(模型组)、由医师手动测量(医师组)Miniaci角,计算组间平均绝对误差(mean absolute error, MAE)。自动测量Miniaci角时,将DE-HR-Net模型获得的4个特征点坐标导入Matlab App Designer软件,自动获得Miniaci角。

以测试集输出特征点坐标与手工标注特征点坐标的欧式距离平方和的均方误差(mean-square error, MSE)评价DE-HR-Net模型的性能:

式中,xp,i和xt,i分别代表x坐标的预测值和标签值,yp,i和yt,i代表y坐标的预测值和标签值,i代表每个特征点对应的序号,n代表特征点总数。

分别观察初始网络(HR-Net)、仅添加密集连接机制的HR-Net(Dense-HR-Net)及仅添加ECA机制的HR-Net(ECA-HR-Net)预测下肢特征点的准确性。

1.8 统计学分析 采用SPSS 26.0统计分析软件。以Spearman相关系数评估组间测量结果的相关性;以|r|>0.75为高度相关。采用组内相关系数(intra-class correlation coefficient, ICC)评价2组测量结果的一致性:ICC<0.40为一致性较差,0.40～0.75为一致性尚可,ICC>0.75为一致性较好。绘制Bland-Altman图及散点图,比较组间测量结果的差异。P<0.05为差异有统计学意义。

2 结果

2.1 检测特征点性能 分别以HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net检测全下肢正位片特征点的MSE,其中DE-HR-Net模型的MSE最小,其在髋关节中心点、Fujisawa点、合页点及踝关节中心点分别为1.34、1.49、1.91及1.44。见表1。

表1 HR-Net、Dense-HR-Net、ECA-HR-Net及DE-HR-Net检测全下肢正位片中的特征点的MSE(pt)

2.2 测量Miniaci角 模型组和医师组测量Miniaci角分别为(12.10±3.83)°和(12.08±3.83)°,二者高度相关(r=0.991,P<0.05)且一致性较好(ICC=0.995),MAE为0.22°,组间测量结果差异较小(图6A);线性拟合函数为Y=0.042+0.994×X,R2=0.989,2组结果拟合程度较高(图6B)。

图6 模型组与医师组Miniaci角测值比较 A.Bland-Altman图; B.散点图

3 讨论

术前预测下肢畸形Miniaci角有助于评估膝内翻患者下肢畸形程度,是保证截骨术成功的关键之一。医师手工测量Miniaci角需准确定位关节特征点,操作复杂、效率低、可重复性差,且存在观察者间差异。本研究基于引入密集连接、ECA机制的DE-HR-Net构建检测特征点模型,以尝试自动测量Miniaci角。

随着人工智能不断发展,近年以DL处理医学图像已成为相关领域内的研究热点,包括分割、定位、检测病灶及图像配准和融合。相比检测关节特征点的传统方法,DL基于更大规模数据集特征信息,无需手动设计特征提取器,准确性和鲁棒性均更好[10-12]。NGUYEN等[13]采用卷积神经网络(convolution neural network, CNN)测量下肢生物力学参数,并建立2阶段CNN模型以测量下肢关键角度。PEI等[14]以U-Net网络分割下肢关节并测量髋-膝-踝角(hip-knee-ankle, HKA)成功。林奕军等[15]基于改进后的Dense-U-Net测量髋关节外侧中心边缘(lateral center edge, LCE)角和Sharp角,以评估髋关节发育不良程度。张子健等[16]采用HR-Net检测下肢关键点,并测得股骨远端外侧角、胫骨近端内侧角、股骨胫骨关节线夹角及HKA。

相比OpenPose及Mask-区域CNN等网络,HR-Net的优势在于其所提取的特征图均为高分辨率图像,检测人体姿态关键点任务的平均精确度及平均召回率均较高,可更好地满足检测下肢特征点的任务需求。为提高模型检测精度,本研究在HR-Net基础上引入密集连接机制与ECA机制,通过密集连接机制对网络各层间的特征信息进行相互连接,以增强其表达特征能力;再通过ECA机制对通道层级赋予权重信息,以提高模型检测关节区域重要特征的能力。为增强模型的泛化能力,本研究通过图像增强方式扩充数据集;为消除冗余信息对模型性能的影响,分别对髋关节、膝关节及踝关节区域进行截取,并以截取后的关节区域图像对模型进行训练。本研究以DE-HR-Net测得4个特征点的MSE分别为1.34、1.49、1.91、1.44,提示预测结果误差较小;相比初始HR-Net,MSE降低约1个像素值,可较好提升预测效能。本研究模型组与医师组所测Miniaci角的MAE为0.22°、r为0.991、ICC为0.996,表明模型自动测量结果可代替医师手动测量。

综上所述,本研究成功建立的DE-HR-Net模型可用于自动测量Miniaci角。本研究的主要局限性:①为单中心、小样本、回顾性研究;②未对股骨及胫骨区域进行分割提取,可能影响结果;③医师制作数据集标签时存在一定主观误差;有待后续加以完善。