肝囊型包虫病超声图影像区域分割算法研究

王正业，热娜古丽·艾合麦提尼亚孜，王晓荣，米吾尔依提·海拉提，严传波

1.新疆医科大学 a.公共卫生学院；b.医学工程技术学院，新疆 乌鲁木齐 830011；2.新疆医科大学第一附属医院 超声诊断科，新疆 乌鲁木齐 830011

引言

肝包虫病作为一种人畜共患的寄生虫病，在畜牧地区特别是医疗卫生条件较差的偏远地区较为流行[1]。该疾病早期无明显临床症状，多数情况下患者在常规体检时才被发现感染了包虫病，而在医疗服务不发达的地区，大多数患者产生自觉症状时肝囊型包虫病灶已发展至压迫周围组织器官的程度，这不仅增加了治疗难度，同时还会使患者承受更多的痛苦，消耗额外的医疗资源。因此肝包虫发病早期的精确诊断对于后续的临床治疗及预后有重要意义。超声检查作为一种简单易行、无创、无辐射、精准成像清晰的影像学方法，是肝囊型包虫病诊断的首选检查方法，其在偏远地区该疾病的早期筛查中发挥重要的作用[2]。由于医师对于超声图像的诊断存在一定的主观性，尤其是在偏远的畜牧地区，往往存在医生经验不足的情况，影响肝包虫发病早期的精确诊断，针对此类情况，有研究者提出使用计算机辅助诊断（Computer Aided Diagnosis，CAD）的方法辅助医生诊断疾病，以此来弥补部分地区医疗资源不足的情况[3]。在肝包虫病的CAD研究中，有研究者使用传统机器学习方法和基于深度学习的方法在肝囊型包虫病CT图像病灶定位及类型区分任务中获得了较好的结果[4-6]，但目前有关肝囊型包虫病超声图像自动分割的研究较少。Wu等[7]使用手动分割的方法，提取肝包虫病超声影像病灶区域，并使用卷积神经网络（Convlutional Neural Networks，CNN）实现了肝囊型包虫病超声影像单囊型（CE-1）、多子囊型（CE-2）、内囊塌陷型（CE-3）、坏死实变型（CE-4）、钙化型（CE-5）5种分型的自动诊断，其中VGG19模型取得了最好的结果（精确度为90.6%）。邹奕轩等[8]在甲状腺结节良恶性自动诊断的研究中，手动去除了超声图像中除感兴趣区域（Region of Interest，ROI）之外的信息，此外，许多有关超声图像的智能诊断研究均采用手动分割的方法来提升模型的性能[9-11]。人工标注的方法虽然能较好地分割出目标区域，但耗时较长，在实际应用于边缘畜牧区疾病筛查诊疗时较困难，且人工标注截取ROI病灶区域时由于个体的主观性差异可能会遗漏有利于模型分类的图像信息，所以研究出一种自动分割肝囊型包虫病超声图像（一般为扇形区域）的算法来提升计算机辅助诊断性能具有重要意义，此外在基于医学影像的计算机辅助诊断系统中，超声仪器在报告结果时生成的非影像信息会增大分类或病灶检测模型的计算量，开展对肝囊型包虫病超声图像扇形影像区域的自动分割算法研究，精准的图像分割对后续病灶分型有重要的意义，基于此，本文旨在使用Otsu阈值分割法[12]、马尔可夫随机场算法[13]及基于深度学习的Poly-YOLO算法[14]对囊型肝包虫病超声图像中的扇形影像区域进行分割，以期去除图像中干扰信息，降低后续分类器训练时的计算量，进而提升模型的整体性能。

1 数据与方法

1.1 数据集采集

本研究选用的数据集来源于新疆医科大学第一附属医院2008年1月至2018年12月采集的囊型肝包虫病影像资料，本研究已通过新疆医科大学第一附属医院伦理审查委员会批准（K202207-12）。参考世界卫生组织包虫病非正式工作组关于包虫病灶分型标准[15]，本次纳入研究的肝囊型包虫病超声图像分为5种类型：单囊型、多子囊型、内囊塌陷型、坏死实变型、钙化型。本研究收集了204例患者共计807张肝包虫病超声影像图片，每张超声图像的类型都由该医院拥有3年以上工作经验的超声科影像医师验证确定。由于本研究纳入的超声图片是由不同型号的仪器采集，在分析之前需要对图像进行预处理操作：① 尺寸归一化：超声仪器报告结果中除扇形成像区域外，往往会包含超声仪器成像参数、品牌及医院信息（图1a），这些信息在基于影像的计算机辅助诊断过程中会影响判读结果，增加计算量，影响模型的性能，因此将所有纳入研究的图像尺寸归一化至840 px×720 px，便于后续分割算法的计算；② 图像去噪：利用高斯滤波去除图像中的小噪声点，同时最大程度保留影像资料的边缘信息，提升分割算法性能，并使用Python编程语言中的labelme图像标注软件对图片进行标注（图1b），由于肝囊型包虫病超声影像的特殊性，特别是单囊型与多子囊型，其病灶区域不易与背景区分，病灶区域多为无回声的液性暗区，仅有少量的回声光点（图1c）。

图1 肝囊型包虫超声图

1.2 方法

1.2.1 Otsu阈值分割法

Ostu算法是由日本学者Kumar等[16]提出的用于图像分割领域的经典算法，也被称为最大类间方差算法，主要利用图像的灰度分布确定一个合适的阈值K，将图像分成前景和后景2个部分，即所需目标（Objective，O）与背景（Background，B），并在O与B之间的类间方差取最大值，以此来获得最合适的阈值，类间方差计算方式如公式（1）所示。

式中，μ代表图像中所有像素灰度的平均值，μ0'与μb'代表目标区域与背景区域的灰度均值，当K的取值使得e2(K)最大时，即获得了最合适的阈值K[17]。本研究采用单尺度Retinex（Single Scale Retinex，SSR）算法对超声影像进行增强处理，增强图像前景与背景对比度，在此基础上进行阈值分割，以获取较好的分割结果。SSR算法具体原理为将输入的图像F(x,y)分解为反射图像R(x,y)和照射图像L(x,y)，其中L(x,y)被认为是影像图像质量的主要因素，R(x,y)被认为是不受外界影响的原始图像，其定义如公式（2）所示。

SSR算法即为在原图F(x,y)的基础上去除L(x,y)干扰因素，还原图像的本质信息，应用于图像处理领域时，即为对图像的增强，表示方式如公式（3）所示。

式中，*为卷积算子，G(x,y)为标准环绕函数，通过处理F(x,y)中的像素与环绕加权均值之间的比值得到对于干扰信息L(x,y)的估计，最终得到R(x,y)的取值[18]。

1.2.2 马尔可夫随机场

马尔可夫随机场（Markov Random Field，MRF）模型是基于概率图的数学模型，从聚类的角度实现对图像的分割，其将具有相同性质的像素点识别为同一类，即将分割问题转化为标签分类问题，传入图像C={Ci}i∈S，位置集合为S，其中Ci代表图像在i处的影像学特征，定义标记集合 X={Xi}i∈S，对于位置 i处的标记，Xi∈ {1,2…,k}，k为像素分类的类别数。根据贝叶斯（Bayesian）公式在标记集合X中实现最优影像分类的估计，对目标函数进行求解方式如公式（4）所示。

式中，P(X=x)为标记集合的联合概率分布，一般来说，目标点的标记值与领域像素点的标记值是相关的，该联合概率分布被认为符合马尔可夫模型[19]，P(C|X=x)代表传入图像C的条件分布概率，也被称为似然函数，在一般情况下，似然函数可以被认定为符合高斯分布。Hammersley-Clifford定理指出[20]，吉布斯随机场（Gibbs）与马尔可夫随机场具有等价关系，此时确定Gibbs随机场的能量函数就能够确定马尔可夫随机场，求解方式如公式（5）～（8）所示。

式中，U（x）为能量函数，Z为归一化常数，已知P(X=x)具有马氏性，则进一步推导如公式（6）所示。

式中，Ni表示位置i的领域集合。假定P(C|X=x)服从高斯分布，即各点之间相互独立，则一步推导如公式（7）所示。

将公式（6）与（7）代入目标函数，即可求得最优解，求解方式如公式（8）所示。

1.2.3 Poly-YOLO算法

Poly-YOLO是在YOLOv3（You Look Only Once）[21]算法的基础上改进的一种基于深度学习的实例分割方法。与YOLOv3相比，Poly-YOLO消除了大量重写标签与无效锚点分配的问题，同时使用边界多边形执行实例分割，在训练及检测与尺寸无关的多边形后会生成具有不同数量顶点的多边形，其结构如图2所示。在图像特征提取层，采用了DarkNet-53的网络[22]结构，其采用了与Residual network结构相似的残差块，不同之处在于特征提取的每层都使用了较少的卷积滤波器，并且采用了压缩激发模块（Squeeze and Excitation，SE）去扩展它（图 3），SE允许使用空间和通道的信息，使预测的准确率进一步提高。在网络融合层采用轻量级的带有Hypercolmn（HC）结构的block替代，Hypercolmn作用为将原有的多尺度部分合成为单尺度输出，此外使用Stairstep插值方法增加图像的分辨率（图4），与YOLOv3原有的直接上采样相比，输出更加平滑。

图2 Poly-YOLO网络结构

图3 改进的残差模块

图4 梯度上采样结构

Poly-YOLO训练环境：CPU为酷睿i7-7700K；GPU为GTX1080Ti；运行内存16 GB；实验用操作系统为ubuntu20.04；在tensor flow-GPU框架上进行开发训练；Batchsize设置为8；最大迭代次数设置为200，当loss值经过10次迭代后不再下降，停止训练。

1.3 评价指标

本研究采用Dice相似系数（Dice Similarity Coefficient，DSC）、重叠度（Intersection of Union，IOU）、真阳性率（True Positive Rate，TPR）、豪斯多夫距离（Hausdorff Distance，HD）评价上述3种算法。其中DSC为一种集合相似度量指标，可用来计算2个样本的相似度，取值范围为0～1，该值越接近1代表两样本相似度越高，反之则相似度越低，计算方式如公式（9）所示；IOU分数作为一种分割任务中广泛应用的标准性能度量指标，用于评价目标区域和真实区域之间的相似性，计算方式如公式（10）所示；TPR为预测正确的样本占总阳性样本的比例，又称为灵敏度，计算方式如公式（11）所示；HD是衡量1个集合到另1个集合中最近点的最大距离，用于检测2个集合的不匹配程度，该值越小代表2个集合越相似，由于从集合A到集合B和集合B到集合A的HD不同，所以定义二者直接距离的计算方式如公式（12）所示。

式中，P1代表分割预测的结果；T1代表真实结果。

式中，TP、FP、FN分别代表真阳性数、假阳性数和假阴性数。

式中，TP、FN分别代表真阳性数和假阴性数。

1.4 统计学分析

本研究采用Python 3.6.0语言构建相关的分割算法及模型，使用Python中Scipy1.5.0及Numpy 1.18.5库对DSC、IOU、TPR、HD等评价指标进行计算，使用箱式图描述分割算法评价指标的结果，并利用Matplotlib 3.2.2库及GraphPad Prism 8.4.2进行相关图表的绘制。

2 结果

2.1 Otsu阈值分割法

肝囊型包虫超声影像原图如图5a所示，单尺度SSR图像增强的算法处理超声图片如图5b所示，在原图与经SSR处理的图片上进行Ostu阈值分割结果如图5c～d所示。对于图中微小连接处使用腐蚀算法进行处理，如图6a～b所示，采用最大连通域算法在阈值分割后的图像上寻找面积最大闭合区域，再与原图进行逻辑“与”运算，得到最终分割结果（图6c～e）。结果显示，使用SSR算法对肝囊型包虫病图像处理发现目标与背景的对比度明显增强，使用Ostu分割后可以观察到更明显的差异，经过增强的图像能更完整地将影像区域进行较好的分割，原图对比度较低，Ostu分割方法无法较好地分割扇形区域；同时由于仪器报告格式的不同，部分超声图像存在影像区域与非影像区域连接现象。本文采用腐蚀算法对二值图像进行处理，将微小连接区域腐蚀，获得完整且独立的扇形。

图5 SSR算法的应用情况

图6 Ostu阈值分割过程

2.2 马尔可夫随机场

本研究中，每张图像分类类别设置为2种（目标与背景），迭代次数设置为200次，经过迭代，部分图像出现目标划分为背景、背景划分为目标的情况（图7a），对此类图进行像素反转操作（图7b），得到二值化图像后，同样利用最大连通域算法及逻辑与运算得到分割结果（图7c～d）。本研究中，由于不同图像之间像素灰度值分布有不同，导致2种类别的高斯密度函数存在差异，使得部分图像的目标与背景错分，对此类图片进行灰度值反转操作。虽然在该方法的研究中存在类别划分误差的问题，但由于马尔可夫模型可以较好地将图片中颜色、纹理相似部分归为一类，适用于肝包虫病超声影像扇形区域分割任务，能够较好地拟合超声图像扇形影像区域。得益于对目标与背景的精确划分，马尔可夫模型在DSC和IOU性能评价指标中具有良好的表现。

2.3 Poly-YOLO算法

Poly-YOLO经过72轮epoch训练后终止训练，Loss值在62轮后不再下降，使用训练后的模型对肝囊型包虫病超声图像原图上进行扇形区域预测，结果如图8a所示，生成掩模图（图8b），通过与原图与运算，得到扇形区域（图8c）。与传统方法不同，基于深度学习的Poly-YOLO算法需要大量的数据输入到模型中进行训练，使用极坐标系来表述图像中目标区域的位置，学习极坐标单元原点与目标位置之间的距离，同时可以通过极坐标单元内的角度来调整位置。结果显示分割区域并不是完整的扇形，而是以扇形两侧极点向上延伸，上方形成类似长方形结构（图8b）。

图8 Poly-YOLO网络分割过程

2.4 3种网络模型分割性能

从表1可以看出，使用Poly-YOLO算法得到的TPR最高，HD最小，而使用马尔可夫随机场分割得到的DSC和IOU均最大。与Poly-YOLO和Ostu阈值分割相比，马尔可夫随机场在DSC的表现上分别提高了5%和3%，在IOU上分别提高了10%和2%。与Ostu阈值分割法和马尔可夫随机场相比，Poly-YOLO算法的TPR分别提高了11%和15%，HD分别降低了0.29和0.18。虽然对于扇形区域上方两顶点的拟合程度较差，但Poly-YOLO算法仍然较为成功地完成了对于扇形区域的分割任务，在保证完整分割扇形区域的前提下，对周围的非影像学信息进行了剔除。图9显示了Poly-YOLO算法在各评价指标的箱式图中四分位数间距区间较窄，代表算法在面对不同结构的肝囊型包虫病超声图像时能表现出较为稳定的性能，即具有较强的鲁棒性，值得注意的是，在Ostu算法所得的箱式图中，最下缘接近0，提示Ostu算法在处理数据集的某些图像中，无法对扇形影像区域进行较好地分割。

图9 不同评价指标的箱式图

表1 不同分割算法性能比较

3 讨论

本研究旨在测试Ostu阈值分割、马尔可夫随机场分割和基于深度学习的Poly-YOLO网络模型分割3种方法在肝囊型包虫病超声图像影像区域的分割性能。

Bindhu等[23]研究指出Ostu算法仅考虑灰度值，无法有效去除噪声干扰，灰度直方图易产生波峰波谷不明显的问题，从而导致阈值计算错误，扇形区域难以被完整地分割，最终导致其在本研究中各项性能表现较差。如图6d所示，在最大连通区域寻找到的掩膜图中，Ostu阈值分割算法在处理边缘模糊的区域时产生了过分割的现象，没有将影像区域分割为完整的扇形，这种情况同样出现在马尔可夫随机场分割算法中（图7c），这可能是由于肝囊型包虫病超声图像的特殊性，即病灶内部为暗性液区[24]，导致算法无法对边缘进行有效的拟合，马尔可夫随机场应用于图像分割任务时，实质上是将图像分割问题转化为对图像中每一个像素进行标记分类的过程，通过求最大后验概率来寻找每个像素的最优标签，目标点的标记值仅与其邻域内的像素点标记值有关，与邻域外像素点无关，当每个标签都得到了最合适的标签后，即代表分割完成[25]。

Fan等[26]研究指出马尔可夫模型在MRI图像分割任务上出现了由于灰度不均而导致模糊边缘的过分割问题，扇形影像区域的不完整分割可能会对后续研究中关于肝囊型包虫病亚型分类结果造成一定的影响。本研究发现，基于深度学习的Poly-YOLO算法可较好地处理这一情况，通过对大量标注图像的学习，该算法较为完整地实现了肝囊型包虫病超声图像扇形影像区域的分割，这也使得其在TPR和HD指标中具有较好的表现。但有研究指出，Poly-YOLO分割算法在处理非强凸图像时，当2个顶点同属于一个极坐标单元时，会取距离较大的顶点[14]，这可能是导致Poly-YOLO算法在预测扇形区域无法较好拟合扇形的2个顶点的原因，使其在DSC与IOU中表现不佳。

本研究仍存在一定的不足：马尔可夫随机场分割算法在图像分割领域仍具有巨大的应用价值，其利用图像像素之间的关系，可较好地将属于同一类型的像素精准分类[27]。在本研究中，由于肝囊型包虫病超声图像的特殊性，部分病灶与背景像素值相仿，导致算法将本该分为病灶的区域错误划分为背景，致使其性能表现较差。未来研究可采用图像增强相关算法，将目标与背景区域对比度增强，以提高马尔可夫随机场对图像分割的性能。在基于深度学习的Poly-YOLO算法中，由于网络自身标签创建问题，导致模型对于扇形区域拟合并不完整，下一步的研究方向为对网络模型及其参数进行适当的调整，以便训练出的模型可以较好地拟合扇形区域，实现更为精确的分割效果。

4 结论

本研究结果表明，基于SSR的Ostu阈值分割方法、马尔可夫随机场图像分割和基于深度学习的Poly-YOLO网络模型均能较好地分割出扇形影像区域，其中Poly-YOLO算法相比较其他2种算法具有较强的鲁棒性，适用于不同仪器报告的超声图像，且分割效果较好，TPR可达0.88。本研究为后续基于超声影像的肝囊型包虫病自动分型研究奠定了一定的理论基础。