模式识别在医用超声数字图像特征提取中的应用研究
2020-03-03王小伟游世军石昊坤胡艳辉
孙 伟 王小伟 游世军 石昊坤 胡艳辉*
超声诊断是将超声检测技术作用于人体组织,通过参数采集、数据成像等过程实施临床诊断的一种技术手段,是目前广泛采用的医学诊断方法之一,具有无创、实时、安全及经济等优良特性,在临床中具有不可替代的作用[1]。由于其成像方式、过程及环境的复杂性,超声图像存在固有的高噪声、低分辨率、低对比度及不均匀性等特性,影响后期图像分析及临床诊断效果[1-2]。因此,需要在图像分析前实施图像预处理,针对图像具体应用场景中组织及应用特点进行色域变换、几何变换、降噪、增强及均匀化等处理[3-4]。
随着计算机图形学、数字图像处理等技术在医学影像处理与分析中的广泛应用,逐渐加强了模式识别与医学诊断的融合,而图像特征提取作为医学图像模式识别的前期工作和关键环节,在图像增强、图像重建、图像分割及图像识别等应用中发挥了重要作用[5]。为此,本研究针对医用超声图像处理中面临的现实需求,设计超声数字图像特征提取及辅助分析系统,采用数字图像特征提取及模式识别分析方法,在数个典型应用场景中进行测试,以提高临床诊断质量及效率。
1 超声数字图像特征提取及辅助分析系统设计
1.1 标准化图像分析流程
超声数字图像特征提取及辅助分析系统采用标准化图像分析流程,分别针对不同过程构建不同层次的图像分析组件,提取图像特征,为临床诊断服务。图像分析处理流程见图1。
图1 标准化图像分析处理流程
图1中各功能实现过程可单独调用,也可采用图像处理主流程调用模式识别功能模块实现,用户通过设置参数及功能模块运行流水线实现超声图像操作过程。功能实现基于python语言实现,其具有简洁和快速的优点[6]。同时,支持函数式及面向对象开发模式,不仅支持嵌入式C语言,同时拥有丰富的图像处理功能库,扩展性强,能够极大地提高开发效率。
针对研究中的图像处理主流程、图像预处理、感兴趣区域(region of interest,ROI)分割和特征提取各个组件进行分别描述。
1.2 图像处理主流程
图像处理主流程用于实现系统参数设置、功能模块调用、通用功能等功能。用户通过设置系统参数,主流程读取配置并完成图像处理流程调用,其内容包括功能调度、日志和并行化。
(1)功能调度。主流程调度模式识别功能模块通过读取用户配置流程,按照配置流程建立任务队列,当执行具体任务时,工作组件执行回调函数实现对应功能:
(2)日志。主流程通过建立日志打印及存储功能,实现辅助调试、操作记录等功能。
(3)并行化。为提高实时图像处理效率,可通过并行化加快处理过程,采用多进程方式实现调用过程[7]。
1.3 图像预处理
超声图像成像原理和过程较为特殊,导致图像自身具有高噪声、低对比度及不均匀性等特性[2]。因此,需要使用图像预处理技术去除噪声和增强图像对比度,而处理过程中最大限度地保留重要诊断特征是提高图像质量的关键环节,往往需要结合具体场景进行取舍[8]。在研究中选择数种方法进行尝试,以提高在图像处理中的适应能力,其中包括图像降噪、图像增强和图像均匀化。
(1)图像降噪。医用超声图像中的噪声主要由热噪声和斑点噪声组成,其中斑点噪声较为特殊,无法像热噪声通过硬件方式或用户操作避免,但通过后期图像处理,能够降低斑点噪声形成的颗粒样干扰[2,8]。在降噪模块中集成各项异性扩散法、双边滤波和高斯滤波法用于图像去噪,在抑制斑点噪声的情况下最大程度降低图像边缘特征的损失[9]。
(2)图像增强。经过降噪后的图像,进一步通过增强全局及局部特点,凸显图像特征,提升图像质量,提高临床诊断效率。选择对比度增强、动态范围压缩、锐化及边缘增强等方法用于图像增强[10]。
(3)图像均匀化。图像均匀化可将灰度分布不均匀的超声图像经处理后形成分布均匀化,从而改善超声图像质量,将原本像素较少的灰度域,增加图像灰度范围,提高对比度和清晰度。系统在设计中采用了常用的均值漂移滤波(mean shift filtering,MSF)[11]和直方图均匀化改善超声图像的均匀性。
1.4 ROI分割
超声图像的ROI通常集中在肿瘤及结节等,通过分割出ROI,将特殊诊断区域分割出正常组织,为进一步诊断提供信息。基于阈值、聚类、分水岭、图论、活动轮廓模型、马尔可夫随机场和神经网络建立ROI分割方法并进行测试[12]。
1.5 特征提取
采用多维度特征联合的数据图像模式识别方法,分别从图像信息中全图宏观层次、分割后ROI层次中提取多模态特征。
(1)全图宏观特征。全图特征包括图像几何特征及形态学特征:①图像几何特征包括图像长度、宽度和点密度等;②图像形态学特征采取从形态学角度分析图块的灰度级、大小、位置、方向、形状、角点及拐点等表达医学图像局部的粗粒度高层语义信息。采用区域分割方法获取图块,继而使用图块向量化方法实现同维向量表达,得到图像集基于形态学的特征矩阵。图像斑点通过尺度不变特征变换(scale-invariant feature transform,SIFT)检测,图像角点则可通过加速稳健特征(speeded up robust features,SURF)获得[13-15]。
(2)ROI层次特征。ROI特征包括基础特征及推理特征:①ROI基础特征由ROI的区域形状、面积、周长、最大径长度、数量和纹理组成。ROI的区域形状采用傅里叶形状描述符法[16]及边界特征法判断;②ROI的区域纹理特征包括基于局部纹理特征、局部二值模式(local binary pattern,LBP)、类哈尔(Haar-like)特征、基于全局纹理特征的灰度共生矩阵(grey-level co-occurrence matrix,GLCM)和基于形状纹理特征的边缘方向直方图(edge direction histogram,EDH)4种特征表达图块的细粒度底层语义信息,构造纹理的特征矩阵[17-18]。ROI典型特征描述见表1。
表1 ROI典型特征描述
表1显示,依据ROI纹理及形状特征组合形成分类器具有较强的辅助诊断能力,主要用于判断ROI质地及边缘特征,具有临床应用价值[19]:①利用液体及均匀性实质组织典型的图像色差,辨别是否存在包膜及液态组织,鉴别实质性组织;②采用均匀性检测判断ROI组织是否为均质性病变,通常超声影像中均质性病变边线处回声均匀状态,反映在图像中呈现出色差波动较小;③钙化组织与气性组织比较,钙化组织通常较为稳定,图像均匀,气性组织由于流动特性导致内部模糊,可采用模糊图像检测识别气性组织特征;④在急性炎症病变中,由于水肿的存在导致组织图像呈现边缘光滑,分割后脏器通常测量经线值增加,而慢性组织验证中,由于存在纤维样病变,因此可通过纹理检测识别出典型纹理特征,采用纤维样纹理检测血吸虫肝纤维化病变;⑤较之良性肿瘤,恶性肿瘤超声图像内部结构复杂,往往伴有出血、坏死等,通过图像均匀性检测为非均质性病变后,采用分割检测包膜,进一步鉴别良性肿瘤,通过分割结果,计算ROI周长、面积等,并基于模式识别方法,判断边缘特征,是否存在边缘浸润、光晕圈、水牛眼、伪足等特征。ROI纹理及形状特征见图2。
2 模式识别在诊断场景中的应用
图2 部分ROI纹理及形状特征图
按照部分ROI纹理及形状特征(图1)的流程配置图像分析过程,在各个流程中选择对应的分析方法后运行主流程,主流程调用分析模块执行模式识别操作。在测试中,针对目前广泛存在的心脏占位病变鉴别、乳腺组织肿瘤分割、骨骼肌量化评估等典型诊断场景进行应用研究。
2.1 心脏占位病变辅助诊断
心脏病变具有起病急、病死率高的特点,早期诊断往往十分关键。受心脏灌流和成像特点等的影响,心脏微小病变通常难以捕捉,尤其是心脏粘液瘤,该疾病临床上较为常见。结合临床特征,瘤体质地柔软,呈现出椭圆形或圆形团块,检测表面不光滑,可分别通过质地、形状及边缘等特征进行鉴别,而瘤体多数伴有瘤蒂,需要结合形状及边缘检测判别[20]。
结合临床特征选择处理流程及分析方法,选择各项异性扩散法降噪、边缘增强以及MSF均匀化作为预处理。通过模式识别方法分割出ROI区域,通过瘤蒂识别、瘤体色差检测辅助超声诊断。模式识别应用效果见图3。
图3 模式识别应用效果图
2.2 乳腺癌超声图像ROI分割
乳腺癌与心脏辅助诊断类似,早期诊断及时干预十分重要[21-22]。超声诊断在传统上往往依赖于诊断医生的经验,可通过特征提取并将特征应用于辅助诊断。由于恶性肿瘤具有轮廓模糊,加之超声图像自身的成像缺陷,增加了ROI分割的技术难度。近年来,基于图论的图像分割算法在超声图像分割中取得了较好的效果[23-24]。因此,图3 d上方红色箭头处显示,基于标准化图像分析流程,按照去除噪声、增强对比度、提高均匀性和分割ROI流程,在一定程度上避免了过分割和欠分割的发生,取得了较好的辅助分割效果。
2.3 骨骼肌动态特征参数测量
骨骼肌动态特征参数测量用于状态评估。肌肉是人体运动的支持组织,通过拉伸与收缩完成机体活动。临床和运动学上可通过定量分析肌肉的长度、厚度及羽状角等图像特征间接评估肌肉状态与功能[25]。采用超声成像技术可反映骨骼肌动态变化,已被广泛应用于骨骼肌状态评估,但单纯采用超声检测无法精确测量骨骼肌特征,因此采用模式识别方法可为精确测量提供方法学支持[25]。图像处理计算骨骼肌特征项及其对应算法见表2。
表2 骨骼肌特征项及对应算法
经测试发现,改进超声图像降噪算法,在时间效率和去噪效果、边缘保持效果以及纹理保留效果上要达到一个平衡点。通过选择合适的图像预处理方法能够有效减低图像噪声,因此,系统采用了灵活的应用配置流程,用户可通过流程配置:
通过配置文件在流程中选择合适的方法用于图像处理过程,并可根据结果及时调整功能模块获得理想的诊断结果,为自动化图像分析流程的建立进行测试。
3 结论
超声诊断在医疗诊断中具有重要地位,但由于成像方式及环境等因素,导致图像引入了斑点噪声等干扰因素,降低了图像识别的可读性。为此,超声图像特征提取及辅助分析系统将模式识别方法引入超声图像分析中,通过图像预处理、提取图像宏观特征以及ROI区域特征构建了一种超声图像模式识别工具,并结合数种典型应用场景进行测试,该系统能够增强图像显示,通过提取图像典型特征,为临床超声图像诊断提供辅助信息,对于各医疗机构构建类似的超声图像分析系统具有参考意义。