基于图像处理的肺结节实质分割专利技术分析

任洪潮 徐生芹

关键词 肺结节 肺癌 分割

1研究现状

由于环境污染日益严重、人们生活节奏日益加快、工作压力日益加重，加上不健康的生活方式、不合理的饮食习惯等诸多因素的影响，肺癌的发病率和死亡率不断攀升，其已成为全世界范围内致死率最高的恶性肿瘤之一，严重威胁着人类的生命健康。临床数据表明，I 期肺癌患者术后5 年生存率高达80%，而IV 期肺癌患者术后5 年生存率仅为13%。因此，争取早发现、早诊断、早治疗是降低肺癌死亡率和提高5年生存率的最有效措施。

CT 图像有助于临床医生对肺部病灶情况进行全面检查和分析， 从而提高诊断的准确性。肺结节（Pulmonary Nodules）是指肺内直径小于或等于30 mm圆形或者类圆形的病灶，它是肺癌早期的主要表现形式。依据肺结节的直径大小不同，可以将其分为三类：微小结节（直接小于或者等于5 mm）、小结节（直径大于5 mm 且小于10 mm）和结节（直径大于10 mm且小于30 mm）。依据在CT 下肺结节的实性程度不同，可以将其分为三类： 实性结节（ Solid Nodules，SN）、非实性结节（Nonsolid Nodules， NSN）、亚实性结节（Subsolid Nodules， SSN）[1] 。实性结节大部分表现为边界清楚、形状规则，密度较高，如图1 （a）所示;非实性结节通常表现为边界模糊、形态不规则，如图1（b）所示;亚实性结节一般表现为边界模糊程度较高、形态不规则程度较高等特性，如图1 （c）所示。

计算机辅助诊断（ Computer?Aided Diagnosis，CAD）已成为必然趋势。近年来，CAD 逐步成为医学领域中的研究热点之一，它涉及计算机科学、医学影像学分析、图像处理与分析以及人工智能与模式识别等诸多领域。它主要使用数字图像处理技术、医学影像技术等，结合计算机强大的计算和分析功能辅助医生读取成千上万的影像图像，被赞誉为医生的“第二只眼睛”。

计算机辅助诊断在肺结节诊断方面的关键技术大致可以分为以下四个部分：肺实质分割、肺结节检测、肺结节分割以及肺结节良恶性判断等。目前，大量针对肺实质分割、肺结节检测、肺结节分割、肺结节诊断等一系列图像处理、分析和理解算法的研究和应用问世，从而推动肺结节CAD 系统发展及其临床应用。其中，肺结节分割是CAD 系统的关键环节，对于一幅CT 图像而言，高精度地分割出所有的肺结节是肺结节检测和诊断的基础，是影响CAD 系统诊断性能的关键因素。肺结节分割可以分为肺实质分割和肺结节分割两个部分，前者是后者的基础。分割出完整的肺实质不仅能够排除肺组织区域以外的干扰，提高肺结节算法的分割效率，还能有效解决粘连胸膜型肺结节的分割难题。鉴于CT 图像中肺组织构成完整的区域，且与周围组织的灰度差异较为明显，阈值法成为研究者进行肺实质分割的首选。然而，当肺部存在粘连胸膜型肺结节时，单纯采用分割算法进行肺实质分割会导致肺部边缘轮廓凹陷，难以分割出完整的肺部区域。为此，研究者提出了许多改进的肺实质分割算法，以确保提取到完整的肺部组织。

肺实质分割是分割肺结节不可或缺的基础，但肺结节分割环节的关键在于肺结节分割算法的分割性能。目前，常用的肺结节分割算法有阈值法、区域生长法、边缘检测法、形态学方法、聚类法、人工神经网络法等。事实上，许多算法都能实现对普通肺结节的高精度分割，真正的挑战在于如何高精度的分割出微小型结节、磨玻璃结节、粘连胸膜型结节、粘连血管型结节[2]。

此外，深度学习也是近年来机器学习领域获得的关键突破和研究热点之一，具有强大的特征学习和特征表達能力，从而有利于解决特征分类问题，并成为当前图像处理和分析领域的研究热点。卷积神经网络通过卷积层、池化层和全连接层等能够自己学习和提取图像相关特征，其被广泛应用于计算机视觉领域[3] 。

2肺结节实质分割专利技术分析

本文基于肺结节计算机辅助诊断技术以及常规的肺部医学图像的处理流程进行相关的技术分解（见表1），主要分解为两个一级分支：预处理、分割。针对预处理分支，其主要分解为滤波、校正、图像增强、图像融合等二级分支。针对滤波技术，其分解为空间域滤波（高斯滤波、平滑滤波）、小波滤波以及其他滤波手段。针对校正手段，其分解为运动校正（呼吸校正）、伪影校正和几何校正（拉伸、平移、旋转）以及其他校正方法。针对病灶分割分支，其分解为阈值分割、区域分支、边缘分割、神经网络分割等技术手段，其中将阈值分割按常规技术手段分解为全局阈值分割、自适应阈值分割（范围阈值的比较）以及其他阈值分割（如最佳阈值分割）等手段。针对区域分割，其分解为区域生长、区域分裂合并（超像素分割）等技术手段。针对神经网络的分割算法，基于网络模型将其分解为采用多个神经网络模型和采用单个神经网络模型的技术分支。

在一级分支层面，预处理分支的占比要小于分割分支（见图2），对上述预处理分支的限定主要体现在从属权利要求中，独立权利要求的限定较少，主要为预处理分支中的校正方法的相关申请。分割分支的申请量为468。

在预处理分支下，滤波和校正占有很大的比重。上述滤波或校正方法大部分被限定至从属权利要求中，用于对后续待检测或分割图像的预处理，小部分的滤波和校正方法被限定至独权中，主要用于针对血管、气管、骨骼的过滤处理，以降低图像检测中假阳性的出现概率。

在病灶分割分支中，阈值分割占有非常大的比重，其主要是采用二值化灰度化图像进行分割，或者使用形态学的膨胀腐蚀分割。此外小部分使用自适应阈值分割方法。对待分割图像进行简要分割以便于后续处理。区域分割和神经网络分割法占有一定比例，其中区域分割方法主要使用基于种子生长的区域增长分割方法，部分使用超像素分割法;神经网络分割则大部分使用单神经网络进行分割。

如图3 所示，图像的预处理技术发展较早，其开始并不是单纯地应用于医学领域图像。而医学图像的重建相较于常用的摄像图像的成像原理有着很大的不同，其通常通过检测辐射光子的能量、位置以及计数等因数进行相关图像的重建，其普遍存在分辨率低和噪声大的问题。因此，在预处理阶段获取图像信号的滤波、增强、校正等对后续的图像判断相当重要，本文主要针对胸片影像的处理进行相关检索，发现早在20 世纪末到21 世纪初就已经出现了通过高斯滤波、线性或非线性滤波等空间域滤波对胸片影像信号进行预处理的方案。2007 年，二进制离散小波的频域滤波手段问世，而在2018 年则出现了通过多级滤波器进行预处理的手段。上述滤波技术相关的专利申请始终贯穿整个时间线，其是在对胸片影像的处理中不可或缺的手段。而对胸片图像的校正和增强在权利要求中的限定是在2007 年左右出现的，其通常带有图像增强的手段，以便后续提高输出图像的准确度和分辨率的。

图像分割技术在肺部病变诊断中至关重要，如果病灶分割的边界界定不清晰很容易导致误诊。在早期的申请中，就有通过二值化图像和灰度阈值进行肺部病灶（如肺实质或者肺结节）与胸片背景分离的技术，其通常拥有肺部病灶的特点，如病灶的形状、透明度等。此后，还出现了基于上述特点的边缘检测、基于形状进行肺结节过滤、基于形态学膨胀和聚类方法进行图像分割的技术。2003 年前后，分割技术的相关申请则引入了统计学模型（如西门子的聚类算法和椭球体的函数拟合法）以及出现了机器学习进行分割的相关申请（如西门子的Unet 的神经网络分割模型）。2007 年之后，则以机器学习进行分割的相关申请为主（见图4）。

随着人工智能技术的发展，在2010 年后的肺部病变图像分割技术中，建立神经模型进行肺部病灶的分割技术成为主流。在该阶段的专利申请中，出现了通过两种神经网络模型结合分割肺部血管或者气管、骨骼等分割技术、基于肺部组织的特性进行传统图像分割技术（如全局阈值分割或区域生长分割与神经网络模型相结合的图像分割技术）、针对神经网络模型进行改进的分割技术等（见图5）。

从图6 可以看出，在具体的肺部医疗图像检测应用中，肺结节的分割占据了非常大的比重。在分割技术中，神经网络的分割算法的相关申请已经超过了传统的阈值和区域分割算法。而在神经网络的分割算法中，以深度卷积神经模型为主。此外，不乏采用深度置信网络或者对抗网络等学习模型。在肺部病灶分割方面，还是以区域分割的技术为主，如区域生长分割技术、超像素分割技术等;在肺实质、肺叶、肺裂的检测方面，则通常使用传统的二值化阈值分割或者形态学膨胀腐蚀的技术手段;在肺气管或肺血管、骨骼的分割方面，通常以单模型的神经网络学习模型为主要的分割过滤或者分类手段。

3重要申请人分析

诸如西门子、飞利浦一直是较为活跃的申请人，且这些申请人在申请数量以及质量方面从始至终占据较为重要的位置。此外，就总体来看，在申请总量的排名中还有两类中国企业，其中一类即知名大公司（如上海联影），另一类则是高校、研究院，这两类企业在申请的专利数量以及质量方面也有较大的区别。下文就国外大公司（西门子）和国内医疗器械公司（上海联影）进行相关申请人分析。

3.1西门子

西门子的国内相关专利申请的分布见表2

国内相关专利申请采用了肺结节的分割算法，包括二值化全局阈值判断配合形态学分割、区域分割以及深度置信网络分割模型、多级神经网络训练分割模型等手段。

相对于国内相关专利申请，国外相关专利申请在分割算法上有些许不同（如表3）。西门子在早期申请了距离转换映射算法技术用于抑制胸片中血管或气管对肺部病灶判断的影响，在图像去噪的中还通过分类器或形状过滤器多图像的其他组织进行分类和去除，以保留肺组织或者肺结节。除了上述相关专利申请外，还包括针对提取组织后的图像的增强和校正以及封闭凹面的修复和伪影校正、结合校正等相关专利申请。

3.2上海联影

上海联影的相关专利申请分布见表4

国内的相关专利申请主要针对肺结节的分割。在肺结节的分割技术中，其主要通过阈值分割和和聚类方法执行肺结节的分割。阈值分割主要基于于二值化全局分割和形态学腐蚀法。上述手段均具备已授权的相关专利。

4小结

本文以CNABS 和VEN 数据库收录的专利文献为样本，分析了肺结节实质分割技术的国内外专利申请情况以及主要申请人等，并对其中的相关技术分支做了进一步分析。肺结节计算机辅助诊断技术以外国申请人为主，这些企业的技术相关度、研究体系成熟，专利布局范围广，具有一定的技术垄断性。例如，西门子、飞利浦等大公司作为行业龙头，申请量远远多于其他申请人。国内在相关技术领域亦有部分企业进行研发，但无论是在规模、研究深度和技术相关度等方面均与国外有很大的差距。鉴于近年来人工智能技术迅猛发展，其中分割算法更倾向于利用神经网络等相關技术，这也是近年来肺结节计算机诊断技术的重点及热点。