消化道内窥镜图像异常的人工智能诊断方法研究进展

张璐璐，郭旭东，张娜，张林琪，张慧河

上海理工大学 医疗器械与食品学院 (上海,200093)

0 引言

半个多世纪以来， 人工智能经历了以模式识别为代表的机器学习和以卷积神经网络(convolutional neural network， CNN)为代表的深度学习阶段。传统机器学习系统利用强大的数据处理能力获取数据规律， 再凭借人选经验指导不断改进系统性能达到人工智能， 这种人工智能能够代替人类做一些简单的逻辑回归及分类任务， 在测试集上表现出较高的准确度[1]。然而, 这种基于人选特征的人工智能， 智能化水平严重地受限于人类对于数据的认知经验， 不能充分发挥出模型自身的数据处理能力。随后， 科学家模拟人类大脑学习的过程， 构建神经网络实现了端到端预测的深度学习系统， 人工智能能被应用到更多、 更具体的任务场景中， 从而掀起了新一轮的人工智能热潮[2]。

近年来, 人工智能在医学领域的医学影像、 辅助诊疗、 疾病预后、 健康管理、 医院管理等方向均取得了不错的成绩[3]。医学影像占据了医疗数据的绝大部分， 对医疗影像的处理自然地成为了人工智能在医学领域的研究热点。其中， 消化道无线胶囊内窥镜(Wireless Capsule Endoscope， WCE)是一种微创、 痛苦小的检查方法， 医生主要通过消化内镜拍摄的图片获知人体消化道内部的信息。内镜图像检测的智能化有利于提高医疗影像处理效率， 缓解医生阅片压力， 加快我国消化内镜的使用速度。人们对内窥镜图像智能检测的研究已有数十年时间， 目前该技术已经有望被应用于临床实践中。

1 息肉智能检测的应用进展

息肉是一种变态发育的组织， 被证明与结直肠癌的发生、 发展密切相关， 对息肉的早期检测有助于显著地降低结直肠癌发生的机率， 息肉智能检测已经成为人工智能在消化道内窥镜图像检测领域最重要的应用。息肉外观大都为水螅型， 具有规则的曲率特征， 早期人工智能主要分析其形状指数、 曲率、 球度比、 高斯曲率、 平均曲率等参数[4]， 特征选取相同的情况下， 采取基于区域的预处理方法能够提高检测性能。Figueiredo等[5]和Vani等[6]分别利用图像的局部平均曲率和主曲率检测WCE图像中的息肉异常， 发现这种基于局部图像仅分析曲率特征的方法虽然实现了检测需求， 但容易在肠道褶皱处发生漏诊， 此外， 息肉分化形态多样， 人工判定的曲率阈值不易检全异常。为了避免正常区域纹理特征产生的干扰， Hwang等[7]缩小特征提取区域， 使用标记符控制的分水岭算法分割息肉， 引入了Gabor滤波器和K均值算法， 筛选梯度幅度变化产生的过量标记再分析其曲率特征， 提高息肉检测准确率至100%， 特异性为81%。

为了改善单一特征检测结果特异性低的问题， 出现了多种纹理特征结合的方案。Yuan等[8]改进特征包(Bag of Feature， BoF)方法， 提取异常点的多种纹理特征， 并用词汇聚类中心直方图作为特征向量输入SVM进行分类。Liu等[9]提出结合多尺度的曲线及纹理特征检测小肠肿瘤， 用离散曲线变换(Discrete Curvelet Transform， DCT)扩充数据量， 提取图像矩阵的二阶、 三阶统计量构建特征向量， 以遗传算法筛选特征， 最后系统在分类任务中实现了98%的特异性。之后， 深度学习再次提高了系统的整体预测性能， 其中密集连接的卷积神经网络DenseNet以前馈方式将每层与另一层连接， 这种结构能保证网络层间的最大信息流， 缓解梯度消失问题， Yuan等[10]引入多种损失函数筛选特征， 优化后的DenseNet对息肉检测准确率达95.62%。Mustain等[11]将CNN用于特征提取， 评估特征的有效性后用分数融合的方法结合网络特征和彩色小波特征， 检测息肉准确率达98.79%， 特异性为98.52%。

2 出血智能检测的应用进展

消化道出血是临床检查中最为常见的异常之一， 因其可由多种病因引起， 所以通过检测出血可以有效地判断消化道疾病的严重程度。出血区域常呈现出色度更为饱和的红色， 在颜色上与正常组织区别明显， 大多预处理过程会先将图像转换到不同色彩空间中分析其颜色特征。Fu等[12]和Kundu等[13]对图像进行超像素分割， 分别分析RGB空间和YIQ空间中超像素的单通道颜色直方图， 获得了多尺度的颜色特征用于出血检测。Ghosh等[14]将图像转换到HSV空间， 考虑单一通道检测出血异常能力的差别， 对比从S、 V通道获取的颜色特征， 发现H通道特征对出血图像有更高的检测精度和灵敏度， 接着又开创性地提出[15]利用RGB色彩空间G通道和R通道获取变换过程的颜色特征。区别于提取空间时域上的特征信息， Hassan等[16]关注频域上异常区域的表现， 提取了归一化图像的灰度共生矩阵(Gray Level Co-Occurrence Matrix， GLCM)特征， 选取频谱特征并用SVM完成出血帧的检查， 结合了频域的全局和局部特征， 同时验证频域傅里叶频谱与时域图像异常的关联性， 该方法的准确性达到99.19%。

出血异常与正常组织在纹理上存在一定差异， 使用纹理特征能描述更多表现微弱的异常， 如Tuba等[17]结合颜色和纹理特征检测WCE图像中的出血异常， 提取HIS空间中H、 S通道， CIE-Lab空间中a通道的颜色特征和灰度图像LBP直方图的偏度、 峰度等纹理特征。在WCE中检测和定位胃肠道的出血点， 可以准确地定位早期的血管发育不良或贫血， Shvets等[18]以深度学习框架为基础， 设计了一个二元分类器区分正常与出血图像， 以图像像素为单元用定位算法定位出血点。相比对其他消化道异常的检测， 临床上对出血异常的诊治时间要求更加紧迫， 目前来看， 消化道出血检测的焦点主要是对无线电子胶囊内窥镜的图像检测而非视频检测， 由此表明， 虽然已经实现图像对出血检测， 但实时性还未达到实际应用要求。

3 溃疡智能检测的应用进展

多种严重消化道疾病的发生均伴有溃疡现象， 因此溃疡检测也是消化道异常检测中一个活跃的研究话题。溃疡异常大多为白色或浅灰色， 形状分化较多， 边界多呈现类圆特征， Souaidi等[19]综合考虑颜色， 纹理特征， 结合完备的局部二值模式(Completed Local Binary Patterns， CLBP)中的CLBP-S、 CLBP-M和5层拉普拉斯金字塔(Laplacian Pyramid MS)的多尺度方法， 提取溃疡区域在RGB和YCbCr色彩空间中G通道和Cr通道表现出的特征， 在两个数据集上分别测试准确率达95.11%和93.88%。WCE中深度学习的方法也被证明能够有效用于消化道溃疡检测， 其中卷积神经网络的使用最为广泛， Aoki等[20]训练了一个基于SSD(Single Shot Multibox)的CNN系统， 对小肠溃疡检测的准确率和特异性分别为90.8%和90.9%。Fan等[21]对预训练的网络调参， 获得了表现更优的系统， 修改AlexNet的多路输出为两路输出表示正常和异常， 分别应用到WCE图像中的溃疡和糜烂异常的检测， 准确率达到96.36%和94.68%。Alaskar[22]仅调节经过预训练的GoogleNet和AlexNet的参数， 实验结果显示用这两种网络模型检测溃疡的准确率达到100%。Yuan等[23]用滤波器组提取多尺度的纹理和颜色特征表示溃疡图像， 融合多尺度的特征之后结合位置约束的线性编码方法(Locality-Constrained Linear Coding， LLC)进行特征编码， 识别测试集溃疡图像准确率达92.65%。胃癌是一种常见的恶性肿瘤， 可以由溃疡或早期癌组织发展而来， 及时检查胃内溃疡能够降低胃癌的发生率 。Le等[24]对彩色胃镜图像使用深度学习的方法分别区分正常、 良性溃疡和癌症， 在ImageNet上初始化网络权重再使用迁移学习， 比较ResNet和VGGNet在这项任务中的表现发现用二分类的方法区分正常图像的准确度超过90%， 而用来区分相似度高的溃疡与癌症时准确率明显下降， 表明若要真正实现临床上的疾病分期， 仅使用迁移学习还不能很好实现， 仍需对网络做进一步优化。

4 多异常智能检测的应用进展

为了适应实际应用中消化道疾病的多样性， 人们开始尝试多种异常的协同检测。特征融合方法的提出， 解决了传统机器学习中难以利用单一特征同时检测多种异常的短板， 取得了不错的成绩。Sharif等[25]用CNN作为特征提取器提取颜色和几何特征并融合， 用条件熵筛选特征， KNN分类器进行图像分类， 完成精确度达99%的出血、 正常和溃疡图像分类。 Karargyris[26]采用 SUSAN 边缘检测器和log Gabor滤波器提取图像形状特征， 之后用双阈值顺序聚类方法(Two-Threshold Sequential Clustering)找出曲率中心来分割感兴趣区域， 实现了WCE中对小肠息肉和溃疡的协同检测。实验发现改变曲率阈值能够提高对形状规则的息肉的检测准确率， 对形状不规则的溃疡异常检查效果提高不明显， 表明曲率特征更适合检测形状规则的异常区域。类比时域中将图片转换到不同色彩空间得到多尺度的颜色特征， 人们考虑在频域用滤波器组筛选特征， Nawarathna等[27]提出对LM(Leung and Malik,LM)滤波器组运用LBP算法获得多种纹理特征， 再使用IBD(Image Block Dictionary)分类器分类多种异常， 发现对出血异常及腺瘤检测使用纹理特征敏感性更高。Charfi[28]结合离散小波变换(Discrete Wavelet Transform， DWT)和LBP(Uniform Pattern)方式进行特征提取， 用SVM和反向传播的多层神经网络(Multilayer Perceptron， MLP)完成多种病灶的协同检测。近年来， 乳糜泻的患病率逐年增加， 影响了亚洲达1.5%的人口[29]， 为了在一幅图像中同时区分出乳糜泻和非特异性十二指肠炎， Wei等[30]使用移动滑动块逐行检测异常， 模型基于ResNet识别乳糜泻、 正常组织和非特异性十二指肠炎的准确度分别为95.3%， 91.0%和89.2%。

5 深度学习在消化道其他异常检测中的应用进展

传统机器学习的异常检测过程需要人工给出病灶区域， 提取特征并筛选， 特征表达能力受限于人类认知能力， 并且特征间的差距不易表现出像素之间的联系。深度学习由低级到高级逐层筛选特征， 与传统的检测方法相比， 深度学习提高了异常识别准确率和对大数据的检测效率。新一代人工智能自出现以来， 已经给医学图像处理领域带来了三个历史性转折点： 一是深度学习的提出， 改变以往人工筛选特征用于测试集分类， 成为一种端到端的图像检测方式； 二是卷积网络的应用， 实现了对医学图像精准分割的需求， 而不仅是分类； 三是迁移学习技术的出现， 让模型的预测能力不再受制于训练集大小， 加大了深度学习在医疗领域的使用范围。Yang等[31]基于超像素特征检测图像异常， 合并提取的颜色和纹理特征为一个特征向量表示图像， 提出的深度稀疏支持向量机(DSSVM)模型对特征加以权重并进行分类， 增强了对异常分类的适应性。Zhu[32]基于ResNet用图像增强和迁移学习的方法区分早期胃癌与黏膜浸润， 对胃癌检测敏感度为76.47%， 准确率为89.16%， 有效减少了人工诊断对浸润程度的高估， 减少了不必要的胃切除术。Lan等[33]提出基于深度级联的卷积神经网络结构， 联合区域分析和迁移学习的方法， 使用多区域组合的方法获得感兴趣区域的良好覆盖率完成分割， 提高图像异常检测性能。

6 总结与展望

本研究以人工智能在消化道检测中的常见异常为切入点， 介绍了基于传统机器学习智能检测消化道图像异常的方法， 按照单一特征， 如颜色特征、 形状特征和纹理特征等； 介绍了多特征、 多尺度结合的异常检测方法； 说明了深度学习和特征融合的使用为图像异常智能检测带来的改进。人工智能初应用于消化道图像异常检测， 人们主要研究颜色、 纹理和几何特征， 前两者相对于几何特征具有更强的异常表达能力， 在这两个方面的研究也更多。通过提取多维的特征表述异常区域， 使用泛化能力更好的分类器以及图像预处理和特征融合方法的应用， 能实现较好的检测准确率。随着人工智能的快速发展， 深度学习技术尤其是CNN， 在医学图像分析和识别中得到了广泛的应用。迁移学习技术的出现， 使模型预测的能力不再受制于训练集大小， 同时也解决了医学领域中的更多问题。

然而， 对于消化道异常的人工智能诊断仍有问题等待我们解决： 目前还未能通过图像处理的方法， 完成体外可视化的异常精确定位； 另外， 虽然实验研究已经表明人工智能的异常检测方法的准确率已经达到或超过专业医生， 但是我们无法知道将这些方法用于临床诊断时， 在诊断时间上其表现是否依然出色。因此， 未来应继续优化网络结构， 提高系统实时检测速度； 增强网络泛化能力， 实现结构更优的多异常智能检测系统； 另外， 应该加强软件开发者与临床诊断医生的联系， 获取临床实际需求， 为医生提供可靠的诊疗建议； 最后， 仍需进一步完善消化道智能检测系统， 实现消化道异常的精准定位指导后续治疗过程。