深度卷积神经网络用于小肠胶囊内镜检查诊断的研究进展

曾于珍 蒋蔚茹 丁伟群 邱志兵 陈坚

摘 要 无线胶囊内镜是诊断小肠疾病的主要手段，但存在内镜图像分析耗时、耗力的问题。本文介绍人工智能深度学习、尤其是深度卷积神经网络在小肠胶囊内镜检查自动辅助诊断方面的应用进展，包括对小肠溃疡及糜烂、血管扩张、消化道出血、小肠寄生虫病等多种疾病的诊断价值。

关键词 无线胶囊内镜 深度卷积神经网络 小肠疾病

中图分类号：TP391.5； R574.5 文献标志码：A 文章编号：1006-1533（2020）23-0003-03

Application of deep convolution neural networks in the diagnosis of small bowel diseases with wireless capsule endoscopy*

TSENG Yujen， JIANG Weiru， DING Weiqun， QIU Zhibing， CHEN Jian**

（Department of Gastroenterology， Huashan Hospital， Fudan University， Shanghai 200040， China）

ABSTRACT Wireless capsule endoscopy （WCE） is the main method for diagnosing small bowel diseases， however， there are problems of time- and labor-consuming in endoscopic image analysis. This article introduces the application progress of artificial intelligence deep learning， especially deep convolutional neural networks in the automatic auxiliary diagnosis by small bowel capsule endoscopy， including the diagnostic value of such diseases as small intestinal ulcers and erosions， intestinal hemangiectasis， gastrointestinal bleeding and small intestinal parasites.

KEy WORDS wireless capsule endoscopy； deep convolutional neural networks； small bowel diseases

成年人小肠的平均长度为5 ～ 7 m，由空肠、回肠组成，是食物消化、吸收的重要场所，也是消化道免疫和内分泌相关的器官。小肠因远离口腔和肛门，常规胃镜、肠镜无法到达，故小肠疾病诊治是临床上的一大难题。传统的小肠疾病检查手段包括小肠低张造影、小肠CT造影和小肠磁共振造影等，这些检查手段虽普及程度较高，但诊断的准确度差强人意[1-2]。

近年来，随着医学发展及其技术进步，胶囊内镜、小肠镜等相继问世，打破了以往消化内镜无法涉足小肠这一“盲区”的困境[3-4]。小肠镜可于直视下完成全小肠的检查，包括进行活组织检查、病灶标记以及息肉切除等内镜下治疗[3]，但小肠镜检查是侵入性检查，需全身麻醉，耗时、耗力，且技术要求高，一次完成全小肠检查的比例不高。一项共纳入14项观察性研究的荟萃分析比较了胶囊内镜检查与其他小肠检查手段对疑似小肠出血的诊断效率，结果显示胶囊内镜检查的诊断率为63%，显著高于推进式小肠镜检查的26%和小肠钡餐检查的8%[5]。

无线胶囊内镜（wireless capsule endoscopy， WCE）是一种由微型照相机、数字处理系统和无线收發系统等组成的胶囊样微型诊断工具，可将受检者的消化道图像无线传送至外部接收器。与传统的插入式消化内镜相比，WCE检查具有无痛、无创、安全、便捷等优势，可用于检查胃、结肠、直肠和小肠，尤其是在小肠检查方面具有独到之处。美国FDA于2001年8月批准了WCE（PillCam SB）的临床应用[6-7]，现该产品已发展到第三代（PillCam SB3），后者的图像分辨率得到进一步提高，且帧速可自动调节。如在十二指肠检查中，当WCE移动速率较快时，帧速可增至6帧/s；而在WCE移动缓慢或静止时，帧速会自动降低到2帧/s。

WCE检查的临床应用指征也在不断更新，目前主要用于成人（包括患有缺铁性贫血的成人）疑似小肠出血的检查，也常协助诊断疑似克罗恩病和小肠肿瘤等疾病。WCE对不明原因的消化道出血的诊断率约为61%，显著提高了小肠疾病的诊断效率[8]。从受试者吞咽WCE开始，WCE就会以2 ～ 6帧/s的速率自动拍摄，在消化道蠕动波的推动下逐步完成对整个消化道的检查，整个过程持续8 ～ 10 h，可产生5 ～ 8万幅图像。若完全依靠消化内镜医师对数量庞大的WCE图像进行人工读片，则一般需6 ～ 7 h才能完成1例受试者的诊断，工作量巨大，易导致视觉疲劳，也易产生漏诊、误诊。因此，必须开发一种能辅助内镜医师读片诊断的软件以提高WCE检查的诊断效率。

近年来，随着深度学习技术的飞速发展，人工智能在诸多领域都已得到实际应用。卷积神经网络（convolutional neural networks， CNN）是一种不需过多预处理的深度学习模型，适合进行图像分析及处理[9-10]。基于CNN的深度学习是目前医学影像分析中最常用的机器学习算法，其优点在于可保留图像的空间关系特征，而此特征对医学影像分析非常重要。目前，人工智能辅助诊断技术已开始在医学领域得到成功的应用[11]，如在放射影像学诊断上辅助放射科医师发现或识别CT、MRI等图像中的易漏诊、误诊的病灶，提高放射科医师的读片速率和诊断准确度。智能辅助诊断不仅能完成自动化的图像识别和图像后期加工、包括三维影像重建任务，还可用作可靠、直观的诊断依据[12-13]。

机器人内镜系统是体内复杂结构检查的一种微创选择，可满足人们对精准医疗的日益增长的需求，临床应用正在迅速扩大。该系统能进行相关测量工作，如测量WCE走过的距离，从而确定胃肠道病变的位置；测量病灶大小等。Iakovidis等[14]研究了使用基于深度卷积神经网络（deep convolutional neural networks， DCCN）的计算机视觉方法进行非接触测量的可行性。他们将深度卷积图像配准方法和多层前馈神经网络集成到一新的系统中，使系统具有了如下主要优点：①因不受特定模型的约束，故通用性更好；②对非刚性变形更有优势；③适用于大多数内镜系统及环境，同时测量准确性更高。该系统已在体外经使用一种幽灵实验模型和一个机器人辅助试验台进行性能评价。研究获得的初步成果喜人，有望在内镜领域得到广泛应用。

CNN在执行不同的计算机视觉任务中都表现出有令人印象深刻的优异性能。Fan等[15]提出了一种基于深度学习模式的计算机辅助检测方法，用于WCE图像中小肠溃疡和糜烂的检测。与传统的学习模式相比，深度学习模式可直接从海量的数据中提取图像特征，从而提高识别的准确度和效率。他们开发的检测方法包括图像裁剪和图像压缩，使用含有数万幅WCE图像的数据集训练AlexNet分类CNN，以使之能够区分病变组织和正常组织。研究显示，利用CNN自动检测WCE图像中小肠溃疡和糜烂灶的准确度分别为95.16%和95.34%，敏感度分别为96.80%和93.67%，特异性分别为94.79%和95.98%，受试者工作特征曲线下面积（area under receiver operator characteristic curve， AUROCC）均>0.98。Wang等[16]也通过DCCN提取WCE图像中小肠溃疡的识别特征，开发了一种以ResNet-34分类CNN为基础网络，融合图像的浅、深层特性，以最终用于诊断的决策系统。利用该系统，他们评估了1 416例患者WCE图像中的小肠溃疡特征，目的在于探讨DCCN用于小肠溃疡识别的可行性，优化基于CNN的WCE图像的小肠溃疡识别体系。结果显示，该系统的准确度为92.05%，敏感度和特异性分别为91.64%和92.42%，表现优异。

小肠血管畸形（如毛细血管扩张症）是隐匿性下消化道出血的最常见病因。Tsuboi等[17]开发并验证了一种基于CNN的新系统来自动检测WCE图像中的小肠毛细血管扩张。他们使用2 237例小肠毛细血管扩张患者的WCE图像（包括10 488幅小肠图像和488幅小肠毛细血管扩张的独立图像）训练一种基于单镜头多盒检测器的CNN系统，并通过计算AUROCC来评估其诊断准确度。结果显示，该系统检测小肠毛细血管扩张的AUROCC为0.998，敏感度、特异性、阳性和阴性预测值分别为98.8%、98.4%、75.4%和99.9%，概率分值的截断值为0.36。

2016年7月—2018年7月，我国武汉同济医院消化科的研究者收集了来自国内77家医疗中心的6 970例接受WCE检查患者的113 426 569幅图像。他们训练了一种基于CNN的辅助读片模型[18]，共标注了1 970例患者的158 235幅小肠WCE图像来供机器深度学习，图像分为正常、炎症、溃疡、息肉、淋巴管扩张、出血、血管疾病和隆起等。此后，以另外5 000例患者的WCE图像对该模型的性能进行验证。共有20名资深消化科专家对患者的WCE图像进行了人工读片和基于CNN的辅助读片。如果人工读片与CNN辅助读片在图像分类结果上一致，则不进行进一步的图像分析；如果结果不一致，专家将重新读片。在3 280例患者中共确认有4 206处病灶。基于CNN的辅助读片模型在对逐个患者分析模式中识别病灶的敏感度为99.88%，在对逐个病灶分析模式中识别病灶的敏感度为99.90%。与之相比，消化科专家在对逐个患者人工读片中识别病灶的敏感度为74.57%，在对逐个病灶人工读片中识别病灶的敏感度为76.89%。人工读片和基于CNN的辅助读片模型对每个患者WCE图像的平均读片时间分别为（96.6±22.53）和（5.9±2.23）min，差異显著。

隐匿性消化道出血是WCE检查的一个强指征。Jia等[19]提出了一种结合手工和CNN图像特征的WCE下检测消化道出血的新方法。他们仅构建了一种小CNN模型来降低成本。结果发现，在数据训练有限的情况下，该模型仍有较强的适应性，可取得较好的效果。

钩虫是人体内最常见的寄生虫之一，其感染患者可有贫血、营养不良和胃肠功能失调等临床表现。近年来，随着CNN在各种图像和视频分析任务中表现出具有令人惊艳的性能，其也开始被研究用于WCE下钩虫等肠道寄生虫的自动检测这一任务。He等[20]提出了一种新的针对WCE图像中的深度钩虫检测框架，同时对钩虫的视觉外观和管状形态进行建模。该框架将两个CNN（边缘提取网络和钩虫分类网络）无缝集成，既避免了边缘特征缓存，又加快了分类速度。引入两个边缘池化层，将边缘提取网络得到的管状区域和钩虫分类网络得到的特征图进行整合，从而得到强调管状区域的增强特征图。使用世界上最大的WCE图像数据集进行验证，表明该检测方法的敏感度和准确度均显著高于传统方法，具有较好的临床应用价值。

已有的研究表明，通过DCNN识别WCE图像中的各种异常是可行的，且初步研究结果喜人，前景可期。人工智能中的图像识别和机器学习技术可有效减少消化科医师的内镜图像读片工作，减轻读片医师的工作负担，快速识别各种疑似病灶，提高WCE检查的诊断效率。今后若能结合最终的病理学确诊结果，扩大学习库，对多层CNN结构及参数进行不断的改进，集成对多种病灶的辅助诊断能力，不断提高检测的敏感度和特异性，最终必能开发出可用于临床实践的成熟的WCE检查智能辅助诊断系统，方便医师、造福患者。

参考文献

[1] Costamagna G， Shah SK， Riccioni ME， et al. A prospective trial comparing small bowel radiographs and video capsule endoscopy for suspected small bowel disease [J]. Gastroenterology， 2002， 123（4）： 999-1005.

[2] G？lder SK， Schreyer AG， Endlicher E， et al. Comparison of capsule endoscopy and magnetic resonance （MR） enteroclysis in suspected small bowel disease [J]. Int J Colorectal Dis， 2006， 21（2）： 97-104.

[3] Heine GD， Hadithi M， Groenen MJ， et al. Double-balloon enteroscopy： indications， diagnostic yield， and complications in a series of 275 patients with suspected small-bowel disease[J]. Endoscopy， 2006， 38（1）： 42-48.

[4] Pennazio M， Spada C， Eliakim R， et al. Small-bowel capsule endoscopy and device-assisted enteroscopy for diagnosis and treatment of small-bowel disorders： European Society of Gastrointestinal Endoscopy （ESGE） clinical guideline [J]. Endoscopy， 2015， 47（4）： 352-376.

[5] Triester SL， Leighton JA， Leontiadis GI， et al. A metaanalysis of the yield of capsule endoscopy compared to other diagnostic modalities in patients with obscure gastrointestinal bleeding [J]. Am J Gastroenterol， 2005， 100（11）： 2407-2418.

[6] Iddan G， Meron G， Glukhovsky A， et al. Wireless capsule endoscopy [J]. Nature， 2000， 405（6785）： 417.

[7] Gong F， Swain P， Mills T. Wireless endoscopy [J]. Gastrointest Endosc， 2000， 51（6）： 725-729.

[8] Liao Z， Gao R， Xu C， et al. Indications and detection， completion， and retention rates of small-bowel capsule endoscopy： a systematic review [J]. Gastrointest Endosc， 2010， 71（2）： 280-286.

[9] Yu KH， Beam AL， Kohane IS. Artificial intelligence in healthcare [J]. Nat Biomed Eng， 2018， 2（10）： 719-731.

[10] Shin HC， Roth HR， Gao M， et al. Deep convolutional neural networks for computer-aided detection： CNN architectures， dataset characteristics and transfer learning [J]. IEEE Trans Med Imaging， 2016， 35（5）： 1285-1298.

[11] Waljee AK， Higgins PDR. Machine learning in medicine： a primer for physicians [J]. Am J Gastroenterol， 2010， 105（6）： 1224-1226.

[12] Kermany DS， Goldbaum M， Cai W， et al. Identifying medical diagnoses and treatable diseases by image-based deep learning [J]. Cell， 2018， 172（5）： 1122-1131.

[13] Obermeyer Z， Emanuel EJ. Predicting the future - big data， machine learning， and clinical medicine [J]. New Engl J Med， 2016， 375（13）： 1216-1219.

[14] Iakovidis DK， Dimas G， Karargyris A， et al. Deep endoscopic visual measurements [J]. IEEE J Biomed Health Inform， 2019， 23（6）： 2211-2219.

[15] Fan S， Xu L， Fan Y， et al. Computer-aided detection of small intestinal ulcer and erosion in wireless capsule endoscopy images [J]. Phys Med Biol， 2018， 63（16）： 165001.

[16] Wang S， Xing Y， Zhang L， et al. Deep convolutional neural network for ulcer recognition in wireless capsule endoscopy： experimental feasibility and optimization [J/OL]. Comput Math Methods Med， 2019， 2019： 7546215 [2020-03-23]. doi：10.1155/2019/7546215.

[17] Tsuboi A， Oka S， Aoyama K， et al. Artificial intelligence using a convolutional neural network for automatic detection of small-bowel angioectasia in capsule endoscopy images [J]. Dig Endosc， 2020， 32（3）： 382-390.

[18] Ding Z， Shi H， Zhang H， et al. Gastroenterologist-level identification of small-bowel diseases and normal variants by capsule endoscopy using a deep-learning model [J]. Gastroenterology， 2019， 157（4）： 1044-1054.e5.

[19] Jia X， Meng MQ. Gastrointestinal bleeding detection in wireless capsule endoscopy images using handcrafted and CNN features [J]. Conf Proc IEEE Eng Med Biol Soc， 2017， 2017： 3154-3157.

[20] He JY， Wu X， Jiang YG， et al. Hookworm detection in wireless capsule endoscopy images with deep learning [J]. IEEE Trans Image Process， 2018， 27（5）： 2379-2392.

*基金項目：复旦大学附属华山医院院级启动基金资助项目（2020QD008）

**通信作者：陈坚，副主任医师。研究方向：消化道肿瘤的基础研究与临床诊治。E-mail： chen5120@126. com