基于iOS的病理图像分析软件的设计

周懿菲 陈煜庞 沈鸿龙 傅炜成 徐博宇

摘  要：随着数字化病理学技术的不断发展，计算机视觉与医学影像领域吸引了越来越多的关注。社会经济快速发展、工业化进程加快，我国患有肿瘤的人也日益增多，随之而来的是病理医生的巨大工作量，因此，计算机辅助医生进行病理分析具有重要意义。文章介绍了一种全新的病理图像分析系统，增加了其智能化的程度，具有更强的图像分析和处理功能，并采用了交互性极好的iOS系统，实现了病理图像的智能分析功能。

关键词：iOS;软件设计;病理图像;神经网络

中图分类号：TP311   文献标识码：A 文章编号：2096-4706（2021）12-0010-04

Abstract： With the continuous development of digital pathology technology， the field of computer vision and medical imaging has attracted more and more attention. With the rapid development of social economy and the acceleration of industrialization， the number of people with tumors in China is also increasing， followed by the huge workload of pathologists. Therefore， computer-aided pathological analysis is of great significance. This paper introduces a new pathological image analysis system， its intelligence has been enhanced， has stronger image analysis and processing functions， and IOS system with excellent interaction is adopted to realize the intelligent analysis function of pathological images.

Keywords： iOS; software design; pathological image; neural network

0  引  言

數字化病理学技术是一种新兴发展中的医疗成像技术，它是一种把现代化的数字系统和传统的光学放大器设备有机地结合在一起的技术。该技术利用全自动化的显微镜或光学放大系统组织切片进行扫描并采集以获取高分辨率的数字图像，图像压缩与内部存储软件将各组织切片进行了自动化的拼接和处理，生成一张张全数字化的切片（Whole Slide Image， WSI）。与其他传统病理系统相比，数字化的病历查询系统可以利用其庞大的数字病理切片库，使得病理研究人员对于病理切片的查询提供了方便。数字化图像使机器学习及辅助诊断成为可能，但病理图像十分复杂，传统的机器学习需要对切片特征进行手工提取，更需要花费大量人力对不同的问题进行不同的特征提取[1]。随着近年人工智能尤其是卷积神经网络（Convolutional NeuralNetworks， CNN）的发展，在病理图像分析方面取得了巨大的成功。目前，已经研发成功并应用成熟的数字病理分析系统主要有美国APERIO公司的ScanScope - Digital Pathology Solutions系统、北京优纳科技有限公司的赛睿系列（PRECICE）全自动数字切片扫描系统等。与此同时，国内也有多所高校、医院以及医疗科研机构构建起数字病理切片系统可视化数据库[2]并进行数字化病理图像分析研究。

本文设计出一种病理系统图像分析软件，在模拟环境下运行可以对数字化病理图像进行识别。

1  分类模型构建

近年来基于深度学习的概念，病理图像诊断研究中大受欢迎的深度学习模型有VGGNet、GoogLeNet、ResNet和SE-ResNet四种[3]。其中GoogLeNet模型的Inception-v3是目前最先进的分类深度学习模型之一，该模型可将卷积进行分解并将一个较大的二维卷积拆分成两个较小的一维卷积，以较少的参数获得更好的结果。本文选择Inception-v3网络进行病理图像的分类。

在收集到公开的癌症数据集后首先将病理图像进行预处理，将数字病理图像切割成固定尺寸、倍率的图像块补丁。而后将每个颜色通道的图像块补丁的像素值进行计算以得到相应的均差与方差供后期使用，并通过后期处理得到相应的图像块补丁的分布符合高斯分布的数据分布。数据准备完成后构建一个病理图像分类卷积网络，通过融合注意力机制算法，使得不同尺度的特征转换为具有相同分辨率和通道特征与不同尺度的权重值的学习同步进行。

首先，分别标注炎症、淋巴增生和鼻咽癌的数字组织病理图像切片，这些数字组织病理图像将被切割为许多微细的补丁以减少每张图片的尺寸，每个图像块补丁的尺寸为229×229×3（高度×宽度×通道），并按相应的比例划分训练集、验证集和测试集。

通过预训练好的深度学习模型（Inception-v3），反复且不断训练训练集中的图像块补丁，并对其不断微调使得模型性能得到进一步提升，最终该深度学习模型会在全连接层输出相应分类概率的结果[4]。

具体来说，本文搭建一个神经网络，并对其进行参数和设置的初始化，这些网络初始化的参数会对神经网络模型的训练和设计产生影响。模型初始化参数设置如表1所示。

2  系统设计与实现

2.1  系统功能模块设计

本系统主要为了帮助病理科医生及病理切片审查的相关从业者对病理切片的审查诊断，其主要是通过上传的组织切片影像经过图像分割提取分析区域、卷积层网络的语义分割模型等一系列算法研究对病理切片图像进行分析，能大大加快相关从业者对阅片诊断的速度，为癌症患者的救治争取时间。本系统主要功能包括图像分类预测、图像标注、远程会诊、数据集添加等。经过对系统的需求分析，本系统的功能结构图如图1所示。

用户登录功能。包括用户注册、用户登录的功能。用户注册需验证医院单位并通过审核方可注册成功，避免利用该系统获取数据进行违法行为，用户成功注册后返回登录界面进行登录，进入到APP首页中。

图像分类预测功能。当用户上传需要预测的病理图像后，图像分类预测功能将基于用户上传的病理图像基于分类模型对图像进行病理预测，最终将预测结果显示出来。预测的结果可供医生作为影像分析的初步参考，同时也可以远程共享给专家或其他医生共同诊断分析。

图像标注功能。用户可上传相关病理切片图像，并在图像标注功能上对图像进行缩放、勾画、文字说明、诊断结果录音等，并可以修改图像初步预测结果，将诊断结果及标注信息一并共享。

远程会诊功能。该功能主要通过ID匹配，当用户想要进行远程功能时，系统会自动生成响应的远程ID与验证码，用户可输入需要进行远程的用户ID，而后被申请的用户可收到远程验证，输入远程验证后可远程连接对方用户，并进行在线远程会诊。同时，医院与医生也可以指定用户ID进行新建会议或预约会议时间，系统会在对应预约的时间前30分钟对会议室进行开放处理，为被邀请参加会议的医生能够准时开始会议提供了方便。

数据集添加功能。在卷积神经网络的帮助下，病理图像分析变得更为简易精准，但还需要大量的数据去支持，世界上有大量的开源数据集，如由荷兰拉德堡德大学和乌得勒支大学医学中心提供的camelyon16数据集[5]，但各国人民的身体素质不尽相同，用户可选择将其单位所拥有的切片数据上传至系统中为用户提供更精确便利的预测结果。用户可以添加自身单位的数据集或有需要的数据集，选择用户单位、ID、以及数据集类型后选择数据集上传，上传成功后用户数据集下新增所上传的数据集。

个人中心功能。用户可在个人中心查看历史分析过的切片预测结果、历史会诊记录、历史标注等记录，防止用户误退后导致信息丢失。也可以在个人中心更改个人相关资料，更新系统设置或手动升级系统应用程序。

2.2  系统工作流程设计

电子设备安全对于用户来说是非常重要的一部分，iOS系统虽然比其他系统更为封闭，但这种封闭性也为用户带来了更高的安全性，当用户进入到本系统的主页面时，系统会询问用户获取拍照或系统相册权限，若用户不选择授权则系统中的图像分类预测与标注等主要功能因无权进行图片读取分析而无法使用。当用户授权后系统会对用户的身份信息进行审核，审核通过后重新进入系统主页面，即图像分类预测界面，用户可根据导航栏中标识选择系统中的图像分类预测功能，图像标注功能以及远程会诊功能等。当用户进入图像分类预测功能时需要上传拟分类识别的病理切片图像并等待识别结果。识别结果出现后用户可修改软件初步分类预测结果，并自行选择是否进行图像标注功能，进入图像标注功能后，用户可根据自身需求对图像进行标注。若不慎退出亦可进入历史预测中选择历史切片图像进行标注，同时也可选择再次上传病理图像进行标注。当用户进入远程会诊后可根据自身需求对历史检测或标注进行实时展示，方便会议人员进行远程会诊。本系统所设计的基于iOS的病理图像分析软件的总体工作流程图如图2所示。

2.3  分类模型训练

TensorFlow是深度学习最流行的库之一，它是一款轻量级的软件，有强大的社區以及企业支持，其便捷、高效以及可扩展性收到了广泛的欢迎，TensorFlow拥有多层级结构，可部署于各类服务器、PC终端和网页，因此在对数字病理图像进行预处理之后，我们对分类模型Inception-v3使用TensorFlow进行重新训练。

首先创建一个病理图片并载入hub module，参数中的module_spec为在用的图像模型。如图3所示。

然后提取图片的特征向量到瓶颈层，返回值中的bottleneck_values为提取的瓶颈层。如图4所示。

最后在瓶颈层后增加一个最终分类层，用于识别重训的新图片。返回值中包含了建立最终分类层所需的信息。如图5所示。

3  结果与分析

通过对模型反复的训练，训练结果可得到相对应的结果，运用已有功能导入相关病理切片图，并对其进行病理切片的识别功能进行结果预测，在此导入一张食管鳞癌的病理切片图进行分析识别，其结果如图6所示。

由图6可以得出，在该识别功能中能够对病理切片的特征进行分析判断并返回相应结果与判断。图6中该病理切片图的判断结果包括对病理图像的病因预测，以及根据相应特征分析得到的对应判断依据。但由于癌症病变的不稳定性，对于所上传的病理切片的判断并非全部准确，即存在预测误差的情况，在后续过程中需通过更多的数据集训练从而得到精准度更高的分析结果。

4  结  论

本文针对病理图像分析需求日益增大导致病理科医生人手不足的问题，设计了一种利用深度学习网络对病理切片图像进行分析的软件。本文主要采用深度学习模型Inception-v3对病理切片特征进行识别。首先对病理图像进行预处理，然后对提取到的有效区域进行图像切割。在数据准备完成后采用卷积神经网络的分类模型训练方法，并采用tensorflow机器学习框架，对Inception-v3模型进行重新训练。最后基于iOS平台设计出病理图像分析软件，利用已训练好的分类模型对数字病理图像进行识别。实验结果表明该模型能够对病理切片的特征进行分析判断并返回相应结果，与传统手工识别相比能够明显提升病理图像分析的效率。

参考文献：

[1] 李俊薇.基于生成对抗网络的病理图像分析及应用 [D].南京：南京航空航天大学，2020.

[2] 叶美华，盛弘强，王怡栋，等.数字病理学的发展对医学教育和临床诊断的作用 [J].中华病理学杂志，2012，41（1）：66-68.

[3] 马鑫，耿道颖.深度学习应用于病理图像诊断的研究进展 [J].上海医学，2020，43（5）：302-306.

[4] 刁颂辉.基于卷积神经网络的数字组织病理图像分类算法研究 [D].深圳：中国科学院大学（中国科学院深圳先进技术研究院），2020.

[5] 王睿乔.基于iOS手机客户端的病理图像分析软件 [D].哈尔滨：哈尔滨工业大学，2019.

作者简介：周懿菲（2000—），女，汉族，广东增城人，本科在读，研究方向：软件工程;陈煜庞（2000—），男，汉族，广东揭阳人，本科在读，研究方向：软件工程;沈鸿龙（2000—），男，汉族，广东湛江人，本科在读，研究方向：软件工程;傅炜成（2000—），男，汉族，广东云浮人，本科在读，研究方向：软件工程;徐博宇（1998—），男，汉族，广东潮州人，本科在读，研究方向：软件开发。