儿童先天性心脏病超声心动图报告与个体风险的相关性分析
2018-04-12施雅慧李作峰张晓艳
施雅慧 李作峰 常 才 张晓艳
(1同济大学生命科学与技术学院 上海 200092; 2飞利浦中国研究院 上海 200233;3复旦大学附属肿瘤医院超声医学科 上海 200032)
目前临床上诊断先天性心脏病多采用超声心动图检查[1-3],其诊断准确率高且具有直观、无创、安全、可反复操作等优点[4]。由于超声检查的测量结果易受设备、操作和体位等众多因素的影响[5],医师会用非结构化的自由文本记录检查过程中观察到的疾病征象和初步诊断,即超声报告中的“所见”和“结论”部分。临床医师基于报告内容对疾病发展情况进行评估,进而做出相应的临床诊疗决策[6-7]。
分析超声检查报告内容与临床决策间的关联,能够量化报告内容在临床实践中的应用价值,并从报告中筛选出影响临床决策的关键信息,从而完善检查报告的信息质量和书写规范,提升医院不同科室间信息传递的效率。通过对大量医疗文档的总结归纳,有望挖掘出潜在的诊断模式,协助临床工作者加深对疾病和诊疗方法的理解,也为后续的机制研究提供一些线索和初步假设。
自然语言处理(natural language processing,NLP)技术能够高效、准确地从自由文本书写的检查报告中抽取出特定信息,有助于检查结果的结构化存储和后续分析[8]。通过疾病征象的抽提,结合机器学习算法,能够学习诊断模式及规则并为临床提供决策支持[9]。本研究拟通过NLP技术与机器学习算法,分析儿童先天性心脏病的超声心动图报告及临床风险评估结果,构建并评价风险等级预测模型,进而评估报告内容与患儿风险的相关性,并从中挖掘临床决策所依赖的关键信息。
材 料 和 方 法
研究对象本研究从在线医学论坛(http://www.ibabyhear.com/forum.php?mod=forumdisplay &fid=6)收集到2 525份关于儿童先天性心脏病的咨询病例。通过解析网页内容获取其中的超声心动图报告内容、年龄、性别和体重信息,以及受咨询医师为患儿评定的风险等级,该风险等级包含临床医师对疾病严重程度的评估及相应的治疗建议(分级指南见表 1)。
表1 发布于论坛咨询板块的风险评估指南Tab 1 Risk evaluation guidelines provided by the online forum
Criteria column demonstrates several typical symptoms for every risk level.A patient will be assigned to the highest risk level of which any listed condition can match his/her echocardiography report.However,all the report contents wouldn’t perfectly match the listed criteria.The physician needs to make the diagnosis based on his clinical experience as well as the above guidelines.
剔除网页中同时包含多份报告、报告内容不全、缺失患儿个人信息或风险等级的1 483份病例,最终纳入分析的样本量为1 042例(表2),其中女性549例、男性493例,平均年龄(335.97±841.22)天,平均体重(43.75±373.52)kg。
表2 数据集的统计描述Tab 2 Descriptive statistics of the variables
A character can be a Chinese character,an English letter,a digit or a punctuation.Each string of one or more blank characters (spaces,line breaks and tabs,etc.) is also counted as one character.
基于自然语言处理的特征构建
基于n元语法(n-gram)的自动特征生成首先将同一份心脏彩超报告的“所见”和“结论”部分拼接成一份完整文档,再使用Jieba分词工具进行分词。中文句子被以词为单位进行切分,英语单词和首字母缩写词(如“左心室射血分数”的缩写“LVEF”)均会被视为一个完整的词。由于本研究收集的数据来自不同的地域和机构,设备及操作水平不尽相同,报告中具体测量值的参考价值十分有限。因此,我们利用正则表达式将分词结果中的实数统一替换为“#
通过预实验的测试,本研究最终采用3-gram(即取n=3的n-gram)组成自动生成的候选特征。例如,“室间隔膜缺损约8 mm”这一短句,首先经分词后得到“室间隔/膜/缺损/约/8/mm”。其次,实数“8”被替换后得到“室间隔/膜/缺损/约/#
为进一步缩小特征空间,从而降低数据稀疏性并提升最终的风险等级预测效果,我们借助正则表达式识别并剔除包含标点符号的3-gram,同时剔除在全部文档集合中出现次数过少(小于5)的3-gram,得到了自动生成的特征集合。其中仍然有大量语义不完整或信息量较低的3-gram,如“一大小约”、“中断处可见”和“各瓣膜形态”等。为筛选出具有临床意义的特征,我们进一步将领域知识引入特征的构建过程。
借助临床与超声影像学术语进行特征筛选通过人工收集和整理，得到用于特征筛选的超声心动图疾病征象：(1)表1所示的风险评估规则中提及的临床决策依据，包括肺动脉狭窄、肺动脉闭锁、室间隔缺损、完全性肺静脉异位引流、主动脉弓中断、复杂先心病、右室双出口、完全性房室间隔缺损、法洛四联症、法洛三联征、法洛五联症、先天性心脏病、房间隔缺损、动脉导管未闭、先心病、肺动脉瓣狭窄、卵圆孔未闭、术后恢复良好；(2)超声医师提供的检查报告常用术语，包括单心室、双心室、完全性大动脉转位、大动脉转位、轻度肺动脉高压、中度肺动脉高压、重度肺动脉高压、右向左分流、双向分流、左向右分流。
使用Jieba工具对这些疾病征象逐一进行分词。最后,通过脚本自动筛查基于报告内容生成的2-gram、3-gram仅保留严格包含某个术语全部分词结果的特征。例如,风险评级规则中的“肺动脉狭窄”经分词被切分为“肺动脉/狭窄”,特征集合中的“肺动脉/未见/狭窄”和“肺动脉/轻度/狭窄”因包含这一分词结果而被保留。而语义不完整的“肺动脉/可见”由于无法匹配任何一个术语的分词结果,会被从特征集合中剔除。
基于决策树的风险等级评估模型经过上述的特征生成与筛选,每份超声心动图报告可由通过筛选的n-gram表示为一个向量。以临床医师评估的风险等级为分类标签,通过机器学习算法训练模型,能够实现基于报告内容的风险等级预测。
本研究使用weka软件[11]和scikit-learn程序包[12]作为分类模型的训练和评估工具。为观察医师可能采取的决策过程,选用了可读性较强的决策树模型。通过分析决策结点上使用的变量和决策树的分类规则,探寻临床医师基于报告内容评估患儿风险时的主要依据。
由于数据集中各个风险等级的分布极不均衡(被评估为“3级”的患儿占全部病例的59.6%),为客观评估模型对风险等级的区分能力,本研究通过向下抽样构造平衡数据集进行模型评价[13]。为消除单次抽样的随机性,在模型评估阶段进行50次的重复抽样,在每一次随机抽样产生的平衡数据集上进行基于分层抽样的10折交叉验证[14-15]。对50次计算结果取平均值,作为最终的模型评估指标。整体流程如图 1所示。
图1 抽样数据集的构建与模型的交叉验证评估方法Fig 1 Schema of balanced dataset construction and cross-validation
在每一轮模型评估中均采用整体分类准确率(accuracy)和归一化的平均绝对误差(normalized mean absolute error,NMAE)作为评价指标。准确率为正确分类的病例数占总病例数的比例,NMAE的计算公式为:
h(Xi)表示模型的分类预测结果,yi为医师评估的风险等级,Tj表示分类为j的测试文档,maxErrorj为分类j对应的误差上限(本研究中共5个分类,因此“1级”和“5级”的误差上限均为4,“2级”和“4级”的误差上限为3,“3级”的最大误差则为2),C代表各个分类。NMAE指标用各分类的文档数和最大误差对实际误差进行了归一化,能够消除各类分布不均的影响,客观反映风险评估模型的患者区分能力[16-17]。
结 果
通过自动特征生成,得到2 367个3-gram。基于这些特征和年龄、体重、性别信息所构建的决策树平均分类准确率约为32.82%,NMAE约为0.33,此时的属性集中包含大量语义不完整的3-gram,模型的可读性较差。借助风险评级规则和超声心动图报告的常用术语进行严格匹配后,特征个数减少至19个。模型的平均分类准确率提升至48.57%,NMAE降至0.25。
对50次交叉验证所得的混淆矩阵(confusion matrix)进行累加(图 2),可定量评估模型对于各风险等级患儿的区分能力。经特征筛选后得到的模型,相应混淆矩阵主对角线(左上到右下)上的数值明显增大,而偏离主对角线的数值相应地降低,表明各风险等级的患儿中被模型正确分类的数量明显增多,而模型的错误预测病例相应地减少。同时,模型的预测结果也更加集中地分布在临床医师评估结果的相邻分类中,表明此时的预测结果与临床诊断更为贴近。综上所述,经过特征筛选后,决策树的分类准确性得到了明显的提升,对于严重程度相近的患者具有更好的区分功能。
A:Decision tree using the auto-generated 3-grams as features;B:Decision tree using the selected clinical terms and symptoms as features.Numbers on the leading diagonal (upper left to lower right)are the numbers of “correct” classification results,the others are numbers of “incorrect” results.Back ground color corresponds to the number in that cell.For an instance,the 5 numbers in the first row of the upper confusion matrix (“115,559,483,228,15”) indicate that among all the samples evaluated as “Rank 1” by the physician,the decision tree model correctly classifies 115 cases as “Rank 1”,misclassifies 559 cases as “Rank 2”,483 cases as “Rank 3”,228 cases as “Rank 4”,and 15 cases as “Rank 5”.
图2决策树预测结果的混淆矩阵
Fig2Accumulatedconfusionmatrixofthe
traineddecisiontreemodels
讨 论
从训练所得的决策树上能够发现许多与风险评级规则一致的决策路径,在一定程度上证明了本研究所用方法及分析结果的可靠性。有研究发现“单心室”、“大动脉转位”或“肺动脉闭锁”等征象对应着紫绀型先天性心脏病,此类患儿病情复杂、风险较高[18]。医师在风险评估指南(表 1)中也将这类患者划入最高风险等级“5级”。图 3A所示决策分支显示,训练所得的模型从数据中发现“大动脉转位”和“肺动脉闭锁”这2个高度危险的指示征象。
对于未在风险评级规则中明确提及的决策路径,我们能够借助模型信息推测其分类依据,并基于已有的领域知识评估其合理性,进而对模型进行修正和完善。图3A显示,模型将动脉导管的分流方向(即特征集合中的“右向左”、“双向”或“左向右”)作为重要的分类依据,“双向分流”和“右向左分流”在决策树上非常靠近根节点,是仅次于“大动脉转位”、“肺动脉闭锁”和“右室双出口”的重要特征。从图3中的分类结果可以看出,出现“双向”、“右向左分流”的患者,大部分被归入“4级”和“5级”的较高风险。有研究显示,“双向”或“右向左分流”的患者大多出现了肺动脉压的升高[19],而严重的肺动脉高压会增加外科风险,是危险性较高的征象[20-21]。由此推测,模型在分析训练数据的过程中,发现了这一潜在的风险因子。随着数据量的累积,算法有望挖掘出更多潜在的诊断模式,为后续研究提供丰富的初步假设。
我们观察到在报告内容未提及关键疾病征象时,决策树的判断主要依赖于患儿的年龄和体重信息,虽然样本规模不大,但基于个体信息的进一步拆分往往具有较好的患者区分效果,这在图 3所示分支中也有所体现。可见临床医师在对疾病征象相近的患者进行细分时也将个体信息作为重要参考。该结果验证了个体信息在先天性心脏病风险评估中的应用价值[22-23]及医师的临床经验在诊疗过程中的重要意义[24]。
基于算法本身的特性和参数的设定,模型的分类规则可能存在一定程度的冗余和对训练数据的过度拟合。如图3A所示,在报告提及“双向分流”时,模型会根据是否提及“单心室”将患者进一步区分为“4级”或“5级”。但分类节点上的样本量数据显示,同时存在这两个征象且被临床医师标注为“5级”的训练样本仅有2例。这类在特定数据集上发现的分类规则,可能无法迁移到其他数据集,可以结合临床研究结果进行修正。而类似图3B中对患儿体重的判断,这类基于同一指标的连续多次样本拆分,是算法特性造成的冗余,可以优化为更简洁的分类规则。决策树良好的解释性和易编辑性为模型的校验和修正提供了极大的便利,有助于领域知识协助下的快速优化与更新。
综上所述,本研究所构建的儿童先天性心脏病风险评估模型可读性强、易于理解,能够自动对大量的医疗文本进行总结和归纳,体现出与已有研究成果较为一致的诊断规则,并能从大量数据中挖掘出潜在的决策依据,为后续临床实践和研究提供初步假设。研究采用的文本挖掘技术展现出重要的应用价值,值得进行进一步的优化和更深入的探究。我们将在后续工作中收集更多的样本,借助更大的数据量对模型进行优化和提升。同时开发相应的工具,借助NLP技术对包括测量值在内的报告内容进行信息抽提和标准化映射,从而构建更为完善的特征集合,全面评估超声心动图报告在儿童先天性心脏病诊疗过程中的临床价值。
A:The number of training samples that are assigned to the node;B:The number of misclassified samples among them.Green labels show the classification results and red figures in parentheses demonstrate the purity of current node.The collapsed branches are represented as a node with the mark “…”.
图3风险评估决策树(局部)
Fig3Examplebranchesofthetraineddecisiontree(partial)
借助NLP技术与儿童先天性心脏病相关领域知识,能够有效地抽提超声心动图报告中的疾病相关信息。进一步结合机器学习算法,可以构建出可读性高、分类性能优良的风险等级预测模型,有助于对诊断规则的总结和归纳,协助临床上对疾病的深入理解和相关研究的开展。模型评价结果显示,超声心动图报告的文本内容能够在75%的水平上(NMAE≈0.25)解释儿童先天性心脏病的风险等级。其中的关键疾病征象,如“右向左分流”、“大动脉转位”和“肺动脉高压”等,是识别高风险患儿的重要依据;年龄、体重等个体信息有助于区分征象相似的患儿,为制定个性化的治疗方案提供重要决策依据。
[1]SHIBAYAMA K,WATANABE H.Clinical use of echocardiography in structural heart disease[J].GenThoracCardiovascSurg,2016,64(7):365-372.
[2]LIU X,LIU G,WANG P,etal.Prevalence of congenital heart disease and its related risk indicators among 90,796 Chinese infants aged less than 6 months in Tianjin[J].IntJEpidemiol,2015,44(3):884-893.
[3]桂永浩,常才,黄晶晶,等.胎儿心脏血流动力学特征及其形态结构的超声心动图检测[J].复旦学报(医学版),2001,28(2):93-96.
[4]BEIER UH,JELNIN V,JAIN S,etal.Cardiac computed tomography compared to transthoracic echocardiography in the management of congenital heart disease[J].CatheterCardiovascInterv,2006,68(3):441-449.
[5]程景华,肖敏,唐思琪.浅谈变换体位在心脏超声检查中的应用[J].医药前沿,2012,2(13):301.
[6]卢晓芳,谢明星,王新房,等.超声心动图诊断肺动脉夹层——附3例报告[J].中华超声影像学杂志,2006,15(3):186-189.
[7]黄国倩,潘翠珍,舒先红,等.25例肺静脉异位引流的超声心动图分析[J].复旦学报(医学版),2006,33(3):397-400.
[8]CAI T,GIANNOPOULOS AA,YU S,etal.Natural language processing technologies in radiology research and clinical applications[J].Radiographics,2016,36(1):176-191.
[9]PONS E,BRAUN LMM,HUNINK MGM,etal.Natural language processing in radiology:a systematic review[J].Radiology,2016,279(2):329-343.
[10]WEI Z,MIAO D,CHAUCHAT JH,etal.Feature selection on Chinese text classification using character n-grams[C]//International Conference on Rough Sets and Knowledge Technology.Berlin Heidelberg:Springer-Verlag,2008:500-507.
[11]HALL M,FRANK E,HOLMES G,etal.The WEKA data mining software:an update[J].SIGKDDExplor,2009,11(1):10-18.
[12]PEDREGOSA F,VAROQUAUX G,GRAMFORT A,etal.Scikit-learn:machine learning in python[J].JMachLearnRes,2013,12(10):2825-2830.
[13]YU DJ,HU J,TANG ZM,etal.Improving protein-ATP binding residues prediction by boosting SVMs with random under-sampling[J].Neurocom,2013,104(1):180-190.
[14]DRUMMOND C,HOLTE RC.C4.5,Class imbalance,and cost sensitivity:why under-sampling beats over sampling[C]//Workshop on Learning from Imbalanced Datasets Ⅱ,ICML.Washington DC,2003:1-8.
[15]BALAGUS R,LUSA L.Joint use of over- and under-sampling techniques and cross-validation for the development and assessment of prediction models[J].BMCBioinformatics,2015,16:363.
[16]JR GUSTAFSON WI,YU S.Generalized approach for using unbiased symmetric metrics with negative values:normalized mean bias factor and normalized mean absolute error factor[J].AtmosScienceLett,2012,13(4):262-267.
[17]GOLDBERG K,ROEDER T,GUPTA D,etal.Eigentaste:a constant time collaborative filtering algorithm[J].InformationRetrieval,2001,4(2):133-151.
[18]黄国英.超声检查对新生儿青紫型先天性心脏病的诊断意义[J].中国小儿急救医学,2006,13(5):404-405.
[19]于慧娟,杨兴明,袁国胜,等.3576例先天性心脏病超声诊断及分析[J].中国现代药物应用,2011,5(1):81-82.
[20]邢建洲,王志维,李罗成,等.肺动脉高压致双向分流性先天性心脏病的手术指征[J].武汉大学学报(医学版),2013,34(2):299-301.
[21]褚银平,窦平,周世民,等.严重肺动脉高压患者室间隔缺损(附25例分析)[J].实用医学杂志,1993,9(4):3-4.
[22]LIMB M.Children′s heart surgery website aims to end confusion over survival rates[J].BMJ,2016,353(1):i3539.
[23]张朝宾,张浩,晏馥霞.先天性心脏病手术风险评估系统[J].国际麻醉学与复苏杂志,2014,35(1):37-43.
[24]BAE JM.The clinical decision analysis using decision tree[J].EpidemiolHealth,2014,36(1):e2014025.
