部分可观察马尔科夫决策过程优化不稳定型心绞痛中西医结合临床治疗方案的建模方法与验证研究

冯 妍，冯 奇，王以新*，邱 禹，周雪忠，徐 浩

部分可观察马尔科夫决策过程（partially observable Markov decision-making process，POMDP）是一种数据挖掘的科学算法，用以解决序列决策问题［1］。在实际诊疗过程中，医生制定个体化的治疗方案的思路均是先分析患者当前的健康状态再做出评估处理，然而，患者的健康状态和处方疗效常受到多种因素的影响。任何疾病特别是一些慢性病很难一蹴而就，常常需要多次的方案调整才能得到病情好转或稳定的结果［2］。所以，从根本上解决临床治疗方案优化问题就是要解决如何在不确定条件下得到最优序列决策。POMDP正是这样一种解决序列决策问题的数学方法，其决策过程和临床方案的制定过程类似，本文选取不稳定型心绞痛（unstable angina，UA）的建模和中西医结合临床治疗方案优化过程，对此模型做详细介绍并加以验证。研究对开展UA中西医结合治疗临床疗效的即时客观评价、开展根据患者临床特点的中西医结合“个体化治疗”，从而减少UA的发病率有着重要意义。

1 POMDP模型数据库的建立

1.1 诊断标准 UA诊断标准参照中华医学会心血管病学分会发布的《不稳定型心绞痛与非ST段抬高心肌梗死诊断与治疗指南》［3］，根据心绞痛发作的性质、特点，结合发作时典型心电图改变、运动平板心电图、动态心电图、心肌核素扫描、冠脉造影结果、危险因素等综合判断，以提高诊断的准确性。中医辨证标准参照中国中西医结合学会心血管学会《冠心病中医辨证标准》［4］和《中医内科学》［5］胸痹心痛辨证标准。

1.2 纳入标准、排除标准及终点事件 纳入标准：（1）符合UA诊断标准；（2）既往有陈旧心肌梗死病史或经冠状动脉造影证实至少有1支冠状动脉狭窄≥50%；（3）UA为西医第一诊断的住院患者；（4）签署知情同意书。排除标准：随访1年内发生终点事件。终点事件：（1）主要终点事件：心血管死亡、非致命性心肌梗死、血运重建术（包括介入治疗、冠状动脉旁路移植术）；（2）次要终点事件：脑卒中、因急性冠脉综合征再住院、心功能不全、其他血栓并发症。

1.3 病例来源 研究所用的病例数据资料来自中国中医科学院西苑医院、中国中医科学院广安门医院、中日友好医院、北京市中医院、通州区中医院、东直门医院、怀柔中医医院、北京大学人民医院2008—2010年2 212例UA患者结构化住院病历记录。患者均先后接受了至少5个诊次的治疗，获得111 060条诊次的病历记录。每例患者的病历记录均按照时间顺序在数据库中存储。

2 POMDP模型算法的建立

2.1 模型概述 基于POMDP模型的中西医结合治疗方案动态优化是利用一定的数学计算，在大量的多维临床数据中，尝试用数据挖掘方法发现和提炼临床实践中的中西医结合治疗经验，找到疗效较好的中西医结合临床治疗方案的过程。应用POMDP模型建立处方决策模型，研究多阶段复杂干预过程的处方决策方案的优化方法，从而为临床医生治疗方案的制定提供参考。

图1展示了用POMDP模型模拟中西医结合临床诊疗过程建模的思路。每次就诊过程中，患者处于某个特定的健康状态，但是这种隐藏的健康状态要通过患者症状、体征等表象展现出来。临床医生通过中、西医临床诊断和检测手段相结合的方法观察这些症状、体征，对当前患者的健康状况做出评估，根据一定的治疗原则和方法制定处方。在下次就诊时，医生通过观察患者症状、体征的变化以了解处方的疗效，然后再动态进行处方的调整。

2.2 建模关键要素介绍 在这个解决中西医结合治疗不稳定型心绞痛的方案优化的POMDP模型建立过程中，需要模拟临床的治疗过程，有几个关键要素是必须要采集和运算的。

2.2.1 观察 在中医临床中，临床医生利用望、闻、问、切四诊结合实验室检查的方法获得患者当前诊次的一些症状、体征。这些症状、体征在每个诊次中都是可以被直观观察到的。多数情况下，临床医生每个诊次会观察到多个临床症状。如冠心病患者可能同时出现诸如胸闷、心慌、胸痛、气短、乏力等多个症状。所以，一个症状变量就是观察到的一个症状，并依据严重程度用“无”“轻”“中”“重”来分层表示，以一组症状变量的取值情况来确定患者当前的健康状态。将所有症状的组合看作观察集合，将每个症状变量定义为POMDP模型中的一个观察变量。

图1 用POMDP模型模拟中西医结合临床诊疗过程Figure 1 Using POMDP model to simulate the clinical diagnosis and treatment process of integrated traditional Chinese and western medicine

2.2.2 状态 健康状态是1例患者整体健康状况的描述，在中西医结合诊疗过程中，可以用“证候”来表示。临床医生需要通过各个诊次观察到的症状体征间接获取患者的“证候”数据。相关研究也表明，“证候”是一种合理的疾病分类依据［3］。临床数据库以电子化的形式对患者每个诊次诊疗过程中的全部症状、体征信息均给予记录。将患者的症状、体征作为患者区别的集合并进行聚类以得到模型中的状态集合，使得具有相似“证候”的患者划归到同一分类中，并把这些不同“证候”类别作为一个健康状态。选择合适的聚类集合时要同时兼顾健康状态之间的差别及常见症状的典型性。因而，这个选择的过程需要中西医结合临床专家的分析和判断。

每例患者个体化的症状体征数据的健康状态归属和分类，将依据筛选得到最合适的聚类集合描述加以评估，并以患者症状、体征数据到聚类中心的距离来计算。

2.2.3 行动 建立POMDP模型是为了实现依据现有临床数据的分析和临床反馈发现中西医结合经验处方，优化临床用药方案，所以模型中的每次行动都以患者的处方作为处理核心。

然而，加入了中草药的处方数据后，每个诊次和疾病治疗阶段的处方常包含15种以上规定了特定剂量的中药和西药，如果把每个处方都作为一个行动处理，即使变动一味中药或西药或调整某种中药剂量也会导致原来处方的改变。因此，模型必须进行处方简化处理。具体而言，就是用处方中的核心药物组合作为行动代表，对POMDP模型行动简化处理，且暂不考虑处方中各药物的剂量并忽略罕见药物。这样，每个处方都分解为核心药物组合，并以此作为行动的集合。

由于模型对患者数量的要求，此次模型只分析了UA诊为血瘀、气虚这两种证候患者的处方。首先以复杂网络的方法分析并筛选血瘀、气虚患者所用的中药核心处方（见图2～3）。筛选后的中药核心处方见表1。根据不同UA的西医规范治疗指南，用频率分布图筛选UA的西药核心处方（见表2）。

将每个临床用药处方都整理成核心药物方组合，这样从病例数据库中得到的处方方案就是由核心用药处方组成的一个组合序列。

图2 “血瘀”证素患者中医处方用药情况复杂网络分析Figure 2 Complex network analysis of traditional Chinese medicine prescription in patients with blood stasis

图3 “气虚”证素患者中医处方用药情况复杂网络分析Figure 3 Complex network analysis of traditional Chinese medicine prescription in patients with Qi deficiency

表1 中药核心处方Table 1 Core traditional Chinese medicine prescription

表2 西药核心处方Table 2 Core western medicine prescription

2.2.4 观察变量和转移函数 这是POMDP模型中的两个核心参数。（1）观察变量：每个诊次临床医生所观察到的症状体征是患者健康状态的直观反映。模型中，把患者临床症状组成的向量当作观察变量，并假设这些症状变量之间是相互独立的。（2）转移函数：每个就诊过程中，临床医生通过中、西医检查手段相结合的方法得到患者的临床信息，再经过对患者疾病现状的诊断，应用临床知识和积累的经验，给患者制定用药方案，到下一个诊次时，患者的健康状态可能保持或发生一定的变化。转移概率用来表示该患者在本模型中的健康状态受治疗影响后，相邻诊次健康状态的变化规律。

2.2.5 立即效益值 立即效益值是POMDP值的主要评价指标，用来评价每次行动的价值，在本模型中即是评价每次处方对患者的综合获益。在建立的模型中，立即效益值用患者症状的改善程度来评价。

POMDP模型中的立即效益值依赖于相邻诊次的健康状态变化，即前后两个诊次所有症状改善的相加值。

以冠心病患者为例，也可以根据症状的重要性和相关性给予不同的权重。如在某个健康状态上，一些频度更高的处方提示着临床医生的倾向性或该处方的临床疗效优势。因此，对立即效益值的计算，可用于优化和筛选更有效的治疗方案，也可发现有疗效优势的经验方案。

2.2.6 初始信念状态 即观察某个患者最初诊次中所有的临床症状及其严重程度，整合初诊状态集合中的每一个健康状态，就得到关于这个患者的初始信念状态。

3 POMDP模型验证研究

进一步将POMDP模型优化和发现中西医结合治疗方案的能力在冠心病的中西医结合治疗方案的优化问题上进行验证比较。

3.1 验证方法 为研究应用POMDP模型得出的UA中西医结合治疗方案的合理性，用SAS 2.16.1统计软件将UA证候要素类型为气虚、血瘀的患者随机分为测试组732例和验证组732例，首先对测试组患者应用POMDP模型得出一组最优治疗方案的核心处方，然后应用之前的筛选程序在验证组患者中筛选符合方案的患者作为优化组、不符合方案的患者作为对照组，进行血瘀证积分［6］、远期终点事件发生情况的比较，验证方案的临床疗效，从而对POMDP模型的可靠性进行验证。

匹配的基本条件为病症相同，因考虑患者数量和研究的说服力问题，最终使用了证候为气虚和血瘀、基线资料相同且治疗方案中小于治疗用药总数70%药物的患者作为匹配患者，不同的待验证患者不匹配相同的患者。基线资料主要是指年龄、性别、吸烟史、高血压病史、糖尿病病史、高脂血症病史。

最后符合气虚治疗方案的共有152例患者入选优化组，符合血瘀治疗方案的共有127例患者入选优化组，待对照组患者的筛选及匹配完成后进行两组疗效的评价，评价的指标包括出院血瘀证积分降分及远期终点事件发生率。

3.2 统计学方法 以临床平均效益值（average discount rewards，ADR）来比较由POMDP模型制定的治疗方案和真实世界中的治疗方案。采用SPSS 17.0统计软件进行验证研究的数据处理。呈正态分布的计量资料以（±s）表示，两组间比较采用配对样本t检验。计数资料以相对数表示，组间比较采用χ2检验。以P＜0.05为差异有统计学意义。

3.3 验证结果 优化组和对照组患者经过软件进行配对处理后，两组基线资料均衡可比。另通过对对照组和优化组患者的血瘀证积分降分进行正态性检验，两组为正态分布，故进行配对样本t检验，优化组患者的血瘀证积分降分较对照组患者更大（P＜0.05）；对两组患者的远期终点事件发生率进行χ2检验，结果显示两组发生率比较，差异无统计学意义（P＞0.05），其中气虚方案的研究中，优化组发生事件25例，对照组发生28例；血瘀方案的研究中，优化组发生事件16例，对照组发生18例（见表3～4）。

4 讨论

POMDP是一种解决序列决策问题数学算法，在医学领域中常应用于复杂治疗方案的动态优化。本研究团队前期已将其在UA中西医结合临床治疗方案优化中进行初步尝试［7-9］。本文详细描述了POMDP的关键参数、分析思路、数据分解过程，并利用多种新的数据挖掘方法得出的优化治疗建议，将患者人群分为测试组和验证组，以临床随访终点事件和血瘀证改善积分为主要指标，分析本次研究出的治疗建议的可靠性及方法的可信度。

选取此次优化治疗方案使用的POMDP模型的方法，将患者随机分为验证组和测试组，将模型得出的研究结果在验证中验证，对改善血瘀证积分水平和远期终点事件情况较不使用该方案组有明显的疗效。受观察患者人数和观察时间影响，两组远期终点事件的发生率无明显差别，但优化组的事件发生人数略低于对照组。

从传统医学角度，冠心病的主要病机为血瘀，血瘀证候的严重程度在一定程度上反映了患者的病情。目前，血瘀证候的严重程度主要使用血瘀证积分量表进行评价。结果显示，POMDP优化的UA中西医结合治疗方案在改善血瘀证方面有明显优势，在长期疗效方面虽然暂时无明确的统计学意义，但也显示了良好的趋势。

表3 气虚证两组患者血瘀证积分降分和远期终点事件发生率比较Table 3 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with Qi deficiency

表4 血瘀证两组患者血瘀证积分降分和远期终点事件发生率比较Table 4 Comparison of the decrease of blood stasis scores and the incidence of long-term end-point events between the two groups of patients with blood stasis

本研究不仅是以数据模型进行优化方案的提取，也在一定程度上证实了POMDP模型生成的UA中西医结合优化治疗方案的可靠性，对研究方法的严谨程度也有验证意义。更为细化、深入的研究方案，有待进一步的相关患者的观察结果。

本模型研究探索应用POMDP算法，对UA患者中西医结合治疗方案的临床疗效即时评价，从而帮助实现UA中西医结合适宜方案的快速优化。应在基层医疗机构诊疗系统中添加智能模块，以协助全科医生应用现代数据优化方法开展冠心病等多种慢性病中西医结合治疗方案的即时智能推荐、临床疗效的即时客观评价及根据患者临床特点的中西医结合“精准治疗”，从而提高基层医疗工作水平、减少多种慢性病临床事件的发病率、提高基层智能化慢性病管理水平。研究也将为进一步探索慢性病治疗方案的优化提供重要的研究依据和方法学基础。

作者贡献：冯妍负责病例采集、研究设计、文章撰写；徐浩负责研究设计、审阅病历及其他工作支持；王以新负责审阅病历及其他工作支持；冯奇、周雪忠负责分析数据、模型编程；邱禹负责采集数据、数据统计。

本文无利益冲突。