Markov模型在医学中的应用现状1）

王 强，王承龙，王少丽

Markov模型是俄国著名数学家马尔可夫在1906年提出的，起初用来描述和预测煤气分子在密闭容器中的冲态。柯尔莫果洛夫在1936年将其一般化到可数无限状态空间。在20世纪60年代已开始将其应用于水文、气象的预测，后应用于地震方面的预测。最早应用于医学领域是在20世纪70年代，主要用于慢性疾病的发展过程，80年代后国外已有大量的应用，90年代耿建平将其用于甲肝感染情况的模拟［1］，其后在医学领域中的应用较为广泛。

1 Markov模型在医学中应用的原理概述

Markov模型是依据某些变量的现在状态及动向，预测某些变化趋势的动态随机数学模型［2］。它的具体工作原理如下：①通过疾病的特点和研究目的可划分为不同的健康状态，称为Markov状态，各种状态是相互排斥的，且可以相互转化，患者在不同时期会处在一个明确的状态；②根据不同疾病的演变规律确定一定的时间段，称为循环周期；③根据不同状态之间的转移概率，并结合每种状态的健康效用值（生存质量的权重），计算不同年限的质量调整生命年（质量调整生命年是健康效用值与生存年数的乘积）；④根据质量调整生命年的获得和不同干预措施成本的消耗，进而评定干预措施的合理性。

2 Markov模型的具体应用

2．1 疾病自然病史和发生概率的预测 对于疾病的短期变化，临床观察比较容易把握疾病的发展规律，但是对于一些传染病、肿瘤等慢性疾病，疾病的进展要经历数年，甚至是10年以上，难以通过临床观察掌握疾病的变化，因此运用数学模型进行疾病的长期预测有重要的意义，其中Markov模型研究较多，且比较符合疾病的发展规律。首先根据疾病的发病特点，将疾病划分为几种互相排斥的Markov状态，根据各种状态之间每个周期（一定的时间间隔）的转移概率，进行不同阶段疾病预后转归的预测，更好开展疾病的预防和控制。例如，Kopycka等［3］以二态的Markov模型为基础估计无龋齿状态转化成龋齿活跃的状态转移概率，进而评价唾液变形性链球菌对龋齿状态的影响。为了评估结肠癌预后中的复发情况，Dancourt等［4］研究了包括经典生存分析和Markov模型在内的几个方法学问题，证实Markov多态模型在消化道癌症的进展过程中可以提供独特的见解，并对这一过程中复发的作用提供新颖的观点。由于肝纤维化的检查受肝脏活检的限制，且肝组织活检只能确定当时的纤维化发展，Deuffic等［5］通过 Markov模型模拟了不同纤维化阶段的患者分布情况，证实了Markov模型在慢性丙肝的纤维化进展的分析中是一个精确的工具。此外，还用于心血管事件预期寿命的预测［6］。Honeycutt等［7］通过三态的马尔科夫模型（周期是1年）预测疾病的发生概率，结合2001—2050年每种状态的预测，从而准确的预测美国2050年糖尿病的发病率。

2．2 疗效评价和疾病预防的收益 Markov模型更为重要的是在经济学领域的应用，最具有代表性的是干预措施的疗效评价。短期的疗效评价可以通过终点事件和不良事件的观察得到，但很多情况下，我们更希望了解长期的疗效评价。鉴于不同的干预措施获得生存质量和经济学成本有差异，此外对于中医药的疗效评价局限于中医症状评价、西医理化指标的评价，并不能客观地反映中医药的疗效优势，以Markov模型为基础的质量调整生命年能够将中医主观症状和西医的理化指标统一起来，从而客观地反映中医药的疗效。因此Markov模型在现代医学和传统医学的疗效评价领域有很大的优势。加拿大，Romagnuolo等［8］用二阶的Markov模型估计5年内奥美拉唑和腹腔镜胃底折叠术的治愈和维持疗法的成本和效用，发现两种干预措施的质量调整生命年没有明显差别。瑞典，Borg等［9］运用 Markov模型，通过质量调整生命年的成本和增量成本来估计促红细胞生成素和输血在治疗化疗后贫血的效果分析。Gordois等［10］用Markov模型将患者划分为无慢性排斥反应、慢性排斥反应、死亡三种状态，通过计算肾移植患者消费成本和质量调整生命年，得出西罗莫斯是有效且合理的治疗措施。此外，Markov模型还应用于在其他疾病的疗效评价，例如肝癌、睡眠呼吸暂停综合征等［11，12］。

疾病的预防不仅降低慢性疾病的发病率，而且提高患者的生存质量，从而间接地降低医疗成本，对疾病预防和疾病筛查方法的评价尤为重要。Gaziano等［13］用 Markov模型评价心血管疾病二级预防的收益、危险和成本，在一级预防中应用了阿司匹林、钙离子拮抗剂、血管紧张素转化酶抑制剂、他汀类；在二级预防中用β受体拮抗剂来代替钙离子拮抗剂，通过每个质量调整生命年的增量成本效率分析，得出在发展中国家需要使用阿司匹林、两种降压药、他汀类进行二级预防。在墨西哥，为了进行人乳头瘤病毒疫苗、杂交捕获筛查和巴氏图片筛查总的成本效益分析，Gutierrez－Delgado等［14］运用 Markov模型模拟了10中不同的情景，得出联合引入杂交捕获筛查和巴氏图片筛查更可取。美国糖尿病协会建议对伴有动脉硬化的危险因素糖尿病患者应行冠心病筛查，为了验证此方案的可行性，日本Hayashino等［15］通过Markov模型评价伴有动脉硬化的危险因素无症状糖尿病患者临床收益和冠心病筛查费用的成本效益，得出相同建议的筛查方法也适用于日本。

2．3 分析药物的代谢过程和药物的遴选 早在20世纪90年代，杨静化等［16］通过Markov模型分析心、脑、肾等脏器中血药浓度随时间变化的规律。此外，Tang等［17］用其预测磺脲二次失效随着时间变化的影响因素和代谢趋势。Karlsson等［18］通过Markov混合作用模型解释替马西泮对睡眠阶段的影响，并认为促进深睡眠的过渡，抑制轻度睡眠的过渡，因而利于转到睡眠阶段。同时通过Markov模型的构建，可以从睡眠发生和苯二氮卓的药理学机制角度解释替马西泮对睡眠觉醒状态的影响。因此，能够了解药物在机体的分布、代谢过程，从而更好的研究药物机制。

国家药物遴选的原则是防治必需、安全有效、价格合理、使用方便、中西药并重、基本保障、临床首选和基层能够配备。鉴于Markov模型通过模拟疾病的进展，解决临床试验研究中的时间和费用问题，借助其他模型计算终点事件的发生率，孙国君等［19］建议用此模型进行药物的遴选。此外，中医药疗效评价缺乏广泛公认的评价方法，而以Markov模型为基础的质量调整生命年和病症结合的评价模式有很好的一致性，更能贴切中医药的疗效评价，指导中医药的遴选。但目前中医药疗效的相关报道较少，因此这是中医药疗效评价的重要突破口。

3 小结和展望

目前，Markov模型在国外已被应用于疾病预后因素的研究［20］、纵向生命质量资料分析［21］、疗效和预防措施的评价、疾病自然史和演变规律的研究等多个方面。其在中医药领域的应用很少，但依据Markov模型的原理和方法，Markov模型用于中医病证结合的疗效评价在方法学上是可行的，并且有广泛的应用前景。

Markov模型虽然有广泛的应用，但也有一定的局限性。首先，Markov模型无记忆性，由于疾病的转归通常与既往史有关，所以应根据临床意义合理设定Markov模型对疾病相对准确的预测是非常关键的［22］。其次，Markov模型需要一定的假设条件，这些条件有时很难满足，因此短期的预测结果比较准确，因为短期内假设的条件比较容易满足。最后，Markov模型容易忽略事物发展的次要因素，使预测的结果不那么精确［2］。这是模型应用中要关注的问题，既要贴切疾病的演变规律，又要符合模型的要求，合理应用模型。

中医药的疗效主要由个体案例中得出，侧重中医症状的改善，但是缺乏大样本的随机对照研究，况且许多症状并不能真实反映疾病的转归和预后，因此循证医学证据等级较低，缺乏一定的临床说服力；有些学者通过现代医学的理化指标、病理损伤的变化等衡量中医药疗效，一方面这些指标不能客观的评价现代医学本身，另一方面现代医学和传统中医学理论构建有很大差别，难以将整体观念和辨证论治的理念体现出来，更不能完全体现中医药的疗效优势。因此有很多学者针对中医药自身特点提出其评价的原则，赖世隆等［23］认为一个具有较强科学价值中的中医药疗效评定标准应该包括：①对于“病”的公认的常规疗效评定标准；②构成证候的若干指标变化的评定标准；③生存质量的评定标准。因此遵循中医学整体观念和辨证论治规律，符合现代临床疗效评价一般原则，又能充分体现中医药疗效优势且被世界公认的疗效评价方法，是现代中医药事业发展的关键问题之一［24］。从方法学角度运用Markov状态转移模型进行中医药疗效评价的研究，以期为中医药临床疗效评价研究提供一种新的模式，这对现代中医药临床疗效评价研究的深入和与国际接轨具有极其重要的意义。

［1］ 耿建平，李文潮．Markov链在甲肝年龄分布资料中的应用研究［J］．数理医药学杂志，1995，8（2）：171－173．

［2］ 吴晶，黄泰康．马尔科夫模型及其在药品经济预测中的应用［J］．中国药房，2005，16（14）：1049－1050．

［3］ Kopycka Kedzierawski DT，Billings RJ．Application of nonhomogenous Markov models for analyzing longitudinal caries risk［J］．Community Dent Oral Epidemiol，2006，34（2）：123－129．

［4］ Dancourt V，Quantin C，Abrahamowicz M，et al．Modeling recurrence in colorectal cancer［J］．J Clin Epidemiol，2004，57（3）：243－251．

［5］ Deuffic BS，Poynard T，Valleron AJ．Quantification of fibrosis progression in patients with chronic hepatitis C using a Markov model［J］．J Viral Hepat，2002，9（2）：114－122．

［6］ Sesso HD，Chen RS，L’Italien GJ，et al．Blood pressure lowering and life expectancy based on a Markov model of cardiovascular events［J］．Hypertension，2003，42（5）：885－890．

［7］ Honeycutt AA，Boyle JP，Broglio KR，et al．A dynamic Markov model for forecasting diabetes prevalence in the United States through 2050［J］．Health Care Manag Sci，2003，6（3）：155－164．

［8］ Romagnuolo J，Meier MA，Sadowski DC．Medical or surgical therapy for erosive reflux esophagitis：Cost－utility analysis using a Markov model［J］．Ann Surg，2002，236（2）：191－202．

［9］ Borg S，Glenngard AH，Osterborg A，et al．The cost－effectiveness of treatment with erythropoietin compared to red blood cell transfusions for patients with chemotherapy induced anaemia：A Markov model［J］．Acta Oncol，2008，47（6）：1009－1017．

［10］ Gordois A，Nobes M，Toohey M，et al．Cost－effectiveness of sirolimus therapy with early cyclosporin withdrawal vs．longterm cyclosporin therapy in Australia［J］．Clin Transplant，2006，20（4）：526－536．

［11］ Muszbek N，Shah S，Carroll S，et al．Economic evaluation of sorafenib in the treatment of hepatocellular carcinoma in Canada［J］．Curr Med Res Opin，2008，24（12）：3559－3569．

［12］ Mar J，Gutierrez Moreno S，Chilcott J．Probabilistic cost－effectiveness analysis of the treatment of sleep apnea［J］．Gac Sanit，2006，20（1）：47－53．

［13］ Gaziano TA，Opie LH，Weinstein MC．Cardiovascular disease prevention with a multidrug regimen in the developing world：A cost－effectiveness analysis［J］．Lancet，2006，368（9536）：679－686．

［14］ Gutierrez－Delgado C，Baez－Mendoza C，Gonzalez－Pier E，et al．Generalized cost－effectiveness of preventive interventions against cervical cancer in Mexican women：Results of a Markov model from the public sector perspective［J］．Salud Publica Mex，2008，50（2）：107－118．

［15］ Hayashino Y，Shimbo T，Tsujii S，et al．Cost－effectiveness of coronary artery disease screening in asymptomatic patients with type 2diabetes and other atherogenic risk factors in Japan：Factors influencing on international application of evidence－based guidelines［J］．Int J Cardiol，2007，118（1）：88－96．

［16］ 杨静化，张琪．马尔可夫药物动力学模型B［J］．生物数学学报，1998，13（2）：132－135．

［17］ Tang WL，Wang YM，Du WM，et al．Study of the process of secondary failure of sulphonylurea by a Markov model［J］．Pharmacoepidemiol Drug Saf，2008，17（5）：511－516．

［18］ Karlsson MO，Schoemaker RC，Kemp B，et al．A pharmacodynamic Markov mixed－effects model for the effect of temazepam on sleep［J］．Clin Pharmacol Ther，2000，68（2）：175－188．

［19］ 孙国君，吴华铃，单伟光．Markov模型在基本药物遴选中的应用［J］．中国卫生经济，2011，30（9）：22－23．

［20］ 王娟，汪涛，方积乾，等．Markov模型在终末期肾病腹膜透析治疗过程中的应用［J］．广州医学院学报，2007，35（3）：162－165．

［21］ 万崇华，方积乾，周文清，等．纵向生命质量资料分析的 Markov过程法及其应用［J］．中华流行病学杂志，1999，20（3）：162－165．

［22］ 易华云，刘爱忠，张琰．Markov模型在卫生领域中应用简介［J］．循证医学，2008，8（3）：172－176．

［23］ 赖世隆，胡镜清，郭新峰．循证医学与中医药临床研究［J］．广州中医药大学学报，2000，17（1）：1－6．

［24］ 王承龙，王少丽，史大卓．Markov模型在冠心病血瘀证疗效评价中的应用探讨及研究展望［J］．辽宁中医杂志，2011，38（4）：782－784．