基于改进马尔可夫模型的医疗设备采购决策模型研究及工程评估实践

【作 者】谭亮，解晶

四川大学华西医院 国有资产管理部，成都市，610041

0 引言

医疗设备是医疗机构固定资产的重要组成部分，对医疗机构可持续健康发展至关重要，医疗设备采购是否合理越来越成为影响医疗机构自身软竞争力的重要影响因素，在高端医疗设备领域，主要依赖进口，价格昂贵，导致成本过高，通过建立智能化的医疗设备采购模型，对降低医疗成本具有积极意义[1]。医疗设备采购不仅仅是市场化的买卖关系，更是政府相关部门优化医疗资源配置，缩小经济发展差异地区医疗水平差异、提高我国整体医疗水平的重要途径，需要建立完备的决策体系，综合考虑医疗设备采购需求、采购模式、成本绩效考核、技术培训、长远收益、患者满意度等因素，引入人工智能等技术构建兼顾合理化与精细化的医疗设备采购体系平台[2]。借助国家卫健委公布的供需数据并实地调研收集医疗机构患者历史需求数据，构建大数据量级的医疗设备采购数据池，把医疗设备采购决策过程视为马尔科夫过程，引入深度学习感知医疗设备采购的核心约束因素，构建多维约束下的医疗设备采购决策模型，引入改进马尔可夫模型，给出可观测的医疗设备采购决策方案。为了验证模型的实际效能[3]，搭建软件仿真环境，选取工程评估实践载体，对模型进行核心指标仿真验证与工程实践效能分析。

1 医疗设备采购决策模型架构设计

以医疗设备采购决策运维体系全链条需求为指引，将医疗设备采购决策模型架构划分为采购影响因素感知层、数据深度处理层、多维约束下的医疗设备采购最优决策层、图形化下的跨平台人机交互层等，每一层通过消息耦合机制进行双向通信。与模型架构相对应，提出了一种融合经验缓冲因子的深度确定性策略梯度算法，作为马尔科夫模型的前置可观测数据来源，具体内容如图1所示。通过在策略网络与Q网络耦合环节引入经验缓冲因子，大幅度降低Transition数据序列在时间维度的相关性，从根源上解决了导致神经网络的Overfit的因素，算法迭代收敛速度跨数量级提升，从经验缓冲因子池中随机采样Mini-batch数据，消除训练样本之间的关联性，保证策略学习过程更加稳定，收敛效率更具保障性。针对大型医疗机构医疗设备采购最优决策问题[4]，引入深度学习算法实现医疗设备采购核心约束因素自主感知，深度径向基神经网络从训练样本库中非相关采样进行针对性训练，通过训练数据预测误差建立核心约束因素与深度径向基神经网络的物理映射，构建多维约束下的医疗设备采购决策模型。引入改进马尔可夫模型，建立采购核心约束因素感知与最优采购策略生成之间的逻辑对应关系，深度径向基神经网络捕获最优采购决策并对网络初始参数进行赋值，借助约束感知及最优采购决策函数输出给出可观测的医疗设备采购决策方案。

图1 医疗设备采购决策模型架构示意图Fig.1 Schematic diagram of medical equipment procurement decision model

2 医疗设备采购决策模型定量化建模及仿真

2.1 基于深度学习自主感知子阶段

利用深度学习感知获取的医疗设备采购约束因素生成目标采购最优决策参数要素集合，为基于马尔科夫模型的采购最优决策策略生成提供可视化支撑，利用融合经验缓冲因子的深度确定性策略梯度算法强大的自我感知能力[5]，实现多维差异性医疗设备采购约束因素的有序重组并进行多维差异性医疗设备采购约束因素的特征提取与共享计算，提供正反馈机制修正共享过程中的误差，构建全局协同控制下医疗设备采购约束因素自主识别与更新机制，详细实现过程如下：

根据医疗设备采购约束因素复杂多变且多源异构的特点，使用策略网络来充当actor，使用价值网络来拟合(s,a)函数，来充当critic的角色，所以将融合经验缓冲因子的深度确定性策略梯度算法的目标函数就可以定义为：

此时Q函数表示为在采用确定性策略μ下选择动作的奖励期望值，在策略网络与Q网络耦合环节引入经验缓冲因子，大幅度降低Transition数据序列在时间维度的相关性，从根源上解决了导致神经网络的Overfit的因素，算法迭代收敛速度跨数量级提升，从经验缓冲因子池中随机采样Mini-batch数据，由于不同子策略将会在不同回合执行，因此，针对每一个训练回合[6]，可以得到一个记忆回放池，最后针对每一个训练回合的子策略参数求解融合目标函数的梯度，自主识别采购约束因素并标记，表征为：

基于式（2）的融合共享效应，多重Q网络中的参数θQ具有较好的自主进化性能，借助Qμ(s,(μ,s))利用μ策略在s状态下选取动作所获取的回报期望值，自主构建采购约束因素的特征框架，可以较好实现大数据量级多源异构采购约束因素自主感知与记忆。

2.2 基于改进马尔可夫模型最优决策子阶段

基于式（2）给出的具有完备属性的医疗设备采购约束因素，综合考虑医疗设备采购的自身的复杂特点，通过分析采购全流程与关键局部流程来预测决策转移状态，引入部分可观测的马尔科夫模型自主生成采购最优决策策略[7]。定义状态概率为βj(k)，定义当前采购所处的状态为Ej，表征在医疗机构初始采购需求（初始状态，k=0）已明确的情况下，经过k次状态转移（采购策略调整）后，则有：

从初始状态开始，基于式（2）给出的医疗设备采购约束因素参数集，基于式（3），对初始状态进行迭代k次转移后即时状态为Ej的这一过程可以视为两个步骤，首先经过k-1次状态转移后到达前置状态Ei(i=1,...,n)，然后根据式（2）给出的采购最优决策策略进行后置状态转移，到达状态Ej，上述过程具有明显的马尔科夫过程属性，马尔科夫过程无后效性及Bayes条件概率公式适用，则有:

其中Pij表征状态转移概率，基于式（4）可以对采购过程中的任意状态进行概率决策，考虑到医疗设备采购最优决策问题是离散的非连续最优决策问题[8]，引入行向量表征可行的采购决策策略方案，定义行向量为β(k)=[β1(k),β2(k),...,βn(k)]，则结合式（4）可得逐次寻优递推公式，则有：

式（5）中P为状态转移概率矩阵，利用式（2）给出的医疗设备采购约束因素，基于式（5）可以分析得知，如果医疗机构初始采购需求明确，则借助基于改进马尔可夫模型的医疗设备采购决策模型可以实现采购效能最优化。

2.3 模型性能仿真验证

选取四川大学华西医院国有资产管理部2016-01-01至2020-07-01的患者需求及医疗设备采购数据文本作为初始训练数据，基于Matlab仿真环境，借助深度学习工具箱对模型进行了效能仿真验证，借助可视化工具箱进行图形化示意仿真，采用显著差异标识在仿真图中给出对比曲线，最终仿真结果如图2、图3所示。设定初始损失函数，从医疗设备采购长远需求与即时需求均衡性仿真曲线图、医疗设备采购较长周期内患者需求预测精确性仿真曲线图等多维度对算法进行了仿真验证，设定初始深度径向基神经网络大小为128×256×16，设定深度学习回报率服从负稀疏矩阵，参数的选取以决策最优为导向，确保在模型训练的后期仍然具有较强的进化活力，引导训练进化朝着更优的方向发展。

图2 医疗设备采购长远需求与即时需求均衡性仿真曲线Fig.2 Simulation curve of equilibrium between long-term demand and immediate demand for medical equipment procurement

图3 医疗设备采购较长周期内患者需求预测精确性仿真曲线Fig.3 Simulation curve of patient demand prediction accuracy in a long period of medical equipment procurement

3 医疗设备采购决策模型工程评估实践

基于经济性考虑，采用微应用扩展的模式对四川大学华西医院国有资产管理部现役应用的国有资产综合管理系统进行适应性改造，增加医疗机构患者需求数据实时全景感知与融合、大数据量级的医疗设备采购数据池构建、医疗设备采购决策马尔科夫过程拟合、医疗设备采购决策模型构建与最优采购策略自主生成等软件处理进程，分配单独的内存资源，定期进行业务数据内网交互，实现数据全景共享。选取安四川大学华西医院国有资产管理部近期采购的某进口医疗设备作为模型工程应用效能验证载体，如图4所示。为了评估模型的鲁棒性，设置同步组，按照采购需求提出、采购计划制定、最优采购策略生成、采购策略同步校验、综合评估与人机交互等步骤对模型进行工程评估实践。

图4 医疗设备采购决策模型工程评估实践逻辑示意图Fig.4 Schematic diagram of engineering evaluation practice of medical equipment procurement decision model

为了进一步验证模型的定量化工程化应用及实践评估效能，基于图5给出的医疗设备采购决策模型工程评估实践逻辑示意图，利用四川大学华西医院国有资产管理部2019年第二季度运维产生的医疗设备采购数据作为统计对象，选取四川大学华西医院国有资产管理部现役应用的国有资产综合管理系统作为对照组，从多源异构医疗设备采购约束因素感知精确率、医疗设备采购长远需求与即时需求均衡率、较长周期内患者需求预测精确率、多维约束下医疗设备最优采购策略等层面多维对比模型性能，则模型定量化工程应用效能对比，如表1所示。

表1 模型工程评估实践效能对比表(%)Tab.1 Comparison table of practical effectiveness of model engineering evaluation

4 结论

针对长远需求与即时需求均衡要求较高、采购过程变动频繁且约束多维的、同步感知与最优决策需求较高的、时间效应明显且具有累积性的、受历史数据影响明显的较长周期内的大型医疗机构医疗设备采购最优决策问题，提出了一种基于改进马尔可夫模型的医疗设备采购决策模型并进行了工程评估实践。在部分可观测马尔科夫模型中融入深度径向基神经网络，基于医疗机构患者历史需求数据，构建大数据量级的医疗设备采购数据池，把医疗设备采购决策过程视为马尔科夫过程，引入深度学习感知医疗设备采购的核心约束因素，构建多维约束下的医疗设备采购决策模型，引入改进马尔可夫模型，给出可观测的医疗设备采购决策方案。基于Matlab仿真环境，借助深度学习工具箱对模型进行了效能仿真验证，选取四川大学华西医院国有资产管理部为效能评价载体，对模型进行工程化应用效能分析，结果表明模型初步具备了大型医疗机构医疗设备采购最优决策，为多维约束下的医疗设备采购决策提供多维数据支撑，对构建智慧医疗运维全链条、全寿命周期医疗设备采购决策机制具有基础性支撑效能。