基于机器学习算法的医疗设备运维状态自主感知及主动预警模型研究

【作 者】马玉春，秦航，殷小进

1 江苏省盱眙县人民医院 设备科，淮安市，211700

2 江苏省南京市第一医院 医疗设备处，南京市，210006

0 引言

大中型医疗机构配置的医疗设备运维管控主要涉及多维载体设备运维状态感知与挖掘融合、潜在的故障分析与主动预警、最优耗费比下的故障识别策略自主生成等，医疗设备运维状态自主感知及主动预警作为医疗设备运维管控机制完整生命周期中的重要决策依据[1]，在保证医疗设备系统长期安全稳定运行、医疗设备系统多维运行状态感知、医疗设备系统故障诊断与预警等多维度具有支撑作用。大型医疗设备系统运维工作过程中多维状态模式全寿命过程中产生的故障数据结构涵盖结构化与非结构化[2]，具有明显的多源异构属性，利用多源异构数据融合技术构建海量数据共享池，为医疗设备领域的非结构化数据挖掘提供案例实证支撑。构建拓扑动态变化场景下的医疗设备多源异构故障智能感知与预警模型是智慧医疗设备系统的底层数据需求，在智慧医疗设备系统构建的全局中发挥基础作用，是保障智慧医疗设备系统全链条畅通的关键一环[3]。

1 模型体系架构设计

医疗设备运维状态自主感知及主动预警模型体系架构涵盖医疗设备多维运维状态感知层、非结构化的医疗设备多源异构故障数据样本池构建层、医疗设备故障智能感知与主动预警层、可视化人机交互层等，具体如图1所示。其中，医疗设备多维运维状态感知层采用传感器集群采集医疗设备运维信息并进行暂存与计算，为故障感知提供底层数据；非结构化的医疗设备多源异构故障数据样本池构建层针对底层数据进行非结构化处理[4]，形成可供机器学习应用的故障数据样本池；医疗设备故障智能感知与主动预警层引入机器学习多维感知医疗设备多源异构故障数据训练样本特征，迭代更新故障感知与主动预警之间的映射关系，构建医疗设备故障主动预警机制，实现医疗设备容错性能自主进化；可视化人机交互层通过可视化动态技术实现跨平台下的友好人机交互。

图1 医疗设备运维状态自主感知及主动预警模型体系架构逻辑示意图Fig.1 Schematic diagram of perception and early warning model architecture logic

以医疗设备运维状态自主感知及主动预警模型体系架构为状态流顶层设计指导，对基于机器学习算法的医疗设备运维状态自主感知及主动预警模型控制流逻辑进行设计，通过多传感器集群获取大数据量级的医疗设备正常运维状态数据，形成训练样本数据集，将这些正常的样本数据集输入基于卷积自编码器的深度残差网络进行训练，获取正常运维状态的数据分布特征。在推理阶段，将待感知状态输入到网络进行重构[5]，引入强化学习实现测试样本故障特征自主决策，迭代更新故障感知与主动预警之间的映射关系，构建医疗设备故障主动预警机制，实现医疗设备运维状态容错性能自主进化。硬件部分由安装于医疗设备上的多传感器集群采集医疗设备正常运维状态数据[6]，将正常运维状态数据特征输入计算机储存为样本数据集和待检测数据集，将样本数据集通过嵌入式电脑进行训练得到带参数的模型，将待感知运维状态数据输入到嵌入式电脑的模型中进行推理，得到检测结果，给出故障分类指令对医疗设备运维状态进行主动预警，之后交给下一级执行设备进行处理。基于机器学习算法的医疗设备运维状态自主感知及主动预警模型控制流逻辑示意图，如图2所示。

图2 医疗设备运维状态自主感知及主动预警模型控制流逻辑示意图Fig.2 Schematic diagram of perception and early warning model control flow logic

2 模型实现及仿真验证

基于医疗设备运维状态自主感知及主动预警模型控制流逻辑走向，分阶段对基于机器学习算法的医疗设备运维状态自主感知及主动预警模型核心子模型进行建模设计，首先给出医疗设备运维状态自主感知子模型，然后给出医疗设备故障主动预警子模型，最后给出平台典型环境下的仿真验证，全景还原多维参数约束下医疗设备真实工作状态，给出基于机器学习算法的医疗设备运维状态自主感知及主动预警模型定量化实现过程，为工程化效能分析提供模型支撑。

2.1 医疗设备运维状态自主感知子模型

策略的概率分布进行采样，而且在迭代过程中每一步都要对整个动作空间进行积分[7]，在目标Q网络的基础上采取了确定性策略，根据行为直接通过函数μ确定感知策略，公式中的μ一般理解成一个最优行为策略at=μ(st│θμ)，则面向多源异构数据分布式感知的最优函数可以表征如下：

考虑到式（2）在大数据流环境下的不稳定性，对式（2）进行一阶求导处理，则多重Q网络结构最优生成机制可以表征为式（3），具有很强的兼容性[8]，可以通过自我学习实现医疗设备多源异构故障数据训练样本特征多维动态感知，可以较好实现大数据量级多源异构采购约束因素自主感知与记忆。

利用面向大型设备状态感知的Puhws-hgwd开源数据集构建非结构化的医疗设备多源异构故障数据样本池，引入机器学习多维感知医疗设备多源异构故障数据训练样本特征，实现医疗设备运维状态自主感知，实现医疗设备运维状态容错性能自主进化。基于医疗设备状态数据载体参数复杂多变且多源异构的特点，使用策略网络μ来充当actor，使用价值网络来拟合（s,a）函数，来充当critic的角色，则表征拓扑动态变化情境下的医疗设备多维运维状态自主感知策略μ的优劣性能的评估函数如下：

基于式（1），给出多重Q网络结构确定性策略公式，因为多重Q网络结构采取随机性策略，所以要想获取当前动作action就需要对最优

2.2 医疗设备故障主动预警子模型

根据医疗设备多维运维参数复杂多变且多源异构的特点，使用策略网络μ来充当actor，使用价值网络来拟合(s,a)函数，来充当critic的角色，所以将融合经验缓冲因子的深度确定性策略梯度算法的预警目标函数就可以定义为式（4）：

此时Q函数表示为在采用确定性策略μ下选择动作的奖励期望值，在策略网络与Q网络耦合环节引入经验缓冲因子，算法迭代收敛速度跨数量级提升，从经验缓冲因子池中随机采样Mini-batch数据[9]，由于不同子策略将会在不同回合执行，因此，针对每一个训练回合，可以得到一个记忆回放池，最后针对每一个训练回合的子策略参数求解融合目标函数的梯度，自主识别故障信息框架并标记，则主动预警触发函数表征为式（5）：

基于式（5）的融合共享效应，多重Q网络中的参数θQ具有较好的自主进化性能，借助Qμ(s,μ(s))利用μ策略在s状态选取动作所获取的回报期望值，自主构建故障信息的特征框架，可以较好实现大数据量级多源异构运维数据故障信息自主主动预警。

2.3 模型典型环境下的仿真验证

为了多维度验证基于机器学习算法的医疗设备运维状态自主感知及主动预警模型的实际工作效能，分析医疗设备多维运维状态自主感知机制、大数据量级多源异构运维数据故障信息自主主动预警的实际协同效能，为了具有一般性和客观性，利用江苏省盱眙县人民医院设备科2019年第二季度至2020年第二季度记录的全院医疗设备运维状态数据文本作为初始训练数据，基于PyTorch开源框架，在Gym Torcs环境下对模型进行了效能仿真验证，设定初始损失函数，从多源异构运维数据下的模型运维状态自主感知性能仿真图、深度强化学习算法控制下的模型主动预警性能仿真图等多维度对算法进行了仿真验证，在Keras 2.2.2和Gym 0.10.8环境下进行图形化示意仿真，采用显著差异标识在仿真图中给出对比曲线，最终仿真结果如图3、4所示。

图3 多源异构运维数据下的模型运维状态自主感知性能仿真图Fig.3 Schematic diagram of model operation and maintenance status autonomous perception performance simulation

3 模型工程化应用效能验证

为了实际验证文中所提医疗设备多维运维状态实时全景感知、多源异构故障数据快速计算与融合、大数据量级多源异构通信故障数据实时感知与主动预警等机制在一线运维环境下的实际效能，选取医疗设备比较集中的江苏省盱眙县人民医院医技检验中心为模型工程化应用效能验证布置载体，忽略临近医疗设备多维之间的蕴含谐波干扰[10]，对模型进行工程应用分析，采集特定医疗设备前一季度状态序列作为训练参数集，后一季度状态序列作为测试训练集，利用机器学习实现医疗设备故障智能感知，强化学习实现测试样本故障特征自主决策，迭代更新故障感知与主动预警之间的映射关系，构建具有工程应用意义的医疗设备运维状态自主感知及主动预警机制，具体如图5所示。

图4 深度强化学习算法控制下的模型主动预警性能仿真图Fig.4 Schematic diagram of simulation of model active warning performance under the control of deep reinforcement learning algorithm

图5 模型工程化应用效能验证布置逻辑示意图Fig.5 Schematic diagram of engineering application effectiveness verification layout logic

为了进一步从定性、定量两个层面对比分析原型系统的工程化应用效能，选取江苏省盱眙县人民医院设备科为模型效能验证载体，以目前医疗机构主流应用的医疗设备运维状态综合管控系统为对照系统，从设备状态感知覆盖率、数据处理策略有效率、设备故障发现周期效率、模型主动预警精确率、模型工程化应用友好性、预警信息推送便捷性等层面对比了目前医疗机构主流应用的医疗设备运维状态综合管控系统与本文基于机器学习算法的医疗设备运维状态自主感知及主动预警模型的综合性能，具体如表1所示。通过表1可以从定性和定量两个层面分析得出，模型可以较好实现医疗设备运维状态自主感知及主动预警，具有运维状态信息感知全面、医疗设备兼容性强、主动预警有效率高等方面具有明显优势，初步具备实际推广应用的价值，对进一步推动智慧医疗落地实施具有积极意义。

表1 自主感知及主动预警模型工程化应用效能对比Tab.1 Comparison of engineering application efficiency of autonomous sensing and active early warning models

4 结论

为了着重改善目前医疗机构主流应用的医疗设备运维状态综合管控系统存在的多源异构故障数据动态调整实时感知失效、异构医疗设备多维参数约束下容错性敏感、故障主动预警泛化能力与学习能力失衡、最优状态收敛速度随时间呈迟滞变化、高压环境下的系统性能下降严重等固有弊端，笔者提出了一种基于机器学习算法的医疗设备运维状态自主感知及主动预警模型。借助多传感器数据融合下的医疗设备运维状态采集中心，构建非结构化的医疗设备多源异构故障数据样本池，引入深度学习多维感知医疗设备多源异构故障数据训练样本特征，实现医疗设备运维状态自主感知，引入强化学习实现测试样本故障特征自主决策，迭代更新故障感知与主动预警之间的映射关系，构建医疗设备故障主动预警机制，实现医疗设备运维状态容错性能自主进化，借助TensorFlow开源训练平台，在Pycharm集成开发环境下进行模型效能仿真验证。以江苏省盱眙县人民医院设备科为模型效能验证载体，对模型进行了工程应用分析，一线运维验证结果表明原型系统较好协调了医疗资源配置自主化、医疗机构应急处理智能化、医疗设备运维状态可视化之间的信息流通关系，可以较好实现大数据量级多源异构故障数据实时感知与主动预警，具有故障信息感知全面、医疗设备兼容性强、主动预警有效率高等优势。