医疗数据信息平台数据采集系统的设计与实现

文/张祥儒

1 引言

近年来，在“互联网+”的新形势下，全国各地区都在建立医疗数据信息平台，加强区域医疗卫生服务资源整合，充分利用互联网、数据等手段，提高重大疾病和突发公共卫生事件防控能力。从区域数据信息平台、省市数据信息平台到国家数据信息平台的建设过程中，都会面对海量的各类医疗数据，对数据的处理是一个关键性的工作，在数据处理的工作中如何获得全面、有效的医疗数据是个重大的挑战。

建立医疗数据信息平台，通过平台进行数据的分析、挖掘和应用，都要建立在大量、全面和有效数据的基础上，而要建立这个基础就要进行医疗数据的采集、整合和数据传输等工作,就需要建立数据信息平台数据采集系统。如何建立一个完整有效的数据采集系统，就需要详细的设计和实施工作来实现。

2 系统设计与实现

数据采集系统将各医疗机构的HIS、LIS、电子病历等系统的医疗数据经过清洗、转换之后上传至医疗数据信息平台，从而实现医院与平台之间的数据采集与交换，实现医疗卫生相关部门之间的数据共享和业务协同。

2.1 系统架构设计

数据采集系统架构分为：应用区和数据库区两部分。如图1所示。

第一部分应用区直接与各医疗机构前置机对接，用于存储各医疗机构上传的数据并进行数据清洗、上传等操作，包含：数据、采集、清洗、转换和监控服务，建立临时数据库。

第二部分数据库区用于接收应用层的数据，整合之后上传数据信息平台，包含：数据整合、监控和传输服务，建立标准数据库。

2.2 系统功能模块设计

数据采集系统包括：数据抽取、清洗转换、数据传输和数据监控4个模块。

2.2.1 数据抽取模块

数据抽取模块是通过接口从医疗机构的信息系统数据库中抽取到数据采集系统数据库中。接口可以采用中间库或视图两种方式建立。数据抽取模块可以定时从接口读取数据，并且可以对数据库中的数据表和表中的字段选择性的读取。

系统处理流程：

（1）数据抽取模块通过SQL语句对数据库进行查询操作，并读取医院视图或中间库表数据。

（2）数据抽取模块通过抽取时间比对，发现增量数据并进行增量数据的抽取。

图1：系统架构图

数据抽取模块分为数据库连接、视图连接和接口管理三部分功能。数据库连接包括数据库数据读取设置和实时调度功能；视图连接包括视图数据读取设置和实时调度功能；接口管理包括接口连接和接口配置功能。

2.2.2 数据清洗转换模块

数据清洗转换是将数据抽取模块抽取到的数据根据数据标准转换为标准数据。

处理过程准备如下：

数据处理的前提是：建立《数据信息平台数据标准规范》，作为数据清洗转换的依据。《数据信息平台数据标准规范》要对数据的字段名、类型、大小以及数据字典进行规范。

根据《数据信息平台数据标准规范》为每个医疗机构建立前置机数据库。

系统处理流程：

（1）对抽取的数据进行清洗、转换操作：先根据《数据信息平台数据标准规范》对数据进行校验，补充缺少的表字段，过滤掉多余的表字段；将不合格的数据转换为合格数据。

（2）每个医疗机构配备一台前置机，将各医疗机构传入的数据全部转换为标准数据，传入各自的前置机数据库。

系统清洗转换模块分为清洗任务调度、数据转换和数据库管理三部分功能。清洗任务调度包括定时调度和实时调度功能；数据转换包括数据输入、转换、过滤、输出功能；数据库管理包括前置机数据库的增加、删除、修改和查询功能。

2.2.3 数据传输模块

数据传输模块实现了应用区和数据库区之间的数据传输。应用层建立临时数据库存放各医疗机构转换后的标准数据，数据库区建立标准数据库存放临时数据库整合的数据，最后将标准库数据按照一定时间上传数据信息平台的数据库。

系统处理流程：

（1）将各医疗机构前置机数据库数据同步到数据传输模块的应用区临时数据库。

（2）应用区数据库将数据按照区域等方式进行合并，然后同步到的数据库标准区。

（3）数据库区数据库可以通过设置，实现数据的实时或定时上传数据信息平台核心数据库库。

数据传输模块分为数据整合、数据传输和数据库管理三部分功能。数据整合包括数据读取、合并、写入功能；数据传输包括：传输时间设置和方式设置功能；数据库管理包括临时数据库和标准数据库的增加、删除、修改和查询功能。

2.2.4 数据监控模块

数据监控模块可以对数据抽取、转换和传输情况进行监控。由于各医疗机构通过VPN或专网与数据信息平台联通，还可以对网络进行监控，对上传过程中出现的问题进行显示并报警。

系统处理流程：

（1）首先对数据抽取、转换和传输模块配置ETL、ssh、vpn等服务的监控节点。

（2）定期对节点的相关服务进行扫描监控，对有问题的监控节点进行邮件、短信等方式进行报警。

（3）对各节点运行情况进行记录，并保存日志。

数据监控模块分为节点管理、监控管理和日志管理三部分功能。节点管理功能包括监控节点的添加、修改、删除；监控管理包括监控服务配置、定时轮询、信息收集显示和报警功能。日志管理包括日志的记录、查看功能。

3 功能完善设计

要完成以上4模块功能，系统还应实现以下设计要求：

3.1 面向服务的体系架构设计

为便于扩展，整体采用SOA架构，它可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。在基于SOA架构的系统中，具体应用程序的功能是由一些松耦合并且具有统一接口定义方式的组件组合构建起来的。

3.2 数据接口标准化设计

由于SOA的灵活性实现依赖于具有标准化接口的服务和业务流程编制，可以通过SOA实现对医疗机构已有应用系统的最大程度复用和广泛的异构系统兼容性，通过建立相应的编码规则、结构规范、数据整合等规则实现高度的灵活性和扩展性。

3.3 安全加密设计

为了保证信息安全不受侵犯，可以采用多种技术，如加密技术、访问控制技术、认证技术以及安全审计技术等。数据采集系统建立http协议接口均在消息中添加了消息认证；数据传输可以采用SSL技术在通信双方之间建立加密通道的方法保证数据传输的机密性。可以使用审计技术让系统自动记录系统的使用情况、系统运行情况；监控其中的敏感和违规操作等操作。

3.4 数据的传输和存储的软件要求

为保证数据的安全性，数据采集系统的运行环境采用国产的服务器操作系统。数据库软件也采用国产数据库软件进行数据存储，数据定时备份，各医院间数据库保持最大的独立性。

4 结论

准确、有效的医疗数据具有极高价值，未来的利用前景十分广阔，可以向医生提供临床诊断和临床科研支持，向管理者提供管理辅助决策、疾病控制、行业监管、绩效考核支持，向居民提供健康监测、疾病风险评估支持，向药品研发提供统计学分析、就诊行为分析支持等。通过数据采集系统可以实时、准确的采集医疗数据，为信息平台的数据分析利用提供有力的支撑，但要建立在数据标准化的基础上，否则会影响数据采集系统的采集质量；同时系统的稳定性和安全性也是一个值得重点关注的地方，设计时要采用安全稳定的系统架构和加密技术，并不断地加强完善。拥有了全面、高质量的医疗数据，医疗机构就可以结合区块链、机器学习、流计算、图计算等技术进行数据分析，从而为医学研究提供强有力的数据支撑。