实验室仪器数据自动采集系统的分析与设计研究

2020-11-18黄莜武斌李明明

中国管理信息化 2020年18期

黄莜武斌李明明

[摘要]本文以实验室中的原始检测数据为研究对象，分析和设计检测过程原始数据的自动采集功能，实现检测仪器设备的原始数据自动获取、自动数据解析、自动数据存储。系统根据具体的文件进行不同的分析，提取文件内容及图片等，解决数据源的多样性、数据协议复杂与多變等问题，实现采集数据、系统管理等数据展示，满足检测机构对数据安全性和海量存储等要求。

[关键词]实验室;原始检测数据;自动采集;数据共享

doi：10.3969/j.issn.1673 - 0194.2020.18.087

[中图分类号]TP315[文献标识码]A[文章编号]1673-0194（2020）18-0-04

1 实验室仪器数据自动采集系统概述

近年来，国内各监测机构不同程度地使用了实验室信息管理系统（LIMS），将检测工作质量保障的各种要素，如人、机、料、法、环整合在一个系统平台上。LIMS系统业务流程上的标准化和信息化大幅度提高了检测机构的业务能力，但也暴露了仪器设备原始数据收集方式传统、效率低、错误率高、易篡改等问题，制约了检测机构持续高速发展。然而纵观检测行业，仪器设备数量之多、种类之繁，即使针对同一项目进行检测的仪器设备，由于制造商不同，输出的数据也千差万别，导致仪器设备数据采集难度大、费用居高不下，甚至形成了有价无市的局面。

实验室仪器数据自动采集系统（Automatic Data Acquisition System，ADAS）是为检测领域提供的仪器设备数据自动采集及应用系统，致力于检测领域中各类仪器设备数据自动采集，提供统一数据采集接入接口，全面覆盖所有数据源，通过构建智能数据解析服务中心，使各类仪器设备数据协议简单化、标准化，为数据使用方提供规范统一的目标数据，让整个数据采集过程更便捷、更高效、更准确、更安全。实验室仪器数据自动采集系统以常用的计算机和通信技术为基础，实现实验室设备的采集数据信息交换和共享。实验室仪器数据自动采集系统只收集实验室仪器设备结果数据，不控制设备检测实验行为。通过对实验室仪器设备检测样品后输出的原始报告文件进行二次采集，或者进行数据直采完成原始文档归档，通过对归档文档进行数据挖掘，分析并提取实验结果数据，为生成电子原始记录提供实验项目相关数据。

2 数据自动采集系统功能

2.1 功能需求分析

2.1.1 数据采集及数据分析

对于实验室而言，数据自动采集系统最基础的功能要求是：把数据从仪器设备采集到数据库中，对数据进行分析加工，进而可被第三方系统（如实验室信息管理系统LIMS）调用。对于自身不带工作站的设备，涉及对仪器设备硬件的直接采集。通信协议和接口类型包括：TCP/IP、RS-232、RS-485、USB;DeviceNet、ControlNet、Profibus、FOUNDATION fieldbus。对于自带工作站的设备，涉及对设备产生数据的二次采集。数据类型包括：ACCESS、Excel、TXT、XML、SQLServer、DB类。其中，数据可能包括谱图。当完成数据采集后，用户希望系统提供数据分析和计算能力。常见的计算规则包括：加减乘除、平均数、四舍五入、最大值/最小值、IF判断等，同时也涉及“奇进偶不进”等修约方法和不确定度分析。实验室类数据采集不同于工控类数据采集的显著特征是：与样品的关联性、与原始记录的关联性以及采样数和频率。

2.1.2 远程监控和远程操控

①远程监控。智能仪器在设计时，会根据需要设计远程监控功能，比如，实验环节有污染或过大噪音等都可以监控得到。这里的远程监控，指在第三方系统的界面上（比如在2楼）远程监控仪器工作站的界面（比如在1楼）。②远程操控。有些设备一次性出结果，而有的则需要在过程中操控和调整设备或更换样品等，主要分为3种情况（图1）：某设备自带工作站和软件，有效实现远程监控;某设备没有工作站和软件，但有接口，此时需要单独开发此设备，形成工作站和软件;有些设备没有外带的工作站和软件，但能够向外服务器传递数据，具有接受控制的能力。

2.1.3 管理性需求

管理性需求包括以下两点：①对接入设备的授权、对使用者的授权、记录日志和历史等;②保护原始数据和原始记录，防止人为非法篡改。

2.2 功能设计

实验室仪器数据自动采集系统的应用服务包括客户端数据收集、数据智能分析以及数据综合应用几个大类。每个部分都提供了高度灵活的配置功能以适应常规情况下的应用需求，同时也开放了外部二次开发接口。

2.2.1 数据收集

采集组件将获取的数据按照系统定义的原始数据固定格式分别拆分成一个个采集项数据，生成原始数据JSON字符串，传递给客户端，再由采集客户端交付给采集服务器。

2.2.2 数据分析

收集采集客户端发送的数据包，将数据包发送到服务器端，按照相应的配置规则进行运算处理。

2.2.3 数据存储

提供数据库和数据文件两种方式存储并需要保存以下数据：①业务管理层数据存储;②元数据层数据存储，包括自定义频率的原始数据存储及解析后的原始记录数据存储;③其他数据存储，如服务端软件通信日志文件储存等

2.2.4 数据安全

系统可以部署在内网中，可以利用离线数据包的方法，与云端外网系统进行数据传递，有效保障内网数据的安全;系统可以设计用户授权管理方式，以保障数据安全。

3 数据自动采集建设

3.1 逻辑关系

实验室检测过程中以样品为中心，涉及标准、检验项目、检验条件、标准值/技术要求、实测值、自动判断相关算法、判定条件、判定结论等。而与仪器设备关联产生的数据如果能实现自动采集，则可以提高工作效率。在实验室检测过程中，最原始的数据来自仪器设备或人工观察。而现代化实验室中，大部分数据则来自实验仪器，其中，数据采集、分析和计算对实验结果产生重要影响。数据采集与其他实验环节中各组成要素的逻辑关系图2所示。

3.2 技术分析

数据采集系统涉及多个学科范畴，包括互联网、物联网和数据分析。当该系统应用于检测类实验室的业务时，有许多成功的经验可供参考。其中，难点在于怎样将这些技术应用于实验室独特的应用场景和业务模式中。

3.2.1 接口的定义

目前，技术分析模块存在诸多问题，如设备供应商、软件供应商和集成商各自为政，缺乏统一的、公共的规范和接口等，但设计这些规范和接口并非易事。接口设计和实现的难点来自3个方面：①怎样集成和兼容目前市场上主要的成果;比如：智能化仪器设备已有公共的硬件通信协议（RS232/485、USB、TCP/IP等）以及常用的文件格式规范（TXT、Excel、DB类等），各大厂商也有各自的规范和行业规范;②时间因素：随着技术的进步，定义各个系统间接口后，如果不能在未来发展过程中向下兼容，则在过程中积累的设备特征库等成果将面临灾难性破坏;③接口一旦定义后，应易于被其他厂商调用和集成。从整个平台的系统布局看，这些接口包括多个方面：仪器设备及设备特征库与数据采集客户端之间、数据采集客户端与服务器端之间、数据采集服务器与第三方应用系统之间。

3.2.2 数据分析

面向科学实验的工程领域，长期的测试分析和试验产生并积累了大量的数据资料。这些数据通常存储在分布异构的环境中，以印刷文稿、电子文档的形式存在，或者由专业技术人员建立的、以关系数据库为依托的联机事务处理（On- Line Transaction Processing，OLTP）系统管理。数据类型复杂多变，缺乏统一的结构描述，数据汇集综合需要经过一连串繁琐的转换操作，有时还需要手工处理操作。传统的数据集成技术无法消除实验数据之间的不一致性，数据管理分散、数据处理各自为政、不加控制的数据选择导致对同一问题的实验结果不同，甚至产生截然相反的结果。

在设计整个数据采集系统时，存在两种不同的观点或选择：其一，数据采集仅考虑采和控的问题，而放弃与实验业务场景的具体结合，不考虑诸如数据分析等问题，而是交由第三方系统实现;其二，数据采集服务器中包含数据分析时常见的或公共的算法库，并通过开放API等方法被第三方系统调用。其中，第一种方法从理论上看是一个可行的选择，可以降低系统的复杂度，易于实现。但过去的实践案例证明，这种方法局限性大，在具体工作中存在诸多问题。因此，第二种方法便成为“更好”的选择。第二种方法的难点在于：实验类型千变万化无法统一，各种算法和分析方法不可能一致。针对实验数据的特点，可以将一种基于数据实例和数据模式松散耦合的模型驱动方式运用到数据分析和集成管理中，将各种异构的数据源中，包括仪器设备后台的数据系统、LIMS等软件的文件系统，甚至WWW上的HTML文件数据，成功地集成到ADAS Server中，进而被第三方系统有效调用和反馈。对于一个具体的实验而言，数据分析与样品结果间的层级逻辑关系如图3所示。

3.2.3 原始记录及样品的关联性

数据采集在工业控制领域早已有非常成熟的解决方案，在工厂环境中的SCADA系统与MES系统在国内外也早已普及多年。其中，有很多方法、思路和成果可被参考。但是，测控实验室中的数据采集与工控类数据采集最大的不同在于其结合了实验室业务特征的独特性，其中，两个关键点是样品的关联性和原始记录的关联性。样品作为实验对象，在系统中需要充分考虑。当数据采集系统作为中间层输入输出，并被第三方系统调用和反馈时，需要相关的样品标识。实验类型不同，则样品不同，比如：机械类检测业务中，同一个样品可能涉及样品拆分、聚合，甚至与流程相关，这些可能导致实验结果不同。系统需要找到一种通用且简洁的方式，解决样品关联性的问题。

3.3 设计原理

ADAS系统模块由以下几部分组成。①ADAS.Cloud（云端数据集控中心），主要将种类繁多的设备及设备数据解析的解决方案统一管理，以达到设备的数据解析方案复用的效果。系统采用BS方式实现，部署于公司局域网或公网，每实施新的数据采集项目时，只需要在线或离线更新数据即可，所有数据维护工作集中到数据服务工作站。②ADAS.Service.Api（数据接口服务），主要是数据间传输提供服务。③ADAS.App.DataMonitor数据采集中心，主要是发现并收集符合当前绑定设备数据收集规则的数据源，读取并提交至数据分析中心。其中，数据具有以下几种类型：ADAS.App.FileMonitor（文件采集器）;ADAS.App.DBMonitor（数据库文件采集器）;ADAS.App.ComMonitor（串口采集器）;其他数据采集终端和脚本编辑调试工具，主要根据实验室人员对设备检测结果需求，制定文件内容获取位置规则，生成解析脚本。ADAS.App.Analysiser（数据分析中心），主要处理采集终端提交的文件、数据，响应设备关注的焦点事件等。数据服务器工作站，主要是基础数据以及最终检验结果的原始记录生成操作管理，包括电子原始记录ELN等。第三方接口服务，主要支持LIMS系统与ADAS系统的数据授权接入。

3.4 系统延伸

3.4.1 监视类数据采集系统

这类系统采集的数据是设备实时产生的，且是持续的，通常来说，数据内容相对简单，但与时间关联，强调过程监控与变化，大多数研究的是数据变化趋势或预警，比较典型的应用是温湿度监控。

3.4.2 数据采集与监视控制系统

这类系统属于工业系统范畴，除过程数据监控、预警外，还需要对过程数据进行程式化干预（自动或人为辅助）;应用比较多的场景一般在电力、化工、能源等领域的生产环节;有这样需求的客户一般发生在电池检测领域。

4 结语

本文以仪器设备数据自动采集系统为基础，以功能需求分析为设计目标，提出系统的设计原理。首先，针对检测行业数据采集功能需求进行了深刻分析，包括数据采集、分析、远程监控、数据管理等涉及的内容。其次，根据需求设计模块，实现仪器设备数据自动采集系统功能。

主要参考文献

[1]张秋菊，郭祖鹏，崔世勇，等.实验室信息管理系统（LIMS）——降低实验室风险的有效方法之一[J].中國卫生检验杂志，2011（8）：

2080-2081.

[2]郑毅，陈洪波.质检实验室数据自动化处理系统的设计与研究[J].信息系统工程，2014（3）：134-135.

[3]孟祥艳，张建正.分析仪器实验室信息管理系统的设计与实现[J].微计算机信息，2010（21）：24-25.