浅谈物联网与大数据技术在交通检验检测机构中的应用

项庆明，宋景景，钱 梁

(1.温州市交通工程质量监督局，浙江 温州 325015；2.浙江交科工程检测有限公司，杭州 311215)

0 引 言

随着物联网技术的不断发展，利用信息化技术解决工程质量的检测管理和技术水平已成为可能，试验室因为物联网技术的引用，使得工程检测工作越发智能，但随之而来的大量工程检测数据的管理和分析，又成为了摆在行业面前的基本问题之一。

依托工程检测实际，提出以大数据、云构架、大规模采集单元为基础特征的，服务于工程检测全过程的交通智慧检验检测试验室管理平台，实现试验检测的记录、传输、交互和评价，及企业级层面的试验室数据化管理，为客户和检测企业提供新的沟通途径。

1 智慧试验室的建设模式和框架

智慧检验检测试验室(intelligent inspection and testing laboratory)简称“智慧试验室”，它是利用现代化信息技术和先进技术检测设备构建的一个具有智能检测、智能感知、信息深度融合与分析、科学自主决策、多业务综合集成的检验检测试验室。智慧试验室构造概念图如图1所示。

基于物联网建立开放的、创新的、协作的、智能的综合试验室信息服务平台，实现信息资源的有效采集、分析、应用和服务。用户间、试验室间、用户与试验室、用户与信息资源间的通信都由试验室智慧化地完成，无需人工干预，达到“智慧”的状态。

智慧试验室框架模型分成三层，即感知层、网络层和应用层。感知层主要依靠RFID和传感器等设备采集试验室的环境参数；网络层主要由有线和无线网络基础设施组成；应用层主要由门户网站、试验公共数据库、各种试验室智能监管系统等组成。智慧试验室框架参考模型如图2所示。

图1 智慧试验室构造图

图2 智慧试验室框架参考模型图

2 基于大数据的智慧试验室管理系统

结合系统应用需求，基于大数据的智慧试验室管理系统的设计可划分为：数据仓库平台、数据采集、数据挖掘与分析、数据应用等4个子系统。

2.1 数据仓库平台子系统

智慧试验室数据仓库平台是将试验室生产过程中所涉及的各种业务系统中产生的数据，通过筛选、提取、转换、转入等工作过程，将有用数据采集到数据仓库平台中，再经过数据加工，为数据平台(或其他系统)对数据挖掘、分析、统计及数据的呈现提供数据支撑，以满足客户、工作人员、决策者等不同角色的个性需求。因此，数据仓库平台是一个将各业务系统整合、集成的过程。示意图如图3所示。

图3 数据仓库平台作用示意图

2.2 数据采集子系统

数据采集子系统主要由数据采集、数据传输、数据接收、数据清洗、数据入库5个部分组成。数据采集模块部署在试验室检测设备终端(简称“分站”)上，和分站业务系统连接，同时与数据转换模块对接，将采集到的数据传输至服务端。当分站数据采集模块开始传送数据时，接收分站的数据进行相应的数据解密解包、数据清洗、数据入库。数据采集子系统应支持定时采集和手动采集2个模式。数据采集和转换子系统模块如图4所示。

2.3 数据挖掘与分析子系统

数据挖掘子系统是在数据采集、办公OA、业务管理等系统累计大量的数据基础上，再通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法，实现从大量的数据中搜索隐藏于其中有用或重要的信息，形成高频项目组以及项目组间的关联规则，为企业决策提供数据支撑。数据挖掘与分析过程流程如图5所示。如以时间为维度，对本机构的试验数据按照试验项目类别，对报告数量、报告合格率、设备使用率、材料合格率等数据进行统计与分析。还比如以项目为维度，分析报告的合格率、修改频次、对本机构、本机构某一技术团队、本机构某一检测人员的技术能力进行分析评价，以提升机构检测技术能力。再比如在数据采集数据库中发现某些类型、种类、批次的检测件的试验结果不合格率过高(高于以往试验)，通过算法将这些结果与业务、厂家等相关联数据进行规则匹配，可能会发现某厂家生产的某批次产品存在质量问题，若正应用在某个项目上，可能会对该工程带来重大的风险隐患，检测机构可以根据该结果向项目部发布风险提醒。

图4 数据采集和转换子系统模块图

图5 数据挖掘与分析过程流程图

2.4 数据应用子系统

数据应用子系统是在数据采集和数据挖掘的基础上，对系统数据的有效应用，是面向用户的应用层，具体包括权限认证和数据呈现两部分内容。

权限认证即根据用户权限呈现用户操作界面，用户可根据呈现的权限内容，做相应的操作。数据呈现即在数据库服务器接收到用户数据申请并通过权限认证后，根据权限及申请要求，将数据以文字、报表、图形或文档(txt、word 、excel、pdf)等形式，反馈到客户端，供客户使用。

3 系统设计要点

3.1 数据采集统一接口

由于分站众多、业务系统大部分不同，每个分站的数据采集接口不一样，同时系统部署时也将依分站单独进行，所以必须要充分考虑到系统接口的扩展性、兼容性。采用标准odbc或OleDB接口，可以支持绝大部分主流数据源。

3.2 数据传输效率和安全性

由于分站较多，对系统数据采集、转换的效率要求较高。数据采集系统建议采用高效的压缩算法，在数据包和数据文件发送时采用压缩传送，分站端所需的时间仅仅为生成压缩文件和传送压缩文件的两者之和，速度大大提高。

3.3 数据接口标准化

由于分站多，数据源不一致，且要求新增一个分站时，对其他分站的数据集中采集工作不产生干扰。因此，需考虑在企业总部数据库前增加一个标准的接口数据库，这个数据库和总部数据建立在同一个数据库服务器中。在数据清洗时，先将分站的数据尽可能标准化，放入到标准接口库中。最后用统一的过程从标准接口库中将数据导入到总部数据库中。数据转换过程如图6所示。

3.4 多种数据采集方式

尽可能的考虑提供手动和定时采集两个方式。对于网络情况允许的分站，可以采用定时采集的方式，尽量减少人工干预。但在出错的时候可以采用手动的方式进行采集。

3.5 数据补采

如若数据在传输过程中，由于网络、技术故障等原因，未能及时把数据上传到服务器，系统提供数据补采功能，在系统恢复正常运行后，可自动将未上传的数据上传至服务器。

图6 数据转换过程流程图

4 基于大数据的交通智慧试验室应用前景分析

4.1 基于试验结果的统计分析

通过对试验结果的分析统计，可直观了解材料的实际合格率等参数，在数据量和项目量的基础上，能够通过材料的平均合格率和偏差等参数对材料生产厂家进行评价评分，从而给厂家形成标签记录，方便其他客户对不同厂家进行选择决策。同时也可以通过整个项目的抽查试验，从数据的角度来分析评价，为工程验收提供参考依据。在累积大量的数据后，也能够对不同的施工单位进行评价分析，形成标签记录，方便其他客户对不同施工单位进行选择决策。同时也可作为对试验人员的评价依据。

4.2 基于业务管理的统计分析

通过大量的业务过程信息提取、记录和分析，可以评价整个工作组的工作效率，在业务流程中的每一个部分完成的流畅程度和客户的满意程度，能够分析各个部分的工作质量；同时针对于整个业务过程中出现的问题解决能力和结果满意程度等信息的记录分析，可作为员工的个人能力、每个流程负责人的工作能力的评价依据；也可进行与业务单位关系疏远程度的评价。

4.3 基于试验室应用的统计分析

可以对试验室设备的使用、维修保养情况进行全方面的监控和追踪，对大量设备的持续追踪和统计分析，可以得到设备的实际使用寿命、常见问题汇总等，从而对试验室设备的买入、使用方式等进行更好的决策；针对常见问题的分析统计，可对试验室设备的维护、保养、校准等进行预判和分析评价，形成设备维护预案和保养计划等，方便设备出问题后，能及时得到维修，从而保证设备正常运行的状态。

5 结 语

针对物联网构架环境下的交通试验室产生海量数据后，适时引入大数据技术解决数据的提取、记录和分析问题，从在浙江省内多个项目的应用实践来看，不仅改善了用户和试验室间的信息交互方式，使得交互更加及时、灵活和准确；而且还为用户提供了数据的基础整理、分析及质量辅助预测，便于用户对工程质量有一个宏观、直接的把握，去除了用户自行分析检测数据的工作量，较传统的试验检测方式在工作效率上有了较大的提高。物联网与大数据技术在交通检验检测机构中的应用具有较大的实际应用价值和广阔的推广前景，对国内交通检测试验机构实现“智慧物联”起到借鉴作用。