智慧检测中汽车检测多源异构数据解析研究

潘小龙 牛增良

1.中汽研软件测评（天津）有限公司 天津 300300

2.中国汽车技术研究中心有限公司 天津 300300

1 背景

汽车产业作为国民经济的重要支柱，是推动新一轮科技革命和产业革命的重要力量，是我国建设制造强国的重要支撑。检验检测是国家质量基础设施的重要组成部分，是国际通行的质量管理工作和贸易便利化手段。检验检测是国家质量基础设施的重要组成部分，是国际通行的质量管理工作和贸易便利化手段。作为高技术服务业、生产性服务业、科技服务业和战略性新兴产业，检验检测对于国家和地区保障质量安全、提高产业竞争力、促进国际贸易、维护市场公平、推动高质量发展具有重要作用。近期有关智慧检测的消息频频发布，从政策层面来看，政策扶持力度加大。国家发改委发布的《战略性新兴产业重点产品和服务指导目录》明确将检验检测服务列为战略性新兴产业之一；国务院发布的《“十三五”国家战略新兴产业发展规划》强调加强相关计量测试、检验检测、认证认可、知识和数据中心等公共服务平台建设。除此以外，国家还陆续出台了智能制造发展规划、“互联网+”行动、国家信息化发展纲要、促进大数据发展行动纲要、新一代人工智能发展规划等系列重大战略和政策措施，从战略层面支持推动数字经济发展，解决数据孤岛的问题，实现试验设备的互联互通，打通各试验科室的检测数据，提高数据分析与挖掘的效率。

大数据技术体系的发展愈趋成熟，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等，为本课题的实现提供了扎实的技术基础。此外，以新一代信息技术为代表的全球性创新突破正不断加速，孕育着新的增长动能，物联网面临着全新的发展机遇。汽车“新四化”时代已经到来，汽车检测行业也应随之配套升级，目前在线检测已逐步成为检测新趋势、新常态，中心要想持续保持行业引领地位，在自动化、智能化、数字化技术领域进行深入研究和全面布局势在必行[1]。

2 研究必要性

汽车企业为解决自身发展中面临的难以快速感知和响应市场需求、提质降本增效技术手段缺失等一系列问题，国内主要汽车制造企业和车检企业正在积极探索适用于企业自身实际的智能化转型升级路径，将智能制造转型发展和智慧检测平台搭建作为产业升级的主攻方向，开展了一批试点项目，得到了国家的大力支持。基于智能制造架构的智慧检测平台已经成为国家、行业、企业的共同选择。

国家历来高度重视汽车行业智能制造的落地应用，在“制造业高质量发展”及各部委颁布的智能制造相关政策中，均将汽车行业列为智能制造的重点应用领域，希望汽车行业能够作为离散工业智能制造的标杆和突破口，推进智能制造技术创新、标准制定、基础能力建设和集成应用等，引领和带动汽车制造业整体的智能化转型升级。为迎合市场需求，检测业务亟须进行信息化、数字化业务提升，为客户提供数据增值服务，新车型研发过程中对研发测试大数据及数据挖掘分析具有广泛市场需求。

多源异构数据的研究和应用能加快汽车检测工作的整体流程，进而提升汽车产品的研发质量和效率，根据试验种类、试验数据及数据处理流程的不同，协助工程师高效地处理相关测试数据，能显著提升检测工程师的工作效率，有利于提升检测数据处理正确率。多源异构数据存储分析解决方案有利于打破汽车检测行业信息孤岛现状，深度挖掘检测大数据，支撑汽车行业生产研发，加速汽车行业在智慧检测方面知识沉淀、知识传递、知识创造的过程，为行业高质量发展赋能。基于智慧检测平台的大数据分析、检测设备无线改造升级行业推广应用，能够有效提升汽车产品整体研发检测能力，推动汽车行业的创新发展[2]。

3 目的及意义

智慧检测及多源异构数据的研究，有利于推进智能检测技术创新、标准制定、基础能力建设和集成应用，引领和带动我国整体检验检测行业数字化转型升级。汽车检测多源异构数据解析通过建立网络互联体系、标识解析体系和数据互通体系，形成数字化、网络化、智能化中枢与载体，能够有效解决数据孤岛的问题，实现各试验科室检测数据，提高数据分析与挖掘的效率。

从经济层面来看，检测服务作为单一的经济收入来源已渐渐无法支撑行业发展的最新变化趋势，智慧检测平台能够协助检测机构实现由单一的检测业务向基于检测服务的试验数据分析与研发信息服务的业务体系转变。为迎合市场需求，检测业务亟须进行信息化、数字化业务提升，为客户提供数据增值服务。新车型研发过程中对研发测试大数据及数据挖掘分析具有广泛市场需求，未来很大部分增量业务将来自智慧检测相关业务领域。

从技术层面来看，大数据技术体系的发展愈趋成熟，以新一代信息技术为代表的全球性创新突破正不断加速，孕育着新的增长动能。汽车“新四化”时代已经到来，汽车检测行业也应随之配套升级，目前在线检测已逐步成为检测新趋势、新常态，通过检测多源异构数据的分析及应用，能够进一步挖掘数据的应用价值，根据不同客户需求，为其提供更多高附加值的增值服务，如检测数据解读、检测问题分析、行业标杆能力对比分析等咨询服务，从而为企业带来更多市场发展空间[3]。

4 研究内容

测试验数据存储形式主要分为两大类：由试验仪器生成的数据文件和试验人员手写的纸质文件。不同试验原始数据尚未有效进行统一存储，大部分结构和非结构数据都保存在主检工程师办公电脑里，无法自动化的进行解析和处理。

对此，本文将研究电子记录模板标准化，构建统一试验记录模型，实现原始记录电子化管理与溯源；研究检测记录解析技术，实现不同检测设备的试验记录进行重新整合、分析处理，打通设备之间的壁垒；按试验类型的不同，利用Hadoop、Kafka、ZooKeeper等分布式大数据及队列处理技术，完成MDF、CSV、json、proto、xml等超过20种试验记录格式的解析和存储管理。

4.1 试验数据安全存储的研究

在安全策略的统一要求下，借助于云技术、虚拟化技术、分布式存储技术，在异地检测试验室之间，搭建一套安全的、可靠的、标准化的数据存储环境。通过课题研究，改变以往试验数据人工汇总的方式，实现了数据的自动汇总和整理，降低以往试验数据转存的风险；利用云技术在网络安全的优势，提升数据存储环境应对外部网络攻击的能力，最终制定一套检测数据安全存储标准，并为下一步对检测数据的深度挖掘，做好保障工作。

4.2 试验原始数据模板标准化研究

本次研究选取了轻排、重排和新能源三类试验作为试点，将对三类试验所产生的数据进行整理和分析，研究三类试验的试验数据统一标准模板，实现试验原始数据与标准模板的自动转化。针对纸质原始数据，分析数据类别，量化数值。通过对原始数据的整理，研究制订检测记录统一格式标准草案。

4.3 试验原始数据电子化与存储技术研究

根据试验和仪器种类的不同，试验数据格式包括了CSV、XML、JSON等多种类型，依据统一化标准模板，研究多源异构数据存储方案，利用结构和非结构化相结合的数据存储方式，实现经过统一化处理的原始数据的存储。原始记录电子化具有修改控制和数据溯源的功能，实现检测、核验人员电子签名，在原始记录修改过程中，实现对原始记录修改的控制和记录，当记录中出现错误时，只能由检定、校准和检测人员更改，应保留修改痕迹，可以保证追查修改人及修改时间；检定、校准和检测电子原始记录留有开始与结束时间戳，保证是现场填写的第一手记录，不允许追记、补写、涂改；电子原始记录在录入过程中有自动有效性检验，当数据偏离达到设定值时，自动给出提示，减少和尽量避免输入误差。电子原始记录系统应为记录提供所具有的实时性、真实性、完整性、准确性、可靠性，以保证检测数据记录的真实准确。

4.4 多源异构检测记录解析系统

根据原始记录的试验模板，运用Java Spring Boot框架和微服务技术，对多远异构检测记录解析系统进行整体架构，利用Hadoop、Jafka、ZooKeeper等分布式大数据及队列处理技术，解决试点科室所有试验数据集中存储，保证上层应用获取数据的速度。同时，利用MongoDB等非关系型数据库和MySql、Oracle等关系型数据库的结合使用，解决原始数据多样性的问题。通过调用API接口访问资源系统，把源文件编译生成一种二进制中间码，存储在class文件中，然后再通过运行与操作系统平台环境相对应的Java虚拟机来运行class文件，执行编译产生的字节码，调用class文件中实现的方法来满足程序的Java API调用，从而将模板电子化。通过设备互联直接读取相关试验设备的数据库或者中控机存储的试验原始记录数据，从而将原始数据自动导入相应的位置，形成原始记录电子化[4]。

5 结束语

在经济效益方面，开拓业务增长点，助力检测业务增效赋能。多源异构数据分析挖掘服务能够为整车研发提供更加丰富的研发数据支撑，有效地缩短整车研发周期，并有助于降低整车开发时间、人力和经济成本，从而为车企和中心带来良好的经济效益。同时，随着企业全球化业务的展开，对产品研发工作，将提出更多的跨部门、跨地区协同工作的需求，平台化数据共享将是大势所趋，未来企业可通过购买或者租赁的形式来使用本项目研发的数据平台，将会带来的可观的经济效益。

在社会效益方面，实现了新一代信息通信技术与制造业深度融合，与我国汽车产业研发、生产、检测面临重大变革形成历史性交汇。多源异构数据的研究，能够加速数据技术在汽车行业的应用，有利于培育检测业务、数据分析、平台搭建复合型管理人才；检测大数据分析挖掘业务可以帮助实现新车型研发过程中对研发测试大数据及数据挖掘分析的广泛市场需求，提升车型研发验证服务能力和水平，带动业务增量，实现数据时代下的升级转型。

在成果应用方面，攻克检测设备数采、5G组网、异地互联、多源异构数据存储与解析等共性技术难题，支撑检测及可追溯质控、报告自动生成深度学习算法研究，为行业企业检测试验室、制造车间及工厂数字化、网络化、智能化改造提供技术服务。

在产业化衔接方面，加速推动汽车行业智能制造产业发展。通过本课题研究，实现从数据采集、数据存储、数据挖掘、决策分析全流程的智慧化解决方案，能够加速提高新兴信息技术与传统检测业务的融合，提高检测效率和检测质量，培育智慧检测、仿真测试、数据挖掘、设备互联等新业务增长点。同时，有效支撑相关标准制定，助推智慧检测行业有序、快速发展。