大数据技术在智慧工程中的应用

2022-11-11卢滢

电子技术与软件工程 2022年2期

卢滢

（广东立德智控科技有限公司广东省广州市 511400）

近年来，智慧工程建设成为国家信息技术发展的重要方向。但在智慧工程建设过程中，却出现了数据信息共享难度较大等问题，对此，本文认为，大数据技术作为海量数据信息存储以及管理处理整合的重要技术手段，能够促进工程管理的智慧化、信息化以及数字化发展。因此，在智慧工程发展与完善中，大数据技术以其独有的技术优势能够帮助智慧工程搭建数据平台，并完成数据分析、存储以及管理等操作，提高智慧工程的应用广度以及应用深度。

1 背景分析

近年来我国信息技术高速发展，大数据技术也逐渐取代原本的信息技术手段，成为行业改革升级的重要技术支持。特别是随着新一轮科技革命以及相关产业的转型发展，许多企业以及具体研究人员都在探究大数据技术对行业发展以及产业转型升级的积极作用。在此背景下，国家从大数据技术本身出发，对于大数据在未来社会生产生活中的应用空间进行了深入分析，并通过大数据技术与社会经济的连接来助力国民经济深入发展。

在国家大力支持的背景下，物联网、大数据技术以及人工智能等信息技术都逐渐发展以及完善，并与工程相结合为工程信息化发展以及智慧工程建设奠定良好的基础。但在工程智能化以及智慧工程发展的过程中，由于工程建设的体量较大且不同工程施工环节的信息数据不同，因此，智慧工程建设出现了数据信息共享难度较大、容易出现安全隐患、信息数据通讯难等问题，甚至出现了数据孤岛现象，为智慧工程建设带来了一定的阻碍。

对此，本文从智慧工程以及大数据技术的联系出发，认为将大数据技术引入智慧工程建设中能够帮助智慧工程建立大数据平台，在平台上实现信息的交流与共享、信息的管理、信息收集、存储等工作，并通过大数据平台匹配更多的工程建设，为工程建设的智能化发展、信息化发展奠定良好的基础。

2 大数据平台

如上文所述，为了解决智慧工程建设中的信息孤岛问题以及数据资源共享难的问题，工作人员应当积极探寻以大数据技术为核心技术支持、构建智慧工程大数据平台的可能性以及实现方向。对此，本文分析研究如下：

2.1 技术架构分析

大数据技术是以海量数据资料为基础，通过相关技术软件在一定时间内实现数据获取、数据管理、数据整理，并通过数据整理为相关企事业单位提供数据资料，是帮助企事业单位进行决策的重要技术之一。在智慧工程中，大数据技术能够为智慧工程搭建数据平台，该平台的技术架构主要分为：数据源、数据采集清洗层、数据分析层、数据存储层、平台管理层、数据服务层以及具体的数据应用层。为了令该平台的技术架构更加合理，本文从大数据的数据采集出发，通过对该数据的采集、分析以及应用来实现信息数据的传输，为智慧工程提供更加及时、更加便捷且准确度高、信息数据共享快的大数据平台。对此，本文简述如下：

（1）数据源将接收到的结构化数据，包括智慧工程在施工生产过程中的业务数据以及相关生产系统数据，如物联网数据等以及非结构化数据，包括生产过程中的日志文件等进行全面采集，并接入数据采集清洗层。在数据采集清洗层，数据源收集到的数据被分为批量采集数据和实时采集数据两部分，两部分数据都采用统一化的数据清洗标准进行清理，并送入数据存储层。

（2）数据存储层。数据存储层是连接数据采集清洗层、数据分析层以及平台管理层、数据服务层的核心。通过不同的信息技术，大数据技术在数据存储层构建统一的数据平台，实现对不同数据的统一收集以及存储管理，为后续数据的管理和利用奠定良好的基础。

（3）数据分析层和数据服务层。数据分析层是对数据存储层的数据进行分析处理的过程，它主要以对数据的批处理、数据统计分析和数据挖掘构成，而经过分析处理后的数据又会汇集到数据存储层，为下一个环节奠定良好基础。数据服务层则是向工作人员以及企事业单位提供数据的查询服务、数据主题服务、数据订阅服务以及统一数据访问服务的平台组成部门，它与数据应用环节紧密联系，通过数据服务层的各项服务，工作人员能够在数据应用层得到自助报表数据以及相关机械设备的智能诊断、对生产环节的智能巡检以及数据分析、数据决策、优化系统等不同的数据应用内容。

2.2 关键技术分析

为了实现大数据平台的技术架构，相关研究人员应当从多源异构数据采集、数据集成处理以及数据仓库设计等技术出发进行深入分析。对此，本文简述如下：

（1）多源异构数据采集技术。多源异构数据采集技术是大数据平台在数据采集以及数据清洗的核心技术之一，它主要是为了实现对智慧工程不同生产流程以及施工环节、生产过程的不同数据采集，令大数据平台能够应用不同的计算框架以及具体的数据采集技术，进而实现数据管理和利用。与传统的信息数据采集相比，多源异构数据采集拥有以下几方面的优势：

第一，多源异构数据采集由不同的数据采集技术组成，因此其采集面更广，采集数据的范围以及数据量更多。

第二，在多源异构数据采集技术的支持下，数据采集清洗层能够提高对数据管理以及数据存储的安全性，保证采集到的数据不发生数据丢失以及重复接入的问题，提高数据的可靠度以及准确度。

第三，多源异构数据采集技术也支持对不同单位、不同网段的数据采集，支持对数据的加密传输以及断点续传。

（2）数据集成处理。数据集成处理也是采集清洗层的重要技术之一。通过数据集成处理，大数据平台能够对采集到的数据实现转换，检查被采集数据的质量，并对异常情况进行记录和处理。通过数据集成处理技术，大数据平台能够对不同的数据进行统一标准的清洗和处理，因此数据集成技术主要包括数据的清洗环节、数据的校验环节、转换环节以及数据标准化处理环节。在这过程中，数据清洗环节主要在于分析采集到数据的重复性，对重复的信息进行必要的删除以及纠正错误；而数据校验环节主要根据研究人员和企事业单位的数据标准对数据进行逐一校验，保证数据的精准性；数据转换环节包括数据名称和格式的转换以及数据仓库中的转换，它主要解决的是在经过清洗和校验后的数据在形式上的不规范问题。最后是数据标准化环节，它是通过统一标准的模板对数据进行命名，便于数据在后续环节的理解和使用。

（3）数据仓库设计。数据仓库设计是数据管理的重要技术支持，它包含完整的数据体系以及数据分类和分成机制，具体可分为源系统层、数据明细层、数据汇总层以及数据集市层等。具体而言，前置库将不同数据库的数据传输到数据仓库中，由原系统进行接收，不同数据库有不同的接收环节。这些数据通过数据明细层、数据汇总层以及数据集市层的分析和处理、利用，能够向数据应用提供所需的数据。其中，数据明细层主要包括智慧工程的基本生产信息以及气候信息；数据汇总层包括时间维度、空间维度和业务指标维度等信息，集市层则以统计数据分析、预警数据和报送的数据为核心；最后数据分析层是在大数据平台经过数据采集、数据存储以及数据处理后对相关数据进行分析的过程，这一过程需要技术人员利用自身的专业知识对大数据平台的数据进行系统性的分析，并结合大数据平台以及智慧工程的应用空间和应用范围理解大数据平台的业务目标，根据业务目标的基本逻辑以及筛选环节等，为大数据平台的运转提供技术支持。在构建逻辑模型后，大数据平台能够利用数据挖掘算法对不同数据需求进行建模分析，为智慧工程的信息化发展、数据化发展和智能化发展提供良好的技术支持。

3 大数据技术在智慧工程中的应用分析

随着大数据技术的深入发展，该技术在智慧工程中也可分为AI应用和AI平台两部分，其中AI平台以及大数据平台是本文讨论的重点内容之一，它能够对智慧工程的不同数据实现数据建模，并根据算法模型实现数据可视化和数据探索分析。而AI应用则是大数据技术与智慧工程结合的另一重要成果，它在智慧水电、智慧风电等工程当中都有十分优秀的表现。对此，本文分别分析研究如下：

3.1 智慧水电

智慧水电以水利水电工程为核心，作为保障社会公众正常生活的重要民生工程之一，水利水电工程的建设能够保障国家经济的平稳运行，保证社会公众的正常生产生活。而利用大数据平台实现智慧水电建设不仅能够提高水利水电工程建设的信息化程度以及智能化程度，更能够通过对水库运行规律以及坝体结构形态等相关数据的分析研究来帮助企业更好地进行决策，并实现对水利水电工程的高效管理以及系统性管理。在智慧水电建设中，企业应当根据水利水电工程建设的实际情况，建立相应的安全管理系统以及大数据平台，并通过互联网或其他信息设备收集水利水电工程在建设以及运行过程中的数据，通过大数据平台对相关数据进行分析，进而辅助工作人员工作，为决策人员提供重要的数据基础。

对此，本文以水利水电工程建设中的大坝灌浆环节为例进行分析。大坝灌浆是保证大坝的安全性的重要工程之一，它所涉及到的数据主要包括单位时间内大坝灌浆的注浆量预测分析以及大坝灌浆后的大坝综合质量评估两方面。此外，在大坝灌浆施工中，工程施工会受到当地的地质条件、施工人员的施工方法等不同因素的影响，因此在施工前工作人员应当结合相关数据设计更加科学、更加合理的灌浆施工评价方法，如通过建立云模型来分析大坝灌浆施工的效果等。

3.2 智慧风电

作为我国重要的可再生能源之一，风能成为近年来新能源发展的热点。但由于风电场建设受到当地的气候条件变化以及地形地貌因素的影响，因此在发电功率以及风速上具有较大的不确定性，无法保证风电的稳定输出，在此背景下将大数据技术引入风电工程当中，实现智慧风电工程建设，能够有效地提高大数据平台对风能利用以及风力发电的预测度，并指导电力公司对风电机组进行日常运维以及管理。

在智慧风电建设中，通过大数据技术的分析与研究，电力公司能够对该地的风力发电情况进行预测分析，并根据该预测分析进行施工以及日常运营。这一措施不仅能够降低电力公司的整体运营成本以及生产成本，更能够通过保证风电工程的稳定发电来提高电力公司的经济效益。

而作为智慧风电建设的重要内容，风力发电预测又可分为单台发电、风电场发电预测以及区域风电场群发电预测等。其中，滑动平均法、多元回归方法都能够应用在单台发电预测当中；而主要成分分析法、指数平滑分析法能够应用于长期平稳预测中，在风电场发电预测以及区域风电场群发电预测有较为广泛地使用度。除此之外，大数据技术还能够应用在风力发电工程的运营以及各个生产环节，例如大数据技术能够通过对过往历史数据的分析以及对风力机组实时发电情况的分析来监控风力发电的情况，一旦发现异常及时通过大数据技术报告给相关工作人员，并向工作人员提供必要的故障意见参考，为工作人员的后续维护和故障检修提供重要的数据支持。而在风力发电运营阶段，大数据技术也有十分重要的应用。例如通过对设备过往历史数据的研究以及故障情况的深入分析，大数据技术能够在设备故障前对设备可能出现的故障情况进行数据分析，并提供相关的隐患分析报告，在故障发生时提供智能诊断。而在生产设备正常运行的过程中，大数据技术也能够结合物联网监测数据分析生产设备在生产过程中的使用寿命等情况，为工作人员及时维修以及更换设备提供数据支持。

3.3 智慧工地

建筑施工在近些年来实现了规模化的延伸和拓展，工地的环境也变得更加复杂，这也在一定程度上提高了安全事故发生的频率，那些有经验的建筑施工人员会利用自己的数据来做出项目的决策，蕴含着强烈的主观色彩，但单纯依靠个人项目经验展开的项目决策，必然无法满足精细化管理的需求。此时，大数据的应用就给智慧工地的发展带来了契机，传感器，RFID和云计算，都将彻底改变粗放型管理的格局，推动建筑行业向着精细化的方向迈进。

首先就是工程质量的管控，在大数据的引导下，全国范围内也建设了智慧工地云服务平台，这就打破了信息孤岛，形成了统一的数据共享格局。企业，政府以及其他监管单位都可以实现信息的对接和交流，把不同的资料融会贯通到一起。同时，大数据云服务平台也可以设置质量控制点，由系统来自动抓取关键指标，对施工技术进行监管，这样就可以总结出某一个工序的监理重点，针对现场的人员，材料和设备做出有效的约束。如果某一道工序极易出现不合格的产品，或者是质量存在通病，大数据云服务平台也可以提前制定应对的措施，做好事先的预防。当使用新工艺，新材料和新技术的时候，智慧工地也可以针对以上这些要素进行探究，分析其是否符合施工的需要，做好质量上的管控和监督。其次就是对施工环境的监测。大数据和互联网+已经成为治理环境的重要手段，而建筑施工的环境监测也自然不会例外。在这里，环境监测系统就是全国智慧工地大数据云服务平台的子系统，结合了数据挖掘，数据统计分析，传感器等多个领域的要素。能够针对施工噪音，施工粉尘作出综合评估，并自主识别监测到的分贝值和浓度，依照相关标准展开计算，如果超出了预定的范围，就会给出自动报警的提示。在这一平台的引导下，管理者可以提高建筑污染治理的水平，防止施工给环境带来的过度破坏。还有就是人员的安全监管，大数据和安全施工管理的结合，可以从源头入手，降低施工事故发生的可能性。全国智慧工地大数据云服务平台是尤为庞大的数据库，能够满足施工人员的登录需求，并根据登记的信息展开分类，随时调取数据，管理者可以从平台上了解工人的运行状态，针对不同阶段的用工情况进行总结和统计。而系统也会自行分析出，每一个项目，不同施工阶段涉及到的工种，工时，以上这些信息是可查询，可追溯，互关联的，这就给项目负责人提供了更大的便利，可以随时了解分包队伍的质量和效率。一旦出现用工超时危险作业等紧急情况，系统也会对现场的形势作出研判，然后把报警信息传输到终端，并联动其他的通知途径，为项目务工人员增加安全保障，确保现场的稳定性。

3.4 智慧城市

智慧城市的发展结合了新一代的信息技术和通信技术，能够通过透明的数据吸收对信息，作出安全且高效的科学处理，提高城市管理的水平，为市民创造更多的福祉，让产业结构的调整变得更加迅捷。在这里，智慧城市的建设可以缓解我国新四化建设中的难题，包括管理难度大，环境污染和交通拥堵等等。早在2013年，住建部就已经先后启动了193个智慧城市的试点，国务院也在宏观上出台了相应的实施方案，这也给智慧城市通信基础设施的建设提供了方向与指引。也就是说，智慧城市的建设几乎已经成为当下社会发展的主流，为了避免出现重基础，轻智慧的问题，就要引入大数据的相关技术。

智慧城市的技术架构主要包括4个板块，首先是感知层，其次是网络层，然后是数据层，最后是应用层。感知层由PC，移动终端和不同的传感器结合而成，能够采集城市内部的交通，通信，环境与生活等多个领域的信息，具有十分明显的泛在感知特点，能够实现大范围的覆盖和延伸。网络曾牵涉到互联网，物联网和通信网能够结合，有线以及无线宽带网络，保证城市信息的顺利对接。数据层可以看作智慧城市的大脑，直接管理着城市的核心资产，也就是数据，结合了云计算技术，与经济，人口，法人，地理这些基础数据库将对接，并延伸到医疗，教育，交通和公安等其他领域，能够满足数据共享，统计分析，数据分析，决策支持等多个方面的需求。应用层主要牵涉到智慧政府，智慧产业和智慧民生这三大类型，在这其中，较为突出的就是电子政务，数字城管，智慧交通和智慧旅游。以上这些也足以说明，智慧城市的发展规划必须要利用大数据技术结合人民群众的需求。

3.5 智慧政务

智慧政务意味着电子政务云平台的建设，能够直接展示出政务信息，民众舆情等综合数据，并把科学预测的结果直观的体现出来，进一步提高政府决策的科学性与精准性，让政府可以有效发挥出宏观掌控的职能，完善政府的社会服务，针对社会发展作出预警或者是预测，进一步降低决策成本与负担。而且，电子政务公共服务平台具有立体化和多层次的特点，能够促进网上办事一站式和全天候目的的达成，这样就给公众提供了更大的便利。同时，智慧政务也牵涉到公共安全的维护，不仅仅是遍布城区的摄像头和监控设备，同时也包括线上的舆情监督，例如网络自媒体和短信等等，总结出人为事件或者是自然灾害，以上这些线上监督会牵涉到海量的数据智慧政务服务平台，可以及时发现安全隐患，并实现跨区域的政务联通与对接，提高综合应急处理能力和打击违法犯罪的能力，维护社会秩序。智慧政务也牵涉到城市本身的运营，城市运营需要结合大量的地理信息，环境信息和空间数据，而在大数据技术的支撑下，无论是城市道路，绿化，教育能源还是水务，这些基础设施的建设都可以获得更加丰富的决策支撑。

3.6 智慧企业

智慧企业主要牵涉到本地特色应用的工业云平台建设，能够让企业在特定的区域内，集中分析供应链管理，生产制造，市场营销等核心内容，并根据工业云平台上搜集的数据，对生产和销售过程中的活动进行调整，深度挖掘库存，物流，贸易等基础信息为未来的市场变动作出预测，企业就可以制作更加科学的决策，实现产业的升级，提高产品的附加价值，创造更多的市场收益。在这里，智慧物流的数据来源牵涉到GPS，传感器，互联网，物联网，RFID等多个渠道，在大数据的整合下，物流信息会集中在同一个平台上，这样就进一步降低了企业的物流成本，企业也可以进一步挖掘商机，为客户提供更加满意的服务。值得注意的是，企业与企业之间也可以通过工业云平台，实现互联互通，寻求更多商业合作的机会实现，创造互利共赢的和谐局面。