基于MapReduce的城市交通大数据聚类挖掘系统

孙玉坤　韩聿彪

关键词：MapReduce技术；城市交通；大数据聚类

中图法分类号：TP391 文献标识码：A

1引言

城市智慧交通建设的持续推进，一定程度上也加快了社会的发展，逐步完善了各个城市的交通网，带动了各项产业的进步，在促进产业化的同时，也拉动经济增长。现阶段，城市交通智慧系统多为单向的控制系统，虽然可能实现预期的控制效果及调整目标，但是较容易受到外部环境的影响，导致目标处理过程中形成误差，影响日常的交通管控效果。为避免上述问题的扩大，部分城市选择进行交通系统的升级，构建城市交通大数据聚类挖掘系统，其在应用前期获取了较好的效果，但随着车辆的增多以及路况的复杂化，系统对基础数据的处理速度下降，整体的控制效率也在不断降低。

本文提出基于MapReduce的城市交通大数据聚类挖掘系统的设计与验证。所谓MapReduce技术，主要指的是一种面向大数据并行处理的计算模型、框架和平台，通常与交通控制结构相关联，在外部设备及控制结构的辅助下，逐渐构建一个更为灵活、智慧性更强的城市交通大数据聚类挖掘系统，遵循科学管控的目标，从多个方面进行系统的设计及调整，采用合理的方式对采集的数据定向汇总规划，根据交通轨迹移动数据、人群密度变化等完成数据的驻留分析，从而进一步强化该系统的大数据聚类挖掘能力，为相关工作的执行与落实提供参考依据。

2设计交通大数据MapReduce聚类挖掘系统硬件

2.1传感信息采集装置设计

通常情况下，城市交通聚类挖掘系统日常工作时会形成较多的数据和信息，如果不及时做出调整和汇总，便会形成不可控的问题。因此，为提升整体的聚类挖掘速度及效率，需要在硬件结构中安装设计传感信息采集装置。所谓传感信息采集装置，主要指的是一种多维定向的数据信息采集硬件设備，首先在该系统的控制电路中安装多个感应器，并在内部设定一个小型的控制电路，然后根据城市交通系统控制覆盖范围，设置标定挖掘位置，并测算出小型电路的加载控制单元值，计算式为：

式中，D表示加载控制单元值，k表示定向控制范围，α表示堆叠范围，i表示单元控制次数，t表示加载距离，w表示挖掘移位差。根据上述测定，完成对加载控制单元值的测算。然后，在小型控制电路中接入PCL6114-6144-PCD4600A控制芯片，营造稳定的控制环境，并测定此时的定向挖掘分峰值，在传感器后侧方安装射频装置，用来接收对应的聚类挖掘信号。但需要注意的是，在安装射频装置的同时，还需增设转化设备，将获取的挖掘信号进行等位转换，并传输至对应的位置，进而为大数据聚类挖掘处理营造稳定的硬件控制环境。

2.2复位挖掘控制电路设计

所谓复位电路，主要指的是在大数据聚类挖掘处理时，对控制方向及位置进行调整的一种硬件控制程序。在小型的控制电路中安装掉电复位检测节点，并将加载模糊度检测模块串联接入。然后在小型电路和感应器中间接人一个PC机和路由器，明确实际的数据信息聚类挖掘范围，由APLC21160逻辑处理器芯片进行主控处理，对采集的数据信息进行集成动态化处理，以形成循环性的硬件控制结构。

另外，需在PCL6114-6144-PCD4600A控制芯片中关联一个聚类挖掘引擎，将这个复位电路划分为2个控制单元电路。在电路1的位置安装一个聚类控制电源，电路2位置接人定向的感应装置，具体结构如图1所示.

根据图1，完成对复位挖掘控制电路结构的设计。然后，将PCL6114-6144-PCD4600A控制芯片和APLC21160逻辑处理器芯片同时移动至小型控制电路中，形成多层级的控制结构体系，以提升复位电路的灵敏度，从而有助于提升城市交通聚类挖掘处理的速度及效率，强化整体的硬件应用效果。

3设计交通大数据MapReduce聚类挖掘系统软件

3.1设计交通MapReduce聚类挖掘协议栈

城市交通的大数据聚类挖掘程序一般是单向的，虽然能够实现定向的数据信息处理，但是效率较低，针对性不强，常常出现聚类处理误差的问题。因此，综合MapReduce技术，进行交通聚类挖掘协议栈的设计。首先，进行定向管聚类挖掘控制模块以及协议指令的设计。在控制程序中接人多个动态化的数据信息采集装置，与主控结构进行搭接与关联，增设信息融合指令和模糊度检测指令，对节点采集的数据信息进行汇总和筛选，标定出城市交通的聚类挖掘识别位置，具体如图2所示。

根据图2，完成对聚类挖掘识别位置程序结构的设定与调整。然后，根据城市智慧交通选定的标定聚类识别参照物，综合MapReduce框架，设计1个动态化的聚类挖掘协议栈，相当于1个移动指令传输程序，可以在排除异常因素的背景下，在预设时间范围内，通过MapReduce框架及平台，将指令输送到城市交通系统的任意位置中，以提升交通MapReduce聚类挖掘协议栈的应用效率及质量。

3.2设计自适应MapReduce聚类挖掘数据库

与传统城市交通聚类挖掘数据库不同的是，综合MapReduce技术所构建的自适应数据库更加灵活多变，对于数据、信息处理的效果更佳，实际应用价值更高。可以先通过自适应技术和MapReduce技术，建立一个聚类挖掘单元模型，利用部署节点，采集城市交通的数据以及信息。需要注意的是，数据信息包括音频、视频、图片等信息，采集范围及形式相对较大。依据特定的格式将数据转换为数据包，利用MapReduce框架将其传输至初始数据库对应的位置上，并进行系统聚类挖掘控制指标参数的设定，如表1所列。

根据表1，完成对聚类挖掘控制指标参数的设定。基于此，将上述设计的协议栈设定在数据库内部，与指令集群建立正向的控制关系，逐步形成自适应的系统运行环境，为后续系统的日常应用以及升级奠定基础环境。

4系统测试

系统测试主要是对基于MapReduce的城市交通大数据聚类挖掘系统的实际应用效果进行分析与验证，考虑到最终测试结果的真实性与可靠性，采用比照的形式进行验证。选定D城市交通系统作为测定的主要目标，标定出该城市中的4个路段作为比照验证的对象，将4个位置的分系统与主交通系统进行关联搭接，设置总控程序，营造稳定、真实的测定环境。结合实际的测定需求及标准，进行测试环境的搭接。

4.1测试准备

依据上述测定需求及标准，综合MapReduce框架或者平台，对城市交通大数据聚类挖掘系统实际应用效果进行分析验证。首先，提取D城市交通系统4个路段的基础测定数值以及信息，设定环境信息采集的频谱宽度为30 dB，测定采样的定向间隔时间为0.33s，利用自适应技术和大数据技术，营造稳定的测试及控制环境。同时，进行系统测定数值的调整，如表2所列。

根据表2，完成对系统测定数值的调整，结合MapReduce技术，营造稳定的系统测试环境，并对系统进行具体测试。

4.2测试过程及结果分析

在上述搭建的测试环境中，综合MapReduce框架或者平台，进行具体的测试。首先，在D城市交通选定的4个路段设定测试监测节点，构建基础的测试环境。设定测试时间间隔为0.33 s，设定测试周期为24小时，每一个周期需要将数据及信息汇总整合，共预设3个周期进行测试。根据采样的数据，测定出FRFT幅度，计算式为：

式中，G表示FRFT幅度，φ表示挖掘范围，u表示聚类挖掘次数，d表示单向处理频率，π表示定向监测区域，p表示采样偏差。根据测试得出的结果，进行分析验证，如图3所示。

根据图3，完成对测试结果的对比分析。经过4次聚类挖掘，最终得出的RFRT幅度较好地被控制在4以下，表明在对城市交通大数据聚类挖掘时，其挖掘稳定性更高，整体处理效果更佳，具有实际的应用价值。

5结束语

与传统的大数据聚类挖掘系统相对比，此次融合MapReduce技术所构建的大数据聚类挖掘结构更加稳定、多变，在复杂的交通环境下，能够精准定位异常区域，并采集交通移动轨迹数据以及人群分布密度，对各个位置、范围的路况作出更为详细的分析，充分利用智慧化平台，进行交通指令的调整，形成更为灵活的交通大数据聚类挖掘程序，进而为该类型系统的进一步创新奠定基础，同时推动交通行业迈入一个新的发展台阶。

作者简介：

孙玉坤（1990—），本科，工程师，研究方向：信息系统集成、电子与建筑智能化工程。