无线电监测大数据处理方法研究

史殿坤



无线电监测大数据处理方法研究

史殿坤

深圳市无线电监测管理站，广东 深圳 518000

无线电监测数据是进行无线电管理的核心数据，对无线电监测数据科学合理的分析处理有助于强化无线电管理水平。无线电监测网无时无刻不在采集无线电信号，监测数据量十分庞大，用大数据分析和挖掘方法对无线电监测数据进行处理是一个行之有效的途径。结合无线电监测数据自身特点，着力进行了无线电监测大数据处理方法的研究。其中，网格化数据库建设是基础，保证存储数据科学合理可信；监测数据采集与预处理是核心，保证监测数据准确，进行有效传输；根据业务需要对预处理过的监测数据进行存储和处理是手段，有助于针对性地发掘监测数据价值。

大数据；无线电监测；网格化；数据库

当今时代科学技术日新月异，各行各业的发展都离不开对新技术的应用，无线电领域亦是如此。随着超大容量计算机系统、无线传输网络以及光纤传输网络的不断涌现和成熟，云计算、物联网和大数据等热门词汇一次次抓住人们的眼球，但归根到底终究绕不过一个问题——海量数据处理。随着监测站点的增加，监测网络覆盖面积、监测数据存储容量、监测数据分析处理能力必须相应提高。现无线电监测网每时每刻都在接收着大量的数据，如何存储和处理这些数据，加强监测数据的有效处理能力、满足监测数据爆炸性增长带来的数据海量存储需求以及保障数据传输网络的安全畅通，将是无线电管理部门遇到的重大课题，进行相应的前瞻性的技术研究迫在眉睫。

1 网格化数据库是无线电网格化管理的基础

网格化是当前社会管理的一项有效手段，它通过区域为划分，采集记录一块区域的社会经济数据，并加以呈现，称之为网格化管理。网格化数据库是存储社会经济数据的有效途径，无线电监测数据的存储需要无线电网格化数据库的有力支撑。传统监测网络采用集中设置的数据库，频率、台站等信息独立，信息关联性较差，数据库信息无法为管理者提供更多参考依据。无线电网格化数据库要运用前置映射的方式，每种无线电监测数据对应每个地址网格，每个地址网格映射在相对的网格化数据库中。每个网格化节点既可以作为单独的无线电监测数据使用，同时可允许多个网格数据通过一定的要求合并为一个区域网格库，提高网格化数据库的灵活性，充实用于数据分析的信息含量。

无线电网格化监测网的核心是无线电网格化数据库，网格化数据库的中心是任务管理。通过存储在网格化数据库中原始全面的无线电监测数据，这些数据包含了监测数据、台站数据、地理信息数据等多种数据，其中存储的监测数据是所有数据中最为重要的数据，这些数据是进行无线电频谱研究最基础性的数据也是最为关键的数据。使用这些数据进行的频段占用度分析将更接近于真实无线电电磁环境、通过这些数据进行电磁环境的评估分析工作是一项非常有意义的现实性课题。网格化数据库除了可以存储以上重要的数据，还需要利用基于地理信息系统的定位手段，给每个网格内的无线电监测数据赋予一个位置戳。为下一步对该区域电磁环境的统计分析奠定基础。

2 网格化监测网数据采集与预处理

无线电监测数据的类型是复杂多样的，包含了频谱扫描数据，IQ数据、AD采样数据、占用度、场强及音频、测向和定位数据等原始数据。这些监测数据并不提供能够表现出现成的价值信息。只有通过大数据处理的工具和手段，利用大数据处理软件强大计算分析能力，对当前采集的无线电监测数据进行价值“提纯”，才能够充分挖掘出无线电监测数据的潜在价值，发挥无线电监测数据效能，为无线电管理提供有力支撑。

2.1 网格化监测网的数据特点

网格化监测网主要是指在各网格化节点（网格化节点是指分布在各区域的监测站点）之间相互连接，统一采集数据并传送给一个存储终端的监测网络架构。各网络节点之间相互独立，其中各节点预存数据格式相同具有相关性，通过4G、光纤等网络传输方式，将数据统一存储在一个更为集中的存储终端中，在这种终端中对各种数据进行相关性处理，根据监测要素的各项要求呈现无线电分析数据，使的无线电监测任务在各个区域采集的数据能够得到集中处理，集中呈现，便于进行无线电管理。网格化监测网的突破在于打破了传统监测网上各固定监测点采集的数据之间不具备相关性或者只有弱相关性，无法进行相关性分析。网格化监测网运用GPS同步技术，将网格化节点采集到包括时间、坐标等的多维数据，通过大数据分析的算法和模型进行深度挖掘，可以有效提高数据使用价值。

2.2 原始数据的采集系统

无线电监测数据的采集是网格化监测数据库建立的最基本要素，建设科学合理的原始数据采集系统是进行大数据分析之前重要的基础性工作，监测数据的采集需要掌握的原则包括：（1）针对监测数据采集的方式要确保一致性，监测数据的存储准确性，尽量避免虚假信号和不确定性信号的产生；（2）针对不同的业务频段，制定不同的相监测数据采集工作规范，保证采集所得的监测数据的具有科学有效性；（3）针对测量参数的设置，应当根据监测地点、时间、业务内容，使用合适的数据采集策略，选择恰当的测量参数，运用智能化匹配手段，保证采集到的数据可以进行针对性的挖掘分析。

2.3 数据的预处理系统

监测网数据量很大，动辄就是上10G，数据传输难度较大，因此在数据采集端进行数据预处理实属必要。数据预处理系统可以减少数据的传输压力，保证监测网的传输有效性，预处理系统应遵循以下原则：（1）预处理系统应具有兼容性，能够支持各种设备采集的数据格式，能够存储成大数据处理终端所需的数据类型；（2）预处理系统应具有对原始数据进行初步筛选和过滤的功能，可以提前去除无效、异常数据，避免垃圾数据的产生。一方面降低网络负荷，另一方面保证大数据处理终端所需的数据有效性；（3）预处理系统应具有对数据进行初步整合的能力，对大量监测数据进行预处理，减少大数据处理终端的数据分析量。（4）预处理系统应预置合适的处理算法，根据不同需求选择合适的算法策略，提高数据处理速度，实现整个监测网络大量数据的快速处理。

3 网格化监测网海量数据存储及处理

监测网各监测站点本地存储设备的利用率低，存储资源不能被合理、有效利用，面对全天候的大数据存储和分析过程中面临的困难，无线电网格化监测网业务系统需建立具有智能化和安全特性、并能够与当前的业务环境同样灵活、动态的云存储环境。通过这样的云存储环境，灵活应对业务变化，探索监测网海量数据存储和处理方法，从而提高无线电管理效率。

3.1 监测数据分级存储

监测数据传统的在线存储方式需要配置大容量本地一级硬盘，这样存储数据一方面存在投资大，管理复杂的问题；另外一方面大部分监测数据访问率并不高，却占据大量硬盘空间，不仅浪费资源同时造成访问速度下降的问题。监测网数据存储主要分为实时数据存储和统计分析数据存储两大类，实时数据占用空间最多，实际使用的数据量较少，冗余现象突出。随着监测网规模的不断加大，这种资源的浪费不断攀升，结合当前实际需要，进行监测数据分级存储可以有效的节省资源，最大限度发挥监测网效益。

针对无线电监测网采集的海量数据，可以对存储要求进行分级规划，不同节点处理不同数据，重视数据的本级处理，降低监测数据的传输量，减轻本地存储设备的存储压力，提高数据的访问速度。按照业务需要和应用分级在不同的时间周期不同的位置节点对存储服务的要求进行动态灵活的调配，满足监测网不同阶段不同范围内对存储服务的要求。从建设分级存储设施出发，对不同类型不同节点的存储资源进行区分不同方式存储，例如预处理系统中将存储一部分IQ原始数据，预处理分析后的统计数据传输到大数据处理终端存储，实现分级存储，做到存储全面，突出重点，以满足不同级别应用的存储需求。存储资源规划结合无线电管理业务的实际情况从业务系统层面、资源平台层面、服务提供三个层进行统一规划管理，满足无线电管理业务的集中管理、灵活分配。

3.2 监测大数据处理

监测数据分级存储系统，可满足日益增长的监测网数据存储需求，实现数据共享、备份冗余的数据高可靠性和高可用性。监测大数据处理成为利用发掘监测数据内在价值至关重要的一环。监测数据处理需构建高性能、易扩展、高可用、统一指挥管理的监测数据处理平台。（1）开发监测数据统计分析软件。强大的统计分析软件旨在最大限度地挖掘大数据的价值，监测网统计分析系统具备频域分析、时域分析、信道占用度统计、信道占用度比较、信号强度分析、信号强度比较、频段占用度分析、空间域分析、占用度测量表、电磁环境报告、台站核准、频率标注、监测月报、全景图、监测站全景分析等功能，支持按小时、按天、按天自由时间段、按天24小时、按月的多种统计模式，便于从各种角度对监测数据进行汇总分析和深入挖掘，最终及时掌控无线电频谱资源的使用情况及变化态势。此外系统具备强大的报表功能，支持数据和图表的导出，以及模板导出、自定义选项导出、过滤导出。（2）建立新信号模型特征档案。随着无线应用领域的快速发展，出现非常多的新技术、新设备，给不明信号查找和干扰查处带来了相当大的困难，建立新信号模型特征档案可以对这种现象加以预防和监督。不同无线电业务发射的无线电信号具有各自独特的特征属性，就像指纹一样，各不相同，是查找分析不明干扰的直接手段。通过提取信号谱图、音频特性、占用带宽、调制式、寻址方式等的不同信号特征，并对其信号特征及相关参数进行标注和描述，建立一个包含各类型新信号的频谱特征样本库。为监测网自动识别定位无线电干扰提供了技术手段，同时也为监测技术人员进行认知无线电研究奠定基础。（3）开展电磁环境分级分类评估。通过无线电监测网能够对某一特定区域和特定业务频段进行实时的监管分析，随时掌握各业务频段占用情况、背景噪音强度及变化趋势，可以做到根据需要对相关频段发出预警或发布电磁环境通报。结合电子地图平台和台站数据库，电磁环境评估系统可以对任意时段的监测数据进行抽取、叠加、分析，完成各种形式的电磁环境显示和不同时间段、不同地点、不同频段的电磁环境比较等；可以以直观的形式展现频率在各个地理区域的使用情况，进行模拟场强分析和显示；可以结合地理信息系统和EMC分析系统来展示无线电“频谱资源地图”的全貌和细节，为政府科学决策提供依据。

4 总结

无线电网格化监测网统计分析的强大功能和多样的统计模式便于从各种角度对监测数据进行汇总分析和深入挖掘，通过对监测数据的深化挖掘和利用，可以获取更多准确、科学、有价值的监测数据统计分析结果，有助于无线电管理部门及时掌控当前区域内无线电频谱资源的使用情况。通过不断实施无线电监测，持续积累电磁频谱监测数据，通过云计算、大数据分析等技术手段对监测数据进行更加科学合理的数据分析，有助于无线电管理部门规划使用区域内的频谱资源，提高频谱资源的利用率，发挥频谱资源的潜在价值。通过搭建无线电监测大数据处理平台，建立新信号特征库，不断进行电磁频谱态势分析，将充分利用无线电监测网协助无线电技术人员查处无线电干扰、评估电磁环境情况，保障区域内无线电电波秩序正常有序，并在其基础上科学的分析电磁频谱资源与社会经济发展的内在关系，能够不断增强无线电管理工作为社会经济发展保驾护航的能力。

[1]王军，黄炬，马有厂，等.大数据时代的无线电监测[J].中国无线电，2014（4）：55-58.

The research of radio monitoring big data processing methods

Shi Diankun

Shenzhen Radio Monitoring Management Station，Shenzhen，Guangdong 518000

Radio monitoring data is the core of the radio management，scientific and reasonable analysis of radio monitoring data processing help strengthen the radio management level.Radio monitoring network is collection of radio signals，and amount of monitoring data is very large，with large data analysis and mining method of radio monitoring data processing is an effective way.In this paper，combined with the characteristics of the monitoring data，we have made great efforts in the research of large data processing method of radio monitoring.The construction of the grid database is the foundation to guarantee the scientific and reasonable storage of data.The monitoring data acquisition and preprocessing are the core，and the monitoring data is accurate.，The effective transmission； according to the business needs of the pretreatment of monitoring data storage and processing is a means to help identify the value of targeted monitoring data.

big data； radio monitoring；meshing；data base

TP311.13；TN98

A

1009-6434（2016）12-0051-03