大数据技术在广播电视监测中的应用方法

2017-04-14山西广播电视无线管理中心李晓光

电子世界 2017年15期

山西广播电视无线管理中心李晓光

大数据技术在广播电视监测中的应用方法

山西广播电视无线管理中心李晓光

丰富多样的广播电视播放形式不断的推动了广播电视监测系统领域的发展，同时需要检测的数据信息量也明显的增加，而当前的广播电视监控的重中之重就是在庞大的检测数据的体系中获得有效的信息。文中对大数据的特点及将来的发展应用进行了讲述，对分析监测数据有很好的参考作用。

大数据技术；广播电视监测；应用

伴随着高速发展的广播电视业务，形成了多元化的监测播出形式，同时涉及的领域和规模也不断扩大，对于广播电视监测工作者而言，在大量的数据中得到有效的信息是当前行业面临的最重要的问题，将信息量庞大的数据进行处理及应用被称为大数据。当前的监测工作虽不属于大数据时期，但正在逐步趋向于大数据时代。

1 大数据关键技术

1.1 数据预处理技术

通常用到的数据预处理的方法是将数据进行抽取和清洗。数据的抽取过程即数据集成，是将结构化的数据或者形式复杂的非结构化数据进行同质化，对后期的数据分析起到了很好的作用。数据的清洗指的是将将那些可有可无的数据清除掉，将有用的数据留下。当前社会，行业中起到主导地位的是Datastage和Powercenter两款，可以依照数据结构由易到难对大量数据进行收集、变换、分发等操作，从而做到有效的处理大数据。

1.2 数据存储与数据管理

数据管理是指利用计算机的硬件和软件将数据采集、储存及处理的过程。数据管理可以很好的将数据的功能展现出来。而对数据进行严格管理的重要之处则是数据组织。时代的发展也在影响着数据管理的发展，由原来的人工管理到文件系统，再到现在的数据库系统共三个阶段。数据库系统中包含有数据结构，这样不仅能很好的展现出数据之间的关联，还对数据的修复及引申更新有一定的好处，同时还具有保证数据独立、安全、完整的优点，使数据管理的效率得以提高。

1.3 数据挖据与智能分析

数据挖掘触及到人工智能、模式识别、机器学习以及统计学等诸多方面。数据挖掘指的是在大量的数据信息中利用算法的方式将有用的信息搜索出来的过程。将计算机科学作为数据挖掘的主体，主要采用统计、在线分析处理、检索、机器学习、专家系统和模式识别等方法，以此来达到搜索目标。且在商务管理、生产控制、市场分析和工程设计等众多领域使用被检索到的信息。

2 当前广播电视监测监管工作面临的难题

2.1 业务过于庞杂

目前广播电视监听监视系统、广告监管系统、安全播出系统、WAP监管系统等大量系统投入到广播电视监管工作中，导致业务系统十分的繁杂。导致服务器数量过多，且每一种管理方法与同一类型或系统相互呼应，使得监测监管工作的在极大数量的服务器中有着非常庞大的任务，而且上层应用接口、流程非常繁杂，使广播电视监测监管工作变得十分的困难且繁琐。

2.2 备用系统不足

目前的广播电视监测监管过程中，现有系统受到人们的重视而备用系统的重要程度却被人们所忽视，当系统和设备突然出现问题时，需要经过长时间的且非常复杂的手段才能将系统环境修复，备用系统不充分导致广播电视监测监管工作遇到问题时不得已而暂停，使工作效率与工作质量降低。

2.3 资源利用不均

主机资源不能有效的被利用是当前的广播电视监测监管过程中普遍存在的现象。一般情况下，在部署的轻量级应用主机当中，计算和I/O资源在轻量级的主机中处于闲置状态，且固定的一个主机上会运行单一的业务，导致一部分主机被搁置，造成资源浪费，且重复投资的状况频繁出现。

2.4 平台升级困难

硬件不断更新，与之配套的操作系统和数据库也随着不断变化，各业务系统不断升级，导致业务系统运行稳定性差，由于尚未统一规划软件版本和硬件配置没有统一的标准，导致对后期的工作带来较大的影响。

3 广播电视监测中大数据技术的应用

3.1 采集监控信息

广播电视监测监管分析系统依据大数据而建立，其中的采集监控信息模块，将大数据的分析技术、互联网搜索及文本挖掘技术合理的利用后，对各种社交软件中产生的信息开始全面的整理及应用。能够主动对互联网中产生的资源信息进行增量采集，不仅能有效的建立原始信息库还能实时更新。并且，此模块能将网站中的多种语言信息全部进行采集，更便于广播电视行业加强对国内外敌对势力的动态信息的采集。网页、视频、图片等各种模式的信息及网页与论坛中的均可以利用全媒体技术进行采集，且将信息保存到数据库中。

3.2 处理监控信息

文本和媒体在大数据中的挖掘技术经过过滤、排列、分类采集可以获得原始信息资源，且能够自动将内码转换成智能模式进行分析和处理监控信息，因而形成了内容丰富的信息树。人工记录信息在大数据技术中心也同样支持，可以依照现实对它进行一系列处理，如：加工、修改或删除。最重要的是，大数据技术能够帮助页面完成有效元数据的自动提取，也就是自动分析功能，同时能将垃圾文件自动删除，避免了各种资源浪费。

3.3 分析监控信息

广播媒体监测监管系统中的分析监控信息模块不仅能快速的对监控信息分析处理，还能进行检索工作，并且通过授权的方式对监控信息完成检索，按照不同情况来提供与之相符的信息服务。尤其是大数据技术当中的知识管理技术能够将需要分析的数据整理成报告及统计图表，便于工作人员更加简洁明了的了解监控情况。在监控信息导航技术能够将各种信息数据分类并对监控报告进行管理；在其基础之上，广播电视行业可以对互联网重点事件分析报告及监控分析报告做出相应的预警信息，警示其他人及时对违法违规的信息进行阻止且删除。管理电视广播监控监管工作的人员也可以随时对监控信息导航树定义和管理，方便对时间中的各种逻辑关系进行深入解析。