广播电视监测中开放式数据整合与处理体系的构建

张 超

（国家广电总局 五五三台，上海 201908）

一、前言

广播电视监测应用大数据技术是大势所趋，而传统的数据接口技术手段已无法适应大数据应用的要求。通常，系统间的数据交换采用数据接口技术，接口是传递管理信息的协议、过程、消息格式和语义的集合。接口为系统内和系统间的功能调用和数据共享与传递提供了统一的表达方式。接口不仅要遵循标准化和规范化的要求，同时要满足用户长远建设和发展的需要。

然而，在广播电视监测工作中运用接口技术进行数据共享和分析时，产生了大量的问题。

（一）接口标准化要求

数据传输的标准化和规范化是数据接口构建的一个重要原则，然而现行的各种监测系统数据相关性不强，无法实时联动所有的监测信息，比如系统中信道层指标测量、TR101290报警处理、码流分析、频谱监测、节目内容分析等检测指标都是相对独立的，缺少联动。

随着对安全播出要求的提高，广播电视监测工作要提高异态响应速度，降低误报率，这就需要从外部引进相关信息，例如节目传输状态信息、节目上行信息、其他监测台站的监测指标以及本地天气信息等。这些数据无法按照我们预先设计的数据接口进行数据传输，而且这些数据随着自身系统的变化而变化。

（二）数据源拓展

随着广播电视播出全链路各节点信息共享程度的加深，可利用的数据会逐步增加，每当有新的数据源加入时，就需要重新定制数据接口服务，将其引入现有系统中。

（三）数据清洗要求

系统接收到的数据中会出现无效的或残缺的数据，这些数据可能导致后期进行的相关分析无法正常进行，这就需要对提取到的数据进行重新审查和校验，以便删除重复信息、纠正存在的错误，并保持数据的一致性。

（四）多维数据模型的需求

为满足从不同角度、不同层次进行数据查询和分析的需要，需要建立基于事实和维度的多维数据模型。接口仅实现事实数据的存取，维度的建立还需利用其他手段来完成。

有见于此，我们需要建立一种可由用户实现定义的、开放式的数据处理体系。

二、开放式数据处理体系

（一）体系结构

广播电视监测节点繁多，数据量庞大，为合理有效地利用数据，实现监测目标，我们设计了由两个层次和三个应用程序构成数据处理体系。两个层次又细分为服务器层次和客户端层次。三个应用程序细分为服务器程序、数据处理程序和用户管理程序。其中服务器程序对应两个层次中的服务器层次，数据处理程序和用户管理程序对应两个层次中客户端层次。服务器层次是我们构建的开放式数据处理体系的所有作业实际进行的层次，客户端层次是对于要进行的作业下指令的层次。客户端层次的用户管理程序管理用户的权限政策。数据处理程序是构想和下指令作业真正在进行时的具体内容设计。服务器层次的服务器执行客户端层次的作业构想和指令。

（二）数据处理联系和数据转换服务

我们设计的开放式数据处理体系中，不同数据间关系的处理和转换服务，需要通过数据提取、处理和相关数据转换等操作实现。

随着广播电视监测流程的完善，我们可以从广播电视传输的各个节点获得监测数据。开放式数据处理体系采用标准化数据接口，可以随时加入新的数据源。数据处理联系对接入的各种数据源进行提取，从各种不同形态的源数据中提取出需要的数据，或者是从拥有相同源数据的系统中提取出需要的全部或部分数据。对已提取出的数据再通过数据转换作业，制作出体系需要的目标数据。面对随时在产生的庞大的监测数据，需要采取批量处理的方式对数据进行处理。通过排序引擎和高速提取引擎对所有源数据进行处理，并由本地数据仓库进行储存和管理。实时数据处理是对提取出的数据进行批量处理后，再对提取到的文件和数据进行加工。相关数据转换通过数据处理引擎，实现数据筛选和清洗，最终实现数据转换。

（三）数据模型设计

随着广播电视监测要求的提高，获得的监测数据不只是简单呈现，还要进行多层次、多角度的分析，通过建立各种数据模型，对监测数据进行再加工和深度分析，从而得出全面的监测结论。数据模型的建立过程就是对数据进行加工设计的过程。为方便用户实现对数据的提取与加工，我们采用一种图形化的数据加工作业设计，即使用者通过这个设计，对数据处理联系和数据转换服务采用何种方式执行任务进行加工。这种图形化的数据加工作业设计体系中引入了面向对象的概念，即将用户的构思、设计过程抽象成项目、功能模块、数据文件和脚本等组成部分。

项目是数据模型设计中的一部分，是设计器向服务器下达指令，告诉它要执行什么工作的命令合集。项目由很多功能模块组成，数据通过抽取模块、转换模块、排序集合模块、连接模块和加载模块的操作后，就完成整个数据加工的各个环节，最终达到使用者的要求。每完成一个功能模块的操作，就是对数据进行一次加工，加工又会产生新的数据，为了保证整个加工过程的可追溯性，这些加工过程产生的数据文件都要保存，并且可访问。在对数据进行加工服务工作时，对于反复出现的数据，可以将其指定为变量，通过自定义函数的方式实现运行的有效进行。通过函数的方式使整个模型设计中，数据加工设计的整体变换和修改更加便捷。

通常情况下，项目是按用户预先的设计运行，设计器为用户提供项目手动运行及按计划任务运行，然而广播电视监测工作有很多突发情况，有些时候用户需要从某个特定的命令块开始运行，这就要求我们建立的开放式数据处理体系有对实时监测数据进行临时性的事后分析功能。为实现这一功能，就需要在实时监测数据分析项目中添加临时性的分支任务模块。实时数据因其实时性，在已超过其生命周期的任务模块中无法使用，但用户可以充分利用其他任务模块产生的以往数据记录执行后续的作业。

（四）用户管理

用户管理就是对用户按业务上的关联与否或者按可使用的功能进行管理的工具。广播电视监测工作按照使用功能区分不同用户，使用设计器进行数据处理的每个用户与其他用户一起执行各种任务。有些用户的业务类似，也有的互相关联。还有些用户需使用设计器的所有功能，但有些用户只使用特定的功能执行任务。

三、结语

随着广播电视监测系统所涉及的领域逐步扩大，在广播电视监测中，采用开放式数据处理体系，制定了标准化数据接口，拓展了监测数据来源，构建了专业化的多维度模型，分析信息，发出相应的预警。基于开放式数据处理体系的广播电视监测系统已成为提高工作效率、减少人为因素干扰、降低误报率的重要技术手段和今后的技术发展方向。

[1]丁勇扎西.资源共享网络互联实现方法研究[J].广播电视信息，2012（04）：106-109.

[2]秦琨琨.广播电视监测中信息化应用及安全防护[J].数字传媒研究，2016（04）：63-66.

[3]高茳.广播电视监测监管中云技术的应用探析[J].中国有线电视，2017（02）：145-147.

[5]蔡国贤.广播电视监测技术的研究[J].黑龙江科技信息，2015（31）：15-16.

[6]赵国强.基于互联网建立广播电视监测服务平台的构想[J].广播电视信息，2014（03）：112-114.