广电媒体数据治理设计与架构

文/芮浩

引言

数据是广电媒体的重要资产，是其科学决策分析管理的基础。近些年，大多数广播电视台花费大量的资金和时间建立了各种信息化系统来支撑业务发展。这些信息系统已成为广电媒体技术体系中极为重要的组成部分，广电媒体也收获了信息化带来的互联互通、资源共享的红利。同时，在这些系统的海量数据中还存在着许多有价值的信息可以提炼，广电媒体如何将数据集成在一起，并把数据转换为信息、知识加以利用，我们称之为广电媒体的数据治理，这已成为提高节目制作传播水平和管理能力的重要一步。

1.广电媒体数据治理现状

随着广电媒体对云计算、大数据等技术的认识逐步深入，并且由于媒体间竞争加剧，自身对智慧化生产、精细化管理的要求也越来越高，各级广电媒体对数据整合和治理的必要性和重要性已经充分认可，也更需要将各信息系统中蕴含的类型繁多、数量庞大的数据内容进行加工处理。从业务和技术两个层面分析，广电媒体在数据治理上主要面临以下挑战：

1.1 业务方面：

信息系统的分析能力仅支持提供简单的报表，功能单薄，无法满足复杂的分析需求。例如，无法分析媒体资产系统存在的资源，哪些内容众比较喜欢，在节目制作中可重复使用。

业务分析多集中于单一系统，领导层无法从全局角度对各个业务线进行跨业务、多角度、多层次的综合分析。例如，领导层无法从全局掌握节目制作的效率、耗费的资金、社会反响等信息。

数据不一致问题较严重，相同业务数据在不同系统中存在多个不同版本。

各业务系统自行管理数据，内数据质量较低，业务数据的含义在单位的各个部门间存在不一致的解释，从而造成数据无法进行分析。

1.2 技术方面

已经意识到数据治理工作的重要性，但是并没有将其提到战略高度，技术部门的注意力重点仍然是业务系统建设和运维。

现有分析功能多为相应业务系统的子模块，与业务系统耦合性较强，缺乏对全业务分析的支持。

各个业务系统产生数据量大且种类多，现有技术不具备大规模并行处理或分布式处理能力，在分析能力上有“瓶颈”。

各个业务系统在同一类核心数据的定义上标准不统一，数据质量差，无法直接二次利用。

以上问题影响广电媒体业务合理的、可持续的展开，阻碍了其在大数据时代的前进，是迫切需要解决的问题。

2.数据治理目标

在实际工作中，广电媒体数据纷繁复杂，从数据来源上看既有生产办公系统（如媒资、文稿、磁带库等系统）数据，也有从自有新媒体系统（网络广播电视台、IPTV平台、客户端等）通过埋码和日志方式采集的用户行为数据，还包括通过网络爬虫抓取的互联网数据和从数据源提供商采购的网络数据和收视数据；从存储容量上看既有常年变化不大的上百MB数万行的人力资源数据，也有每年增长上百TB几十亿条记录的机顶盒终端采集数据；从数据形式上看既有结构化的，也有半结构化的。根据这些数据的特点，数据治理需达到以下目标：

2.1 数据标准化

制定数据规范，使数据有准确的定义。

数据被完整记录且精度满足业务要求。

数据的成本和价值可计算。

数据有合理的存储周期。

2.2 数据存储和访问规则化

形成统一内容和用户的数据架构。

形成统一的数据存储模型。

形成多渠道的数据访问路径。

数据易访问且有安全机制。

2.3 数据责任化

数据有明确的责任方。

数据内容符合质量要求。

3.数据治理体系

当前，各广电媒体信息化程度不同，数据规模和数据质量的不同，决定了开展数据治理的步骤也会不一致，图1是笔者构想中的适用于大多数广电媒体开展数据治理工作体系框架的一般途径。为了有序实施数据治理，应采用规划先行分步实施的原则，首先，依据各广电媒体自身目标和规划明确战略方向；其次，制定适合自身业务特点的组织架构、制度规范和管理流程；最后，才是选择可行的技术工具和实现方案。

图1 数据治理体系框架

在战略层面，数据治理既要以解决实际工作中数据不可知、不可用、不可控和弱关联的问题为目标，也要结合当云计算、大数据、人工智能等技术快速迭代发展和媒体融合趋势进行全局性规划制定。

在机制层面，数据治理工作需要通过组织、制度、流程的完善和梳理加以落实，切实加强机制建设才能保证持续提升数据治理执行效果。

在实现层面，包括元数据管理系统、数据质量管理系统、数据调度与处理系统等，通过信息化系统的建设，将纸面上的规划、制度和流程内化于技术平台和工具中，用于辅助管理人员开发和维护，提升数据治理工作的效率。

4.数据治理机制

4.1 成立数据治理组织

健全的组织架构是开展数据治理工作的基础，可有效保障数据治理工作在跨部门间的高效推进，组织中人员构成应包括管理、业务和技术三种类型，对应领导组、业务组、技术组三种角色。

领导组：由台领导、技术和业务部门负责人组成，负责建立数据治理文化，制定数据治理的目标、规划、制度、流程等，分配和确保数据治理工作中所需要的资源。

业务组：由业务骨干、业务部门系统管理员组成，负责明确数据需求，维护基础数据的增、删、改、查操作，在数据产生源头保障数据的正确性和实效性。

技术组：由信息化部门的相关人员组成，包括开发人员、数据库管理员、系统运维人员。系统开发人员负责开发和选用适用的平台和工具；数据库管理员负责数据的安全、备份和审计等工作；系统运维人员负责检测数据质量和系统运维等工作。

4.2 规范数据治理制度

数据治理制度应作为单位强制执行规范，制度需阐明数据治理的目的、适用范围、职责和具体内容，由管理办法、技术规范和实施细则等部分组成。数据治理的制度范围应包括数据标准、数据采集、数据审核、数据分析、数据发布、数据传输、数据存储、数据维护、数据安全管理、数据质量监控、数据管理考核等在数据使用过程中的方方面面。所有制度的制定都应以有效实用和优化服务为目标，不断提高数据的规范性、准确性、完整性和关联性。规章制度最终可落地需要有一套行之有效的管控办法，其中考核是是保障制度落实的根本，需建立明确的考核制度，建立相应的针对数据治理方面的考核办法，定期加以考核整改。

4.3 完善数据治理流程

数据治理工作的主要业务流程可遵循本单位数据治理的规范制度和数据治理的内容分为发现、定义、应用、改进四个核心流程阶段。其中发现流程获取已有数据清单、数据当前的状态、数据的生命周期以及数据当前支持维护能力；定义流程记录数据的定义、数据间关系以及实施数据治理工作必须明确的规则、标准以及关键性能指标；应用流程是执行数据治理的过程，涵盖了数据的交换、存储、分析、处理等手段，以确保数据治理与发现和定义流程阶段获取的所有业务规则、工作流程、职能角色及职责相符；改进流程通过数据质量管理和安全保障等手段用于推动数据治理工作的有效性及价值，监测是否与定义的规则和标准相符。

图2 数据治理工作流程图

5.实现体系设计

数据治理所涉及的工具和平台是与广电媒体整体的数据架构体系密不可分的，图3给出了一套面向融合业务环境下的广电媒体数据框架图，其中数据治理主要通过数据管理平台来实现，该平台贯穿数据业务始终。包括数据资产管理系统、数据质量管理系统和数据调度处理系统等，它们是数据治理能够顺利开展的技术保障。只有建立功能齐备的数据治理工具和平台，才能从各个领域有效地进行数据的管理和治理，提高广电媒体的数据价值。

数据资产管理系统：统一管理全媒体的数据资产，包括元数据、数据标准与数据模型等重要的数据内容，涵盖数据生命周期管理功能，并提供可视化的数据查询和展示功能，实现数据资产的快速与便捷查询。

数据质量管理系统：落实数据质量检测工作，实现数据质量问题的发现、跟踪、治理、评价的全流程闭环管理，包括数据质量规则管理、数据采集核验、数据质量问题发现、数据质量问题分析等模块。

数据调度与处理系统：用于实现各系统间的互联互通，相互协同与验证，为数据平台和业务应用提供数据统一、形式多样的数据服务。在该系统中，还需要加强数据使用中访问权限的安全性，保障数据不被泄露和非法访问。

图3 广电媒体数据框架图

总结

广电媒体的数据治理是一个持续迭代的复杂的系统工程。对技术部门来说，需从战略层面出发，认识到数据资产的重要性和数据治理工作对未来发展的巨大价值。通过数据治理进而提供数据服务，可以将技术管理变为技术服务；通过数据治理进而变现数据价值，可以从成本中心转变为利润中心。同时，数据治理过程涉及业务的方方面面，不仅是对数据价值充分梳理和挖掘的过程，也是内部管理职能优化和执行力强化的过程，还是提升核心竞争力、在现有业务系统基础上酝酿跨界融合创新应用的契机。为此，需要在治理前期就应该规划好各项规章制度和管理架构，切实建立一套可管可用的数据治理技术平台，确保后续的各项治理工作能够行之有效并且长期坚持。