广电网络公司大数据计算及分析系统建设方案

刘尊

【摘要】本文对公司项目进行了简单的介绍，阐述了大数据计算及分析系统的建设目标，包括两方面，一方面为建设目标，另一方面为功能目标，重点探讨了这一系统的功能模块，包括系统间接口能力、大数据计算平台及数据应用，此外，论述了建设方案，包括系统安全、软件与硬件方案、服务器配置及网络交换机配置等方案，以期抛砖引玉，为相关人士提供参考与借鉴。

【关键词】大数据;系统建设;软件;硬件;配置

中图分类号：TN94                 文献标识码：A               文章编号：1673-0348（2020）016-087-03

Construction scheme of big data calculation and analysis system in radio and television network company

Liu Zun

（Shandong Radio and Television Network Co.， Ltd. Linyi Branch， Linyi， Shandong 276000）

Abstract： this paper briefly introduces the project of the company and expounds the construction objectives of big data computing and analysis system， including two aspects， on the one hand， for the construction goal， on the other hand， for the function goal， and focuses on the functional modules of the system， including inter-system interface capability， big data computing platform and data application. in addition， it discusses the construction scheme， including system security， software and hardware scheme， server configuration and network switch configuration， with a view to providing reference and reference for relevant people.

Keywords： big data; system construction; software; hardware; configuration

1.项目介绍

目前公司直播平台、互动平台、客服系统以及BOSS系统等不断产生大量的用户行为数据、客服数据及营业数据，在这些数据背后，隐藏着能带动公司发展的大量有价值的信息，通过发掘这些有价值的信息，可以找到更符合用户兴趣的产品，进行更精确的营销，建立更完善的客服体系，以及提供更精准、及时的决策依据，从而指导企业更良性发展。

公司通过业务生产系统的搭建，我们已经实现了基础的生产经营数据分析，但是对于其他系统所产生的海量大数据的整合、分析和挖掘还仍未进行。

2.建设目标

2.1业务目标

面向公司的各级管理、市场、客服及数据分析人员，以现有业务系统产生的海量数据资源为基础，利用大数据技术，实现对数据的深加工和智能化分析挖掘，为企业运营决策和精准营销提供完整、及时、准确、科学的信息支撑与指导。

2.2功能目标

系统间接口能力。具备实时采集公司其他系统数据的接口，同时提供数据解析、计算、入库的能力。计算结果可供公司其他系统或第三方分析应用实时调用，包括主动推送的接口功能。各功能模块布局图（图1）

3.1系统间接口能力

南向接口是大数据计算及分析系统接收外部系统数据的接口，通过南向接口为大数据计算及分析系统提供数据源。

北向接口是大数据计算及分析系统提供给外部系统数据服务的接口，通过北向接口为各外部系统提供计算结果和所需数据。

3.2大数据计算平台

数据分层：总体按照三层进行建设，接口层、整合层、汇总层，分层进行数据存储和模型建设。

平台组件：采用Hadoop，HDFS等分布式存储技术，极大提高系统的存储能力以及扩容、灾备、海量数据运算能力。同时为了提高系统即时运算能力，将引入Spark等内存计算技术。为了降低开发门槛，将引入Hive等类SQL技术。

平台组件稳定，平台关键组件不能存在单点隐患，平台建成后全年连续运行性达到99.99%。

3.3数据应用

（1）收视行为分析（包含机顶盒、APP）

A.直播分析：

统计观看各个直播频道的收视次数、用户总数量，并通过报表和图表展示，统计的时间段可以是当前、当日，或某一指定时间段;统计各频道收视率、市场占有率、排名;统计单个频道的实时流入流出统计分析，并可以分析自定义时间段内单个频道流入流出情况以及频道组的用户情况。

B.点播分析：

统计当前观看点播节目的用户数;

统计当前时间各点播节目观看总数量及排行。

C.互动、回看分析：

统计当前观看互动、回看节目的用户数;

统计当前时间各互动、回看节目观看总数量及排行，按频道+EPG方式统计。

4.建设方案

4.1系统部署方案

大数据平台采用开源组件进行设计，包括平台层和应用层。平台层将一些共性、核心的服务抽取出来，作为平台服务提供，本期平台层含数据采集、数据处理、数据存储、数据共享、数据服务开放;平台层既可以实现高可用，同时也可以支持应用横向扩展，当业务处理要求不高时，仅需少量线程处理，以节约服务器性能，当业务处理能力不足时，不需要升级版本，支持平台层进行横向扩展。横向扩展支持技术为系统将来的拓展给予了技术上的保障，可根据实时需要进行容量和性能的扩展。应用层关注业务功能的实现、用户交互和用户体验;应用和平台服务之间通过服务治理互联，保障服务的无缝衔接，实现平台服务集群的容量管理。

4.2硬件方案

项目一期将采用10台两路服务器构建Hadoop大数据集群，其中2台是管理节点，8台为计算节点。大数据平台总存储容量为240T左右，在满足大数据平台存储的同时解决目前经分系统的历史数据备份问题。网络侧将采用万兆光纤交换机，保证集群内部各服务器之间的良好通讯。

参考文献：

[1]楊荣霞.河北广电大数据分析系统设计与实践[J].有线电视技术，2018，v.25;No.342（06）：104-105.

[2]方静.浅谈广电新媒体大数据分析及应用系统[J].电视工程，2018，000（001）：P.21-22.

[3]李晓丽.基于大数据分析的数字电视智能终端精准消息推送系统[D].2019.