东方明珠：打造融媒时代的大数据转型之路

文/杨岚钦

1994年，东方明珠成为国内首家文化传媒上市公司；2011年，百视通上市，开创广电新媒体上市先河；2014年，大小文广合并，百视通吸收合并原东方明珠重大资产重组启动；2015年，东方明珠新媒体股份有限公司成立，这是我国第一家产业链一体化布局的传媒文化上市公司，集团分设四大事业群，包括媒体网络事业群、影视互娱事业群、视频购物事业群、文旅消费事业群。集团在互联网转型的大战略下，经历了从大重组调整到现在的融媒转型，一路走来，见证了“技术力量驱动业务发展“在广电行业的落地。

历时两年，见证新媒体战略稳稳落地

东方明珠作为综合文化传媒集团，拥抱新媒体转型的浪潮，积极构建自己的“文娱+”生态圈。东方明珠近两年不断在大数据、人工智能、垂直电商、云计算、物联网等领域结合传媒行业背景，进行了技术尝试与变革创新，打造出了适合广电行业的转型之路。

图1 东方明珠新媒体转型目标

东方明珠研究院的研发团队，是在互联网转型大战略的方针指导下，公司自行组建并培养的一支精锐部队，分为数据平台组、测试运维组、软件开发组和产品项目组四个核心小组。研发团队负责整个集团大数据平台及相关系统的建设，主要职责为：一是在汇聚公司核心业务用户信息的基础上，通过前端用户行为埋点采集，获取并接入线上线下业务的用户全量数据；二是引入优质外部数据，丰富视频、商品的基础标签，扩充内容分析维度，提高用户画像的精度；三是新建适用于全渠道用户经营的推荐引擎，直接对接线上业务系统或线下业务场景，基于内容标签和用户画像实现精准个性化推荐和营销触达。

同时，团队通过增强基础数据平台的稳定性、安全性、计算处理能力及效率，协同业务逐步形成数据驱动的经营机制，精准用户洞察，实现精准导流、深度运营，为存量业务的精细化运营及新业务的针对性拓展提供坚实有力的数据支撑。

在公司的大力支持下，这支团队锐意进取、开拓创新，无论是早期摸石头过河、还是选择行业内领先的合作伙伴（如神策数据、公有云服务商等），都秉承着自主可控、精益求精的原则。两年建设期，这支团队攻城拔寨，喜讯不断传来：2016年9月，大数据建设相关规划正式立项启动；2017年3月，用户中心管理平台一期成功上线；2017年12月，用户中心管理平台二期顺利发布、DevOps项目试点成功；2018年2月，会员系统一期改造完成；2018年6月，整合用户中心和会员中心，升级为数据中台，数据中台初步整合完成，全集团39个驻地全业务线逐步投入使用；2018年6月底，基于大数据人工智能的智能推荐平台上线、DevOps平台推广到整个集团研发相关部门；2018年9月，会员系统二期改造完成、前端全业务端口打通……

图2 东方明珠OPG数据中台

业务是检验大数据价值的核心标准

东方明珠数据中台，是目前全公司39个驻地全业务线都在使用的大数据分析平台，是实现公司业务数据全面汇集、智能应用、精细运营的数据资源池。数据中台整合的业务数据包括小红巢、东方购物、百视通IPTV、百视通APP、百视通OTT、游戏群、东方明珠塔、看看新闻APP，等等。这些均通过东方明珠自建的“数据管道”进行一手数据的采集、清洗、处理和分析，然后应用到各业务线的固定报表服务、多维分析服务、用户画像服务、即席查询服务、东方明珠知识库以及机器学习平台（如智能推荐系统、营销推送系统等）。

谈到数据中台建设的点滴历程，东方明珠新媒体研究院研发总监胡俊借用东方明珠旗下百视通总经理程曦的原话告诉笔者，东方明珠的大数据建设，就是“要让需要数据的岗位都用起来，数据用得多了、用得好了，就越用越准”。

大数据平台初期建设，主要是研发部门在推动，后来伴随着公司战略调整、业务升级，业务部门越来越依赖大数据平台的使用，参与度越来越深；平台升级为数据中台及后续业务融合，都是业务部门需求驱动的。目前使用范围已经覆盖全业务线。自助式服务是东方明珠数据中台的一大特色，极大改善了业务人员使用数据的效率和应用深度。

为了真正发挥数据中台的价值，东方明珠大数据工程主要从以下几个方面着力建设：一是成立战略专项小组。公司从计划伊始就成立了战略专项小组，党委书记和总裁分别任组长和副组长；各业务部门牵头的都是集团副总，从上而下贯彻饯行大数据战略。二是数据需求汇总管理。大数据相关需求，全部汇总到总部数据研发小组，不再进行独立小数仓和报表系统的研发；规范和严格元数据管理、数据质量管理，实现统一管理、统一发布、统一运营。三是分步走、阶段性项目推进机制。将大数据相关建设项目，实现集中指挥、统筹调度、资源共享，分阶段分批进行落地处理、每个阶段融入一部分关键业务，产出阶段性成果，再进行其他业务和平台整合。四是充分拥抱开源系统。传统商业软件无法满足东方明珠这个体量和业务复杂度的大数据需求，并且广电行业对自主可控、数据保护、安全隐私要求较高。五是沙堆模型落地DevOps。采用“沙堆模型”在多个业务线开展DevOps的工具链落地，加速研发流程，逐步迁移、持续部署、持续集成。六是构建大数据生态合作体系。筛选适合东方明珠大数据发展体系的生态合作伙伴，如神策数据、公有云服务商等，这些服务商在整个中国的大数据生态圈里，都扮演着举足轻重的角色。

大数据项目建设是否成功，业务是检验的核心标准。东方明珠的大数据建设和应用深度日益成熟，并持续引领行业迈步向前。从广电领域的视频、电视购物、文化旅游地产，到现在的用户价值精细化运营，东方明珠一直是整个广电行业的翘楚。

教学相长，构建安全自主可控的大数据平台

图3 神策推荐全流程示意图

广电领域强调安全、自主、可控，东方明珠所有的信息系统、数据系统，都必须满足国家合规性的要求，比如，源数据要自主自控、异地多活，权限控制矩阵，强用户管理体系等。东方明珠与其生态合作体系的合作伙伴们，一直是教学相长的关系，一路走来，共同把东方明珠数据中台成功建设完成。以神策数据为例，目前东方明珠与神策数据的合作包括旗下的东方购物、百视通、梅奔中心、公有云服务商平台优化改造，甚至一些垂直孵化项目，等等。

东方明珠驻地众多，总部技术团队需要支撑的业务范围辐射较广，DevOps平台的推广和专业服务商的引入，在一定程度上缓解了技术人力稀缺的挑战。在专业服务商选择上，胡俊说：东方明珠非常看重服务商在相关领域的实战经验，技术的成熟度、解决方案的成熟度，公司资质和团队背景。在与神策数据合作的过程中，对神策数据团队的产品和服务都很认可，除了大数据用户行为分析平台外，尤其对埋点服务和神策推荐算法的精准度非常满意。

图5 OPG数据中台核心模块

以百视通IPTV某驻地为例，日活数百万用户通过IPTV机顶盒付费观看授权内容，部分精品内容需额外充值观看。在接入神策推荐之前，其主要依赖人工推荐，以热门、付费和内容相关性为主要推荐参考。为提升用户的观影体验、提高用户留存以及充值付费营收，东方明珠利用神策推荐解决方案，完成采集点击日志、展示日志、播放日志等所需用户行为数据，基于行为数据构建深度学习召回算法策略，采用GBDT+LR排序模型训练数据。推荐算法上线两周后，神策推荐的效果，对比人工推荐，仅CTR一个指标即提升了6倍，对推荐内容的人均浏览次数提升了1.9倍。

图4 召回模型神经网络结构

就大数据平台建设项目而言，东方明珠团队对自主自控要求较高，在用户行为分析、埋点等相关领域，神策数据所提供的技术和方案较为成熟，并且神策分析PaaS平台的延展性和开放性能较好满足集团复杂业务和自主可控的需求，因此，东方明珠利用神策分析平台，充分打通内部业务数据，发挥资源优势，构建一体化运作的融媒体大数据用户分析中心。在精准推荐项目中，东方明珠采用了与神策数据一起敏捷迭代的合作模式，即基于神策推荐平台，双方投入研发资源，针对广电行业的个性化需求进行推荐算法的打磨升级，并基于神策推荐平台进行广电行业个性化应用和场景的深度开发，经过试点驻地的实际结果检验，目前已在各大驻地展开推广。

对于东方明珠这种体量和复杂业态的传媒集团，开展大数据建设工程，内部数据打通难度，平台是否安全、自主、可控，以及数据在业务线如何深入应用，都是至关重要的点。胡俊说：万里长征第一步，我们团队一起顺利迈出去了，我相信东方明珠的大数据平台能成为广电行业第一家。真正把数据价值充分发挥和应用，并且为同行的大数据建设提供指导参考。