（2017年度“华苏杯”获奖论文二等奖）大数据技术在家庭市场的应用与研究

孙开翠 刘皓 谢翌耿 穆明鑫 吴晓斌 刘广东

中国移动通信集团江苏分公司

0 引言

近几年随着家庭产品“宽带化+互联化+智能化”的快速变革，互联网公司强势进入，家庭市场风口即将到来。运营商、广电、家电厂商以及互联网公司纷纷利用各自优势布局家庭市场，抢占家庭入口。

运营商大力发展家庭宽带，打造家庭入口终端，如中国电信悦Me、中国移动魔百盒等，通过平台化战略，引入合作伙伴业务，丰富家庭业务市场。家庭业务规模发展的同时，也带来了业务良莠不齐，海量家庭业务内容用户无从选择等问题，如何快速开发满足用户个性化需求的家庭业务，如何精确推送用户需要的内容，如何判定内容的优劣，这是我们需要研究和实践的重点内容。

1 需求背景

在“互联网+”的背景下，大数据在细分市场的应用已成为重要的发展方向。家庭市场的发展已逐步形成规模，家庭市场对大数据技术的需求也日益迫切。大数据的价值不仅仅体现在家庭业务的数据指标，更体现在家庭业务的发展模式变革，数据已逐步形成能力，指导家庭业务的运营逐步走向精细化，家庭用户的服务逐步走向个性化。

以江苏移动为例，江苏移动积极响应“宽带中国”战略，持续加大宽带建设投入，截至2017年5月底，家庭宽带用户已超过1100万。家庭市场按视频、游戏、动漫、音乐、电商、教育、旅游、健康、智能家居等九大频道进行运营，建设家庭开放平台，打造开放的家庭业务体系，积极引入合作伙伴业务。家庭业务迅速发展，但海量的家庭业务内容及用户行为数据没有得到有效分析，无法精准推送用户真正感兴趣的内容，也无法对业务的运营带来帮助。

大数据技术需广泛应用在家庭市场的数据统计、家庭业务内容的智能推荐与搜索、家庭业务的策划与改进、用户的互动参与、广告精准投放等各个环节上，推进家庭业务的全方位变革与重构。家庭市场大数据的需求主要分为对运营商内部及外面的两类需求：

（1）大数据的对内应用需求：

1）家庭用户的精确营销需求：将大数据的分析结果应用于家庭市场的精确营销，提升营销成功率及用户满意度。

2）内部运营支撑需求：分别针对业务人员、技术人员、家庭业务系统提供多样数据应用服务。

（2）大数据的对外应用需求：

1）家庭市场的后向精准广告服务需求，使用用户画像能力，主要包括用户身份、业务订购信息、使用终端信息、交往圈信息、内容偏好信息等能力，推送最精准的广告服务。

2）对外输出家庭业务评估体系：通过统计家庭市场各业务的用户使用情况、活跃度等，对引入的家庭业务内容进行分析评估，输出评估报告，提供运营商家庭业务内容引入的决策依据，同时对外输出家庭业务内容的评估体系，供家庭业务内容方使用，使大数据的能力变现。

综上，为积极推进家庭宽带发展，提升家庭市场的数字化服务水平，需建设家庭市场的大数据中心，提高家庭市场的大数据分析能力，推进家庭业务内容的精准化营销及家庭用户的个性化服务，实现家庭市场从价格竞争到服务能力竞争的全方位变革与重构！

2 架构与应用

如下重点以家庭市场大数据的应用实践为对象，研究家庭市场大数据中心的体系架构及建设重点，同时描述大数据技术在家庭市场不同场景下的研究与实践。

2.1 内容建设

要实现家庭市场大数据技术的广泛应用，首先要建设家庭大数据中心，收集汇聚家庭市场的网络数据、业务数据、用户数据、终端数据等。其中，

1）家庭网络数据包括：家庭宽带的网络状态数据、DPI数据等；

2）家庭业务数据包括业务的元数据、用户的订购数据、用户使用的话单数据等；

3）用户数据包括用户信息数据、用户偏好、用户社交圈、用户行为数据等。

家庭大数据中心是全方位的家庭数据仓库，建设家庭开放平台大数据中心，可推动实现家庭业务两大变革：

1）数据测量变革：建立在大数据基础上的业务测量颠覆了以往的抽样调查方法，通过对家庭网络、家庭业务、家庭终端、家庭用户等多方面对维度的数据记录与汇聚，形成家庭市场“全方位”的数据测量，为家庭市场的运营提供可靠的统计数据；

图1 家庭市场的整体架构图

2）传播模式重构：家庭业务内容的传播方式从“机械化”变革为“智能化”。“机械化”的传播方式意味着平台充当了业务内容的“传送带”和受众的“供应商”，而“智能化”的传播方式则把平台转变成为受众的“服务商”。随着家庭业务的传播走向“多屏幕化”和“多平台化”，智能机顶盒、平板电脑和手机等会更为精准化地记录观众的行为和偏好，借助于大数据技术进行挖掘与分析，从而使平台在最合适的时间、最合适的屏幕或平台上传播最合适的媒体内容，为用户提供更高质量的服务。

2.2 体系架构

家庭市场的整体架构如图1所示，家庭大数据中心处在中心位置，作为家庭各业务平台的汇聚平台，各家庭业务客户端、家庭终端包括家庭网关等网络接入终端的汇聚平台，采集家庭网络接入、分发等数据，采集家庭各业务客户端数据，采集业务平台数据等，形成业务、终端、用户、网络等全方位的数据仓库。

家庭市场大数据中心的的体系架构如图2所示，分为数据采集层、数据预处理层、数据仓库层、数据分析层、数据接口层、数据应用层6个层次：

1）数据采集层：通过数据采集模块来采集数据。数据采集模块可以是终端侧、客户端侧的软探针，例如在家庭网关等网络终端，互联网电视机顶盒、家庭智能家居等各业务终端上集成软探针中间件，各家庭业务客户端集成软探针SDK插件，采集网络环境数据、家庭业务数据、家庭终端数据、用户行为数据等各类数据，并汇聚到家庭大数据中心的平台侧。业务平台侧也可以通过ftp、jason等实时或非实时接口传递业务、用户等数据到家庭大数据中心的平台侧。

2）数据预处理层：包括数据上报模块，数据转换模块和数据缓存模块，其中数据转换模块负责源数据的清洗、转换和加载，将数据加载到家庭数据仓库。

3）数据仓库层：各类已经过预处理加工的数据，包括业务元数据、用户行为数据、业务与终端的话单数据、日志数据等海量数据。该层可以通过Hadoop的HDFS分布式文件系统、HBase非结构化分布式数据库等多种储存处理方式实现。

图2 家庭大数据中心的整体架构图

3 应用实践

家庭大数据中心作为家庭业务发展使用情况以及用户行为的数据仓库，通过数据建模、数据分析及挖掘等方法，提供更多潜在的有价值信息，例如用户最感兴趣的家庭业务内容，用户的使用习惯等，同时为家庭业务的精细化运营提供精准的数据支撑，实现家庭业务内容的交叉推荐、智能推荐，海量内容的智能搜索等，典型的应用实践如下：

（1）家庭用户画像

按照个体用户的终端使用情况、业务订购及使用记录，结合用户的属性、消费等相关数据，通过相似度计算准则，建立家庭业务用户群的细分模型，了解不同用户的使用需求、使用习惯等。找出不同用户群体的特征，从而针对不同用户群制定不同的运营策略。

（2）家庭业务内容的相关性推荐

1）基于用户画像的家庭业务内容推荐：根据个体用户当前或历史的使用行为，如：根据用户以往的历史行为记录以及用户的其他属性，通过聚类算法、协同过滤推荐算法和客户相似度算法等，分析用户的爱好，并对用户进行标签分类，同时对这类用户推荐用户感兴趣的内容。从计算的角度看，

4）数据分析层：对海量数据进行建模、分析、挖掘及统计等，例如通过ETL工具进行统计分析，PDM工具进行建模及数据挖掘等。

5）数据接口层：分析处理结果通过接口方式反馈给上层应用，例如用户画像、用户相似度分组、实时智能推荐、智能搜索等，接口可以是实时，也可以是非实时，根据上层应用的需求提供。

6）数据应用层：数据“取之于民，用之于民”，大数据采集于家庭用户、家庭业务、终端、网络等，分析结果用于改善家庭用户的体验，提供家庭市场的精细化运营。同时也可以衍生出更有价值的商业模式、业务模式，提供更精准化的后向广告推送等服务。就是将所有用户对某个内容的偏好作为一个向量来计算内容之间的相似度，得到物品的相似物品后，根据用户历史的偏好预测当前用户还没有表示偏好的内容，计算得到一个排序的内容进行推荐。

2）基于内容属性的家庭业务内容推荐：根据家庭业务内容的属性，关联其相关内容，统计分析用户的使用记录，通过FP-growth等算法进行关联规则，挖掘不同内容之间的相关性，在用户使用某业务内容前、某业务内容后分别向用户推荐相关内容，提高用户的业务使用时间，提升用户的活跃度。

3）跨业务的交叉推荐：家庭大数据中心融合不同类型的家庭业务数据、用户行为数据、终端数据等，基于业务内容标签，可以实现不同类型业务的交叉推荐，例如观看过“爸爸去哪儿”视频的用户，推荐“爸爸去哪儿”的歌曲、游戏，或者相关商品的购买。

（3）家庭业务内容的评估

通过统计家庭市场各业务的用户使用情况、活跃度等，对各家庭业务内容进行分析评估，输出评估报告，为运营商引入家庭业务内容提供决策依据，同时对外输出家庭业务内容的评估体系，供家庭业务内容提供商使用，指导其内容的决策、制作、编排，更好的满足用户的需求，也可以将该大数据的能力变现。

（4）为家庭业务的精细化运营提供数据支撑

家庭市场的精确营销：提升营销成功率及用户满意度。家庭业务运营通过用户画像，针对不同的用户群采取不同的运营策略。例如，低活跃度用户群，定期向这些用户推送当前热点内容，吸引用户多使用业务，提升用户的活跃度。

精准的后向广告推送：通过用户画像，可以更精确地了解用户的爱好，可个性化、精确化和智能化的向用户推送广告服务，探索广告推送的新的商业模式。

内容评估体系：通过对家庭业务内容的评估，指导运营部门对家庭业务内容的引入，帮助运营部门引入更多用户更感兴趣的内容。

综上所述，大数据技术能切实提高家庭业务运营的精细化、智能化运营能力，有效提升内容的送达率，提升用户的活跃度。精准的后向运营及广告推送能力、全方位的内容评估体系，更能给家庭市场带来创新的业务模式。

4 总结

大数据技术在家庭市场的实践才刚刚起步，通过建设家庭市场的大数据中心，形成家庭业务、终端、网络、用户等全方位的数据仓库。使用先进的大数据技术，实现家庭业务运营的精细化、精准化、智能化，提升家庭用户的个性化服务能力，开创精准的家庭业务后向运营及广告推送能力，真正实现家庭市场业务模式及服务模式的全方位变革。