大数据平台的用户行为分析系统的设计

姜鲨

摘要：本文主要就大数据平台用户行为分析系统的设计进行多方面的探究，希望能借此有助于为实际系统设计起到一定启示作用。

关键词：大数据平台；用户行为；系统设计

0.引言

社会信息的日新月异，人们已经生活在信息的环境中，用户查找信息也更多是依赖搜索引擎，系统能自动保存用户使用过程，查询日志也会以此方式进行保存。大数据技术的应用下，为分析用户行为提供了良好技术支持，通过从理论上深化系统设计的研究，就能从一定程度上丰富其理论。

1.大数据平台的用户行为分析系统设计需求和总体设计

1.1大数据平台的用户行为分析系统设计需求

大数据平台的用户行为分析系统的设计，需要结合实际功能应用需求，对于调研展开系统的需求分析是首要环节，结合系统需求开发者就能对系统功能模块以及安全要求等全面的掌握，这样才能有助于制定用户行为分析系统具体工作的执行，这也是提高决策精确性的关键点，能保障设计和实践的高契合度。从行为分析系统的业务需求层面来看，在人们对日志信息关注度不断提高的同时，市面的大量技术和工具能完成日志分析，及对日志中的有效数据信息能进行挖掘，功能也比较强大[1]。而结合用户行为分析系统设计要求来看，就难以满足用户对其产生的功能性需求，大数据技术的应用下，通过分布式数据库，基于列来进行数据信息的存储，提供的借口和功能较为简单，使用中比较方便。日志分析的时候就有着比较突出的实践应用效果[2]。另外，从系统非功能性需求层面来看，和大数据运行平台相结合，用户行为分析系统实践特性和业务处理周期分布，系统在性能上需要满足最佳响应速度以及扩展性满足需求，也就是在业务自调整能力以及安全需求等方面都满足实际工作的需要。

1.2大数据平台的用户行为分析系统总体设计

大数据平台的用户行为分析系统总设计当中，HDFS存储层比较重要，对于这一系统的设计，这一层是对数据优化存储的，通过单一主节点和五个附属数据节点方式完成存储，并且是通过MapReduce实现数据写入和读取操作。而在Hadoop集群层也是比较重要的层，也是设计主旨，这是在云计算分析技术的基础上来对用户软硬件和网络环境进行搭建，通过几台人终端PC设备建立独立分布式协作集群，其中把节点设置成在其中一台PC终端[3]。而在用户接口层方面，这是连接用户和用户行为分析系统间的重要载体，主要是进行信息交换共享。设计当中通过可视界面把运行结果反馈用户自身，结合运行流程反馈需要的结果，最后实现功能上契合。而在计算层上，这是大规模数据样本数据分析的主流发展形势，通过规约/映射方式对记性数据的计算处理，不仅要采用并行处理模式，以及负载均衡设计，采用MapReduce展开模型设计的效率更为突出，也能提高计算速度和精度。最后就是在逻辑业务层的设计上，设计上通过Hadoop集群模式处理，通过HDFS来实现对于日志信息的截取，通过MapReduce的计算组件来反应出当前用户的操作行为，主要包含日志的存储、信息采集及分析处理等[4]。

2.大数据平台的用户行为分析系统详细设计及实现

2.1大数据平台的用户行为分析系统详细设计

大数据平台的用户行为分析系统设计的内容比较多样，如在对日志采集模块的设计中，这一模块是用户行为分析系统的初始工序，要从不同的角度进行分析。明确需求后进行信息提炼转换短语和词语组合模式，把其提交到对应搜索引擎体系当中，然后采用大数据平台实现数据验证和处理，类型的划分环节，互联网的信息是比较繁杂的，用户如果是在大数据运行下及时的定位到目標信息，搜索引擎就是比较关键的，这是搞笑检索信息的服务模式，提供日志类型包含两种，用户搜索日志和系统运行日志。进行采集的时候，有几个核心的组件，也就是collector、agent及store，前者是接收分析汇总处理，完成之后导入到后台服务器。日志系统的设计主要是保障日志存储可靠性和实践运行的良好适应，

2.2大数据平台的用户行为分析系统实现

受到篇幅的限制不能全面的实现系统的应用，此次主要就日志导入模块实现简要阐述，日志是通过实时记录方式，对每个操作都实施了自动记录，系统运行中日志文件也是比较大的。用户行为分析模块的实现过程中，这是设计系统运行关键环节，用户获得基本数据访问信息后，通过统计学分析原理实现用户行为规律探寻和特征的阐述。如选择搜狗公司对外公布日志数据源，有超过四千万条信息，信息的容量达到4.4G作为素材进行开展有效数据分析，分析获得用户名称以及主机排行和时间段的统计记录[5]。基于关键词的排行统计分析方面，搜索进程设置采用关键词以及相对应主题实现引擎和用户的进行，用户对主题肝硬度和兴趣比较浓厚，能发现有诸多重复查询需求。采用排名方式开展处理，选择数量一百个，在用户排名比较靠前的时候，颜色呈现为鲜艳，显示区域聚焦中间位置，反之颜色是淡化的，位置趋向四角。

3.结语

当前我国的互联网技术的应用愈来愈广泛，在各领域生产当中发挥着重要作用，互联网技术应用下人们获得信息比较方便，并能进行信息买卖以及工作交流。针队不同用户实施个性化的信息推送，结合用户兴趣进行制定活动方案，成为各大企业推销产品的重要方式。未来的大数据平台的用户行为分析系统的应用将会成为主流。

参考文献：

[1]陈全，邓倩妮.云计算及其关键技术[J].计算机应用，2017，29（9）：2562-2567.

[2]董志安，吕学强.基于百度搜索日志的用户行为分析[J].计算机应用与软件，2015，30（7）：17-20.

[3]杨文峰，李星.网络搜索引擎的用户查询分析[J].计算机工程，2016，27（6）：20-21.

[4]王继民，彭波.搜索引擎用户点击行为分析[J].情报学报，2016， 25（2）：154-162.

[5]余慧佳，刘奕群，张敏等.基于大规模日志分析的网络搜索引擎用户行为研究[J].中文信息学报.2017，21（1）：109-114.