烟草地市局的大数据可视化研究及应用

刘颂 王俊峰 李怀立 矫大鹏 高明

关键词 烟草 大数据 可视化

1引言

可视化（visualization）是研究数据处理、数据表达、决策分析等一系列问题的综合性技术，也是利用图像处理技术和计算机图形学把数据转换成图像或图形显示在屏幕上，再进行交互处理的方法、理论和技术。

近年来，随着人工智能的兴起，以数据为工具、以可视化为手段描述的真实数据内涵在各类报表和说明性文件中被大量应用。设计制作科学、操作便捷的可视化数据可以把繁杂无序的数据从冰冷的数字转换成直白简洁的图形，带给使用者的不仅仅是视觉上的冲击，还能够揭示蕴含在数据中的发展变化规律和现状，包括发现、探索、分析、解释、学习和决策等诸多含义。数据可视化的最终目标是促进行动，用直观的图表展现数据，让制定政策和行动的决策者看懂数据、使用数据[1] 。

2建设目的

为使烟草地市局信息化的发展目标与企业发展战略紧密配合，本项目以“数为理”“术促管”为理念，通过搭建“数据可视化、分析智能化、过程管控化”的经济运行综合管控平台，以解决烟草企业目前存在的相关问题。

当前，已完成建设的各个信息化独立子系统并非相互依存，开发环境与数据标准没有统一。因此，每一个子系统都保存了大量的行业数据，多个子系统无法互通互联，海量的数据更无法整合，无法实现统一的数据分析和处理，从而大大限制了这些数据的使用范围，造成了严重的数据资源和硬件资源浪费。

缺少一个有效的可视化平台，各个子系统仅仅提供了原始数据界面，使管理层不易快速理解数据的规律和含义。当前，迫切需要将数据以可视化和最自然的方式对数据的深层次含义和变化规律进行展现。

由于面向市公司领导层、管理层、计划部门的过程决策分析系统缺失，因此决策统计分析没有系统支撑。目前，主要依靠人工从各个系统进行汇集分析，一方面使得数据采集工作量较大、数据质量不高、分析结果滞后。另一方面使得数据价值不高，数据利用手段单一，以定制化报表为主，影响了决策层和领导层对业务运营的把控，不利于针对市场变化快速决策。

3技术手段

3.1主要框架

根據需求建设的大屏展示（首页大屏、卷烟营销、专卖管理、物流配送、烟叶经营、创新管理、资产数据管理六类业务主题屏）参考了各个科室提出的展示指标，初步拟定大屏展示模板呈现可视化内容的页面布局结构。

使用Vue 单页面框架根据页面的布局和美工绘制的详细页面精确编写网页代码，以生成可供用户访问的HTML 网页。同时，协同CSS3 层叠样式表以及jQuery 等JavaScript 框架和插件对HTML 页面内的元素进行格式化，形成基本网页布局和近似V6 系统的主体风格。在Vue 框架中调用Echart 数据可视化图表库、Element UI 前端图形框架、百度地图和地市地图的JavaScript 脚本文件，将可视化图表及地图呈现在HTML 页面中，从而构建烟草地市局经济运行管控平台。

3.2前后端分离模式

采用前后端分离的开发模式可以使代码结构更加清晰、代码管理更加方便;采用前端页面和后台服务端相分离的低耦合设计原则，根据页面数据展现需求，在规定好数据接口之后，不同的终端只需按照规定的数据接口编写程序解析接口数据，后端也按照同样的接口进行设计，从而提高接口的复用率和开发人员的工作效率。

3.3组件化和模块化

本平台采用了主流的组件化和模块化设计理念。模块是指包含多个组件的集合，独立使用组件可以完善业务功能。业务平台根据业务需求和业务领域的不同，将代码分为不同的业务模块与业务组件，主要包括储存公共样式的模块和各个业务功能模块以及对特定业务逻辑进行查询的组件。

根据业务需求的不同而灵活使用不同模块的组合，可以简化的代码、提高代码的编写和运行效率，从而提高使用性能。由于不同模块间的代码相互独立，有利于及时发现和修改代码问题，解除各个模块间的耦合性，从而提高平台的整体质量。此外，采用模块化编程可以提高系统的复用性和可植入性，方便系统的升级和维护，减小了系统升级的代价;方便业务拆分与组合，使系统更加灵活、高效、可靠。

3.4Lamboo Rest后端组件

按照业务和组件的不同以及模块间的耦合性将系统划分为如下模块：大屏首页、公共服务、营销、专卖、烟叶、物流、数据资产。将复杂计算功能放在前端可以增加SQL 的查询效率。从系统方面来看，去代码化设计可以提高前后端的工程化水平、代码质量、平台的规范性，为平台开发带来了良好的可扩展性、重用性以及稳定性。

3.5集成帆软报表和单点登录系统

集成帆软报表系统、智能生成业务报表，可以为开发和客户阅读提供便利，也给后续修改降低了难度;通过部署全新的BSP 登录组件，实现了烟草地市局经济运行管控中心的单点登录目标;在不脱离V6系统的前提下，实现了使用V6 账号的全新的单点登录。

3.6烟草地市局的数据中心

在烟草地市局部署本地关系型分布式数据库GreenPlum，它在开源的POStgreSQL 的基础上采用MPP 架构，具有强大的大规模数据分析任务处理能力。通过开源的Kettle 工具对各个系统中潍烟草地市局地区的数据进行捕获抽取以及在本地的GreenPlum数据库进行本体化存储，不仅方便集中统一管理，也为大数据的本地分析提供了基础。

4大数据可视化研究及应用

4.1可视化转换

图形图像承载的信息量相比于语言文字有着天然的优势，人类从外界获得的信息约有80%以上来自视觉系统。可视化借助人眼快速的视觉感知和人脑的智能认知能力，可以起到清晰有效地传达、沟通并辅助数据分析的作用。现代的数据可视化技术综合运用计算机图形学、图像处理、人机交互等技术，将采集或模拟的数据转换为可识别的图形符号、图像、视频或动画，并以此向用户呈现有价值的信息。用户通过对可视化的感知，使用可视化交互工具进行数据分析、获取知识，并进一步提升为智慧口[2] 。gzslib202204021826

烟草地市局经济运行综合管控中心对数据仓库中海量的数据进行针对性筛选和处理后，通过大屏形式将结果展示给用户，帮助用户挖掘数据价值，且图形化的界面使用户可以方便地进行操作。用户根据自己的业务需求查看相关内容，可以通过二级菜单逐步缩小业务范围。通过后端Rest 服务从数据仓库中获取数据，完成数据的预计算。

营销首页对烟草地市局所辖各个区县的销量排名以及单箱值是否高于平均值，以烟草地市局地图可视化形式直观地展示出来，用户可以自由选择不同的区县进行查询、对比、分析。各个区县的销量水平一目了然，不同分值的城市以深浅不同的蓝色表示，分值越高则颜色越浅，分值越低则颜色越深。将鼠标移动到地图的不同区县上，地图会以黄色高亮突出显示该城市，并展示区县销量排名的具体值。同时，对营销部门提出的主要指标进行展示，主要以年为时间维度展示以下模块。

4.1.1销售指标模块

销量、销额、单箱值以及同比增幅、同比增量、全年计划值和年计划完成百分比;鲁产烟销量、单箱值及其同比增量、同比增幅，同期与本期的可视化图形对比;一二类烟的销量、同期销量、同比增幅和一二类烟在总销量中所占的比重;人均条数、同比增量、同比增幅，同期与本期的可视化图形对比;各价类卷烟的销量占比。

4.1.2终端建设模块

以3D 饼图的形式对终端建设进行展示，明确了精品店、普通店、标准店、品牌店的占比关系以及每种终端类型所包含的户数。其中，包括农村户数和城镇户数的数量以及云POS 客户数及其占比。

4.1.3诚信互助小组模块

以图表形式展示小组个数;小组户数;小组覆盖率;有效户数;城镇、乡村户数及其占比。

4.1.4文明吸烟环境建设、客户经理拜访情况模块

文明吸烟环境展示了本市的吸烟室和吸烟区建设情况;客户拜访数展示了客户经理的拜访情况;以客户档位为维度展示了本市所有零售户所在档位的数量及占比，鼠标悬浮时可以展示具体的档位数和占比信息。

4.2基于时间和空间维度的数据分析

卷烟消费行为分析将通过模型计算得到的卷烟消费结构以热力地图及图表的形式为用户进行展示，使用者可以根据日期、营销部、零售户来查看该零售户的消费者的消费行为习惯、消费结构。若填写空间维度信息，增大辐射半径数据，则可以查看以该店铺为中心，以用户填写的数值为半径的辐射范围内所有零售户的销量、销额、单箱值以及客户行为习惯、消费结构。

热力地图可以层次分明、清晰地将零售户的销量结构根据不同维度进行可视化展示，以空间区域进行绘制，将零售户的销量、销额、单箱值转换为热力点绘制在地图上。结合柱状、折线组合图以时间为维度，展示了不同日期零售户的销售情况及变化幅度，点击相应的时期可以查看当天各个时段的销售情况，清楚揭示该零售户不同日期、不同时间段的销售高峰;同时，使用表格根据公司对销量和销额进行区分，展示了该区域内零售户对各个中烟公司旗下卷烟的销售及占比情况。使用柱、折线组合图展示了当前区域的消费结构，根据卷烟价位段的不同进行区分，展现此区域消费者的消费结构，从而对后续货源投放的决策提供帮助。

4.3地理空间与对象的可视化结合

基于图标的多维可视化技术，其基本思想是用具有多个可视特征的图标来表达多个维度信息，图标的每一个可视特征都可表示多维信息当中的一个维度，适用于为数不多但是某些具有特别含义维度的数据集，用户可以根据多维信息的显示更准确、更形象地理解這些维度的意义[3] 。

为了便于识别，客户分析模块利用查询对象的经纬度信息在地图上通过百度地图API 使用二维图形实现标识。当只有一类查询对象时，可以使用颜色区分其内在属性。颜色和属性值的关系通过映射函数来定义，并在一旁提供形象的图例进行说明。为了提高页面的加载及响应速度并优化用户使用体验，当查询对象的数量较多时，平台使用海量数据点的模式进行展示。当用户使用鼠标点击某个点时，以下钻窗口或是联动其他模块的方式列出所有属性值。颜色映射直观地反映了不同属性的查询对象在地理空间中的分布，信息窗口的交互方式适合详细了解具体对象位置的详细信息。

客户分析功能可以将零售户的位置信息和地图相结合，对全市零售户的分布情况进行集中统一展示。将零售户根据终端类型的不同，划分为橙、绿、蓝、红四种不同颜色，便于用户区分。根据零售户的基础信息、属地信息、订货信息作为查询条件进行筛选。点击地图零售户的点位可以弹出下钻页面，以查询零售户的具体信息，包括零售户的基本信息、卷烟订购信息、档位变动信息、零售户图片、客户经理拜访情况及规范经营情况。与地理空间的可视化相结合，方便决策层对某一区域的零售户情况进行整体把握，从而进行决策部署。

4.4基于现代终端大数据的终端分析可视化

卷烟零售终端作为连接烟草商业和消费者的纽带，是烟草产业链的重要组成部分，是“烟草行业未来良性发展的重要战略性资源”，是烟草行业销售的终端环节，是构建现代卷烟营销网络的关键环节。基于烟草地市局云POS 终端运行数据，将零消数据进行汇总处理，借助云计算强大的算力和先进的算法模型，对这些数据进行挖掘分析，可以全面提高市场感知能力和运营决策能力。

现代终端大数据分析将云POS 户地理位置与地图相结合，以热力地图的方式展示了云POS 户的分布情况，以柱状图、折线图、气泡图等形式对云POS 的扫码情况、扫码趋势、会员发展趋势、扫码频次分布等进行全面分析，可以了解现代终端的发展、运行情况。

现代终端画像基于现代终端的运行数据，对终端的会员情况、销售情况、周边销售情况、周边人群的特征及周边人群的卷烟喜好进行分析，为终端户提供针对性指导，增强客户服务水平。

消费者画像采用聚类分析算法，将消费群体分为大客户、高端客户、中端客户及普通客户，从而分析各类消费群体的年龄结构、性别结构、消费结构、消费结构趋势及消费偏好。

5结束语

烟草地市局经济运行管控中心从海量的烟草行业数据中，经过数据分析、主题建模，有效提取出了需要的特征，并通过可视化方法将结果进行清晰展示。为公司决策层、管理层、计划部门的过程决策提供了系统支撑，对决策结果的分析和研究提供了帮助。