贵州酒博会大数据服务平台建设研究
2021-12-05唐明贵龚雅莉
唐明贵 龚雅莉
大数据是国家重要的战略资源,党的十八届五中全会提出“实施国家大数据战略”,2015年至今,国务院和工信部出台了多项大数据发展方案和促进计划,明确指出加强大数据在行业领域的深入应用,推进互联网、大数据与实体经济深度融合,国家“十四五”和2035年远景目标规划也提出“实施‘上云用数赋智’行动,推动数据赋能全产业链协同转型”。当前,会展业正由高速发展转向高质量发展,移动互联网、物联网、社交网络、区块链、云计算、VR/AR/MR、5G技术、传感技术和大数据相结合掀起了信息技术在会展业务运用方面的新浪潮,会展数据呈现出爆炸性增长的态势。这些海量数据已经开始从简单的被处理对象转变为一种基础性资源,释放其潜在商业价值已经成为企业和政府部门关注的焦点。大数据对会展领域产生革命性影响,将颠覆性地改变会展业的发展模式,大幅提高会展管理质量和效率。但是,会展大数据技术领域的研究还处于起步阶段,成果数量少,内容不深入,缺乏理论和实践指导意义。鉴于此,本文以贵州酒博会为例,对会展大数据服务平台建设进行初步探索,以期为大数据赋能贵州酒博会高质量发展提供理论与实践指导。
一、会展大数据发展的动力分析
(一)智慧新时代起航,唤醒沉睡数据
智享新生活正在成为时代热潮,消费互联网正在向产业互联网转变,大数据技术全面赋能传统行业是必然发展趋势。呈几何级数增长的产业大数据资源开始资产化,沉睡多年的海量非结构性数据将被唤醒。会展具有强大的经济功能和信息集散功能,短时间伴随着大量信息生产和流动,通过移动互联网、物联网、车联网、社交网、GPS、会展影像、安全监控、金融交易、移动通讯及联网设备,把文字、语音、图形、图像、视频、数字、表格、方位等事物转变成可分析数据。2010年至今,贵州酒博会已连续举办十届,历届展会沉积的非结构性数据,曾经因为技术原因只能当作“垃圾”数据,而今通过技术处理,这些数据便释放出巨大的商业价值。运营商、参展商、搭建商、赞助商、媒体、酒店、餐饮等会展活动主体,可通过酒博会大数据分析,识别自己提供的产品和服务是否满足消费者的需求,还可通过酒博会大数据解析区域政治、经济、社会文化和环境发展导向,进行市场预警和引导。随着贵州酒博会线上线下平台的互动发展,大数据将扮演愈加重要的角色,会展利益相关者之间能够实现供需的精准对接,降低中间环节消耗的成本。
(二)数据技术支撑,释放数据商业价值
大数据技术的发展为贵州酒博会大数据潜在商业价值的实现提供了可能。大数据技术在信息处理过程中形成多个技术环节,表现为数据采集、组织、分析、应用、再利用、数据投资等。数据的采集、组织对应组织管理层,数据分析对应分析与发现层,数据的利用和再利用对应的是应用与服务层。大数据相关技术的产生、组织和处理可以通过分布式文件处理系统来实现,主流技术是Hadoop+Mapreduce。贵州酒博会大数据处理和分析可以利用开源数据平台Hadoop,存储的非关系型数据查询和分析可以利用Hadoop工具来实现。大数据挖掘的目的是集成海量数据并提取有用信息;数据分析的结果呈现由可视化技术来完成,最终形成可视化分析报表和数据集统一视图,相关分析结果可以进一步展现,并转换成商业知识;大数据应用是将商业知识转换成商业智慧并为企业运营管理提质增效、提供新动能和创造新业态。贵州酒博会大数据服务平台可以利用Hadoop框架来构建,并从管理、技术、应用层面上做好应对方案,实现海量数据的价值输出。
(三)政策大力支持,推动数据产业发展
贵州省一系列推进大数据产业发展的若干文件出台,为贵州酒博会大数据服务平台建设提供了强有力的政策和资金支持。2012年,“黔党发〔2012〕27号”,提出构建“1区、2极、7基地”产业格局”,全力抢占新一代信息技术发展先机。2013年,《贵州省云计算产业发展战略规划》提出,通过设立云计算产业园、制定扶持政策,实施六个重点项目,在贵州打造完整的云计算产业链。2014年,《贵州省关于加快大数据产业发展应用若干政策的意见》和《贵州省大数据产业发展应用规划纲要》出台,指出要从多方面发力,推动大数据产业成为贵州经济社会发展的新引擎。围绕大数据生命周期,贵州重点打造“基础设施层、系统平台层、云应用平台层、增值服务层、配套产品层”五个产业链层级,形成“七朵云”。十四五期间,贵阳将建成全国领先的大数据技术创新与应用服务示范基地和产业集聚发展的“中国数谷”。在各项政策推动下,大数据技术研发、政府数据开放和市场数据共享,为贵州酒博会大数据服务平台建设注入新的动力。
(四)市场需求拉动,促进数据开放共享
大数据的开发与应用最终是市场需求拉动的结果,贵州酒博会大数据的使用可以大幅提高活动利益相关者项目管理质量和效率。在大数据时代,我们很容易发现,传统的抽样数据可能会得出假性结论,依赖大数据技术能更准确的分析事物发展的内在规律,减小理论研究结果与实际情况的偏差。移动支付、人工智能(AI)、虚拟现实技术(VI)和增强现实技术(AR)在酒博会中的广泛应用,再加上自媒体的助推,新业态、新思维开始大量涌现,线上线下开始融合发展,会展利益相关者通过线上线下平台的交互,不断产生不可思议的数据量,在传统会展业中,由于数据采集成本高,常常放弃对大量碎片化数据的关注,容易忽视会展新业态的发展、会展价值链的延伸以及会展相关产业之间的互动。大数据分析的实践意义在于数据之间的关联,通过数据关联精准化追溯会展利益相关者之间的交互轨迹,保障利益各方的权益。在贵州酒博会大数据服务平台上,可以对会展数据进行汇聚和分析,捕捉会展新业态,开发会展项目新品类,提高会展管理效率,降低运营成本。
二、大数据服务平台建设的基本思路
(一)总体思路:以需求为导向,建构开放共享的数据平台
以资源为基础、市场为导向、技术为手段、应用为目的的建设原则;以资源整合、知识发现、精准营销、动态监测、科学评估、全方位服务、数字化管理为目标;以大数据、云计算、互联网、物联网、移动互联网、区块链、传感(设备)技术等技术组合为框架;以贵州酒博会大数据服务平台建设、管理和应用为研究内容,采用面向对象的数据管理和面向应用的信息服务的设计方案,基于互联网技术搭建数据平台,利益相关者全面参与、客户深度体验、数据资源快速流动与高效配置,形成贵州酒博会大数据动态生态系统。集聚行业数据、官方数据、企业数据、调研数据、网络数据和传感器监测数据,构建贵州酒博会专业数据库和列数据库,通过数据应用服务总线集成平台,实现贵州酒博会数据发布、管理决策、访问控制和动态监测。面对贵州酒博会新业态发展和创新管理业务的需要,设计适用性应用框架,利用信息技术和机器学习技术实现计算机系统对会展大数据进行自主分析和学习,应用大数据工具,开展酒博会大数据集的按需约简、碎片集聚、精准追溯、实时对接、品类创新等科学分析活动,构建开放包容、协调统一的会展活动深度创新机制,最终形成适用、高效、开放和共享的贵州酒博会大数据服务平台。
(二)建设内容:以服务会展活动为宗旨,形成“4445”规划模型
首先应用“扎根理论”对贵州酒博会利益相关者的需求进行梳理,然后利用大数据的关联性关系聚类,确认主题信息,最后应用系统论和信息论原理和方法确定贵州酒博会大数据服务平台的关键要点。通过会展活动的四类需求,即会展国际化、产业数字化、企业信息化和观众消费个性化需求,构建多元发展目标,引领酒博会大数据服务平台建设;通过五个平台建设,即会展营销、产品展示、合作洽谈、产品贸易和动态监测平台,为多元目标的实现提供数据支持和全方位全天候的智能服务,并满足贵州酒博会不同线下活动的信息需求;通过四个窗口,即会展服务、产品体验、信息发布和信息查询窗口,彰显贵州酒博会信息的权威性、及时性和交互性,依托支撑平台,直接向终端客户提供各种人性化服务,满足标准化和个性化需求。最终形成以四个目标为引领、四类需求为导向、五个平台为支撑、四个窗口为界面的互联互通互动贵州酒博会大数据服务平台的“4445”规划模型,见图1。
图1 贵州酒博会大数据服务平台规划模型
三、大数据服务平台的技术结构体系
根据大数据服务平台建设的基本思路和主要内容,结合会展大数据建设的现实诉求,将贵州酒博会大数据服务平台设计为“三个层次、五个系统”的框架结构体系。三个层次分别是:数据层、功能层和应用层,并且同层对应数据采集、数据处理和数据应用;五个系统分别是组织管理系统、数据技术系统、运营维护系统、数据标准系统和数据安全系统。“五个系统”通过数据全流程智能化管控,围绕四个建设目标,满足四类会展需求,将“五个平台”和“四个界面”落实到“三个层次”的数据资源结构中,保障平台和界面持续高效运行,形成完整的贵州酒博会大数据服务平台的技术结构体系,见图2。
图2 贵州酒博会大数据服务平台的技术结构体系
(一)三个层次:从数据整合到数据应用,全面提升会展管理质量与效率
第一,数据层。从单一数据到多元复杂数据,从行业统计数据到多源大数据,数据体量、数据类型、数据价值密度、数据更新速度均发生革命性变化。会展业是综合性产业,关联产业多,产业链条长,每天呈几何级数增长的会展数据,广泛分布在不同的行业及企业内部业务系统,例如,贵州酒博会物流数据在物流企业、展商数据在招展企业、现场管理数据在场馆企业、专业观众数据在招商企业、网上会展数据在平台企业等。随着观众对贵州酒博会服务提质增效的强烈诉求、行业发展的内在需求、企业降低能耗的客观要求及会展生态链延伸外渗需求,大数据成为解决这些问题的关键。通过数据采集、清洗和标准化处理,形成统一数据,再通过酒博会大数据服务平台转换成可访问、可体验、可决策的大数据层。数据层的建设需要贵州酒博会利益相关者全员参与,按照“统一规划、共建共享、共治善治”的原则,协同作业,各取所需,畅享大数据的商业价值。
第二,功能层。该层数据库分为酒博会专业数据库和列数据仓库。前者包括行业标准、策划案、展商、赞助商、物流、营销等各类行业数据和业务数据。系统采集的数据,经过数据清洗和标准化处理,再通过数据服务总线形成一个专业数据库系统,该系统可采用分布式和虚拟数据库相结合方式,并通过上层应用服务总线提供数据服务。后者主要由部分业务、访问和监控数据通过数据挖掘和流数据分析而形成的信息资源库。数据库采用Hadoop数据仓储体系,这样有利于对非结构化或半结构化的文本、图表和视频数据进行分析,以提供不同的应用服务。列数据仓库使贵州酒博会主办方各专业数据库在数据服务总线的基础上得以整合,有序处理贵州酒博会展前、展中、展后实时和非实时数据,通过对酒博会数据存储、建模、分析和挖掘,为酒博会相关企业的数据展示、推演、评估、预测、优化和辅助决策提供数据服务。
第三,应用层。该层是利用功能层搭建的数据服务总线云平台,构建面向需求的数据应用服务总线集成平台,以满足贵州酒博会利益相关者的信息需要。数据应用层包括应用服务总线、数据发布、管理决策、访问控制动态监测等内容,依托服务平台完备的信息系统软硬件条件,实现精准智能营销、全天候线上服务与信息查询、展商产品展示与销售、专业观众产品体验与消费、企业项目洽谈与合作、活动实时监控与预测等。全面支持移动终端,实时响应观众需求,为贵州酒博会客户提供优质的线上体验服务。在此基础上,建设和完善主办方资源整合系统服务框架,可为贵州酒博会主办方的会展活动筹备、运营、管理和后期评估提供全面的数据支持。
(二)五个系统:构建智能化生态系统,保障大数据服务平台健康运行
第一,组织管理系统。建议在贵州省大数据发展管理局、工业和信息化厅和商务厅指导下由贵州省贸促会整合政府、企业、协会、科研院所资源,组建贵州酒博会大数据服务平台协调管理机构,明确组织职能、制定相关制度、建立协作规范,加强组织间的沟通和交流,签订《贵州酒博会大数据开发与应用协议》,为贵州酒博会大数据建设、管理和应用提供具体程序和方法。打破数据流动壁垒,促进会展行业企业、政府管理部门、网络平台等数据的整合与互联互通,促进行业数据共享与展会活动的业务协同,以数据流为引导,带动物流、人流和资金流的增长,保障贵州酒博会大数据服务平台要素协调发展。
第二,运营维护系统。贵州酒博会利益相关者为数据生产和应用主体,基于Hadoop+spark技术搭建营运维护系统,对贵州酒博会活动中产生的数据进行采集、存储和管理。企业数据通过数据服务总线以接口方式采集进入数据平台,酒博会外部环境数据和线上展会数据通过互联网介入数据平台。利用5G网络通信传输实时数据,运用人工智能技术对酒博会大数据进行分层分类管理,通过深度学习,自动分析大数据的变化规律,挖掘大数据价值,从贵州酒博会筹备到活动现场管理,从企业与观众的互动到主办方对展会活动的统筹管理,该系统可以实现平台互动、高效协同,动态管理、硬件软件监测和危机预警等功能,满足酒博会活动利益相关者的应用需求。
第三,数据技术系统。大数据技术的快速发展,为贵州酒博会数字化发展提供了技术支撑,酒博会数字化涵盖展会项目运营与管理的整个流程,高效服务酒博会筹备、策划、招商招展、营销、物流、合作洽谈、产品贸易、展会评估等主要业务环节。数字酒博会是互联网、物联网、人工智能、云计算、区块链等技术的融合应用,大数据技术融会贯穿数据采集、数据存储、数据管理和处理、数据分析和挖掘、数据呈现和应用全过程,为数字资源共享,数字资源应用和平台高效运转提供技术保障。
第四,数据标准系统。标准化系统是贵州酒博会大数据服务平台价值转换的基础,依据国家大数据建设政策和技术指导文件,继承已有的大数据标准体系,结合会展行业实际,制定贵州酒博会产业链业务体系清单,建立项目运营与管理的场景模型,分析酒博会标准需求,形成贵州酒博会大数据标准体系结构。其内容主要包括五个方面:一是技术标准,即对大数据应用技术及其使用过程和方法进行制定基本规范;二是数据标准,即对酒博会所有活动产生的海量数据制定数据目录、属性分类和质量分级的基本规范;三是应用标准,即对酒博会大数据服务平台接口、数据分析工具和数据应用制定基本规范;四是安全标准,即对数据的软硬件安全、数据生产者隐私及利益相关信息安全制定基本规范;五是管理标准,即对大数据服务平台管理组织、运营维护、技术体系、安全保障、数据服务、数据管理等制定基本规范。
第五,数据安全系统。解决数据安全问题是贵州酒博会大数据服务平台开放和共享的前提,借鉴已有研究成果,酒博会大数据服务平台安全系统主要包括:一是大数据平台安全,即大数据软硬件设备安全、大数据生成安全、大数据存储安全、大数据处理和大数据访问控制,是数据安全的基础;二是共享与服务安全,即基于区块链技术的数据共享与流通、基于PPDM技术的隐私数据的发布与挖掘,是数据安全的根本;三是大数据安全监管,即世系数据监管、数据服务监管、数据平台监管和综合安全动态监管,是数据安全的保障。三个方面的安全监管融合形成安全体系,并与贵州酒博会大数据服务平台技术体系形成偶合系统,使得数据供给、数据需求和数据交易安全更加明确。
四、大数据服务平台的关键技术
(一)数据采集
贵州酒博会大数据主要通过网络平台、物联网、GPS、RFID、传感器等技术手段,分为三个步骤进行数据采集:第一步是数据获取,包括酒博会相关网络数据、行业数据、科研数据、传感数据等数据源的提取、转换、加载和同步技术,实现自动和实时地对海量数据进行处理,自动生成元数据、出处、环境、途径和背景,并通过列数据库进行关联、过滤和存储。这些技术不仅能高效地完成人工数据采集,也能够通过物联网和传感器技术与场馆设施设备直接连接,完成展品的转运加注和平台维护状况等信息的自动采集。第二步是数据清洗,通过数据清洗规则将脏数据转换为满足质量要求的数据,提高数据挖掘过程的准确率和效率。清洗方法可分成数据准备、数据检测、数据定位、数据修正、数据验证五步来进行。第三步是数据标准化,由基础标准、技术标准、产品和平台标准、大数据安全标准及应用和服务标准五个类别组成,建立和完善覆盖贵州酒博会相关领域的数据采集和综合管理系统,采集的标准数据和业务数据,通过数据总线汇入各专业数据库,用于数据基础展示、辅助数据分析和酒博会现场管理保障等。访问数据和动态监控数据汇入列数据仓库,用于辅助贵州酒博会管理决策和优化资源配置。
(二)数据处理
数据处理是贵州酒博会大数据实践应用的基础,数据处理系统是贵州酒博会大数据服务平台应用技术体系的核心,需具备兼容、稳定、高效和安全等特性,能够满足各种环境下的多样性需求。数据处理系统的建立必须与贵州酒博会大数据特点和业务发展需要相匹配,根据功能需要,从数据云平台构建、数据分析、数据治理、知识转换、数据应用、数据开放等方面进行设计。种类繁多的海量数据需要经过清洗和标准化处理,进入到贵州酒博会大数据服务总线云平台,再经过数据抽取、整合、挖掘和流数据分析,形成专业数据库和列数据库。采用分布式的服务器集群存储系统,搭建Hadoop数据处理平台,构成包括HDFS、HbaseCassandra、MapReduce等功能模块在内的完整生态系统。数据服务总线的基本功能就是整合经过处理的多类型海量数据,将贵州酒博会相关数据汇聚成数据全集,采用统一的标准汇总数据资源,开辟数据系统数据通道,提取数据信息,向需求方提供信息服务。采用XML格式进行数据提取和交换以便于数据存取和发布等。应用SOA设计技术和面向服务的分解原则,以贵州酒博会项目运营和管理流程为基础、资源整合功能为基本模型,结合虚拟技术,实现各数据源之间的数据交换、汇总和发布等功能,解决贵州酒博会数据的离散问题,提升贵州酒博会各种活动风险预报和科学决策水平。
(三)数据应用
贵州酒博会大数据平台应用服务总线是传统中间技术与现代互联网、大数据和云计算技术有效结合产物,它更新了原有软件架构,提供了更加优质廉价的科学解决方案,并消除了不同应用服务间存在的技术差异,实现了应用服务器不同种类间的协调运行以及通信整合。应用服务总线是一种能够提供可靠信息传递的技术方法,随着技术的不断升级和功能完善,它将能为需求方提供更安全、更高效、更可靠的信息服务。通过抽取酒博会策划、营销、产品展示、产品贸易、项目合作与洽谈、现场管理等专业数据库和列数据仓库数据,向不同信息需求方自动推送或分发数据,形成高效和优化的数据流,为贵州酒博会的低成本运营和资源的高效整合奠定基础。目前贵州酒博会大数据技术只是初步用于精准营销、现场管理、线上展示和交易、线上会议、大型活动风险预测与评估等方面,并取得初步成果,但应用的深度和广度还需要进一步拓展。
五、结语
大数据时代的到来,为贵州会展业由高速发展向高质量发展转型提供了技术支持和新的路径选择。贵州会展行业正在加快会展大数据建设的步伐,在一切会展活动事项皆可数据化的情境下,呈几何级数增长的海量数据,亟需搭建数据平台释放数据商业价值。本研究以国际性大型专业展会贵州酒博会为例,尝试构建了贵州酒博会大数据服务平台框架体系,可以为大型专业展会大数据服务平台建设实践提供参考。而未来区块链技术的全面融入,数据的可溯源和不可篡改性,可以有效化解数据供应的系统性难题,参展商、赞助商、专业观众、展会主办方、地方政府、物流企业以及展台设计和搭建商之间形成有效链接,促成物流、信息流、人流和资金流高效有序流动,而从构建出互利互信共生的会展信息生态系统。贵州酒博会大数据技术和区块链技术的融合应用,不但能提高展会生产效率、降低运营成本和改善服务质量,释放展会大数据的商业价值和赋能决策,驱动展会业态和品类创新,推动会展业持续高质量发展,而且还能为酒博会知识生产、需求智慧化表达、平台高效运转和线上可信任的自由化交易提供了可能。当然,贵州酒博会大数据应用技术还面临着诸多挑战,一是多源数据和数据壁垒阻碍数据互联互通;二是大数据人才短缺,制约着贵州酒博会大数据的应用;三是数据安全保障问题阻碍着数据共享与流通;四是贵州酒博会不同利益相关者处于大数据应用的不同阶段,大数据技术应用难以同步发展,这是贵州酒博会大数据应用亟待解决的问题。◆