大数据应用与大数据体系规划探讨

2020-12-18高福春

中国核电 2020年5期

高福春

(中国核电工程有限公司，北京 100840)

当前，信息技术发展迅猛、技术创新层出不穷，以“大数据”和“AI技术”为引领的智能化浪潮正在席卷全球，“大数据”已成为加速企业产品服务创新、推动组织业务变革、引领社会转型的重要因素。大数据是一种数据处理技术，是一种新的思维方式，更是一系列新理念、新方法、新要素的集中体现。在大数据时代，数据是财富、是资源、也是竞争力。

大数据领域广受信息技术厂商的关注，全球众多信息技术厂商纷纷布局大数据领域相关技术研究与开发，IBM、微软、Oracle、Teradata等先行者已通过技术手段确立了大数据技术与产品的市场地位，已经形成了一套较为完整的大数据生态体系。

2016年3月，国家国民经济和社会发展第十三个五年规划纲要发布，纲要指出：“实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新”。2017年1月，工信部印发了《国家大数据产业发展规划(2016—2020年)》，规划中对国家“十三五”时期面临的形势描述为“大数据成为塑造国家竞争力的战略制高点之一”“数据是国家基础性战略资源”，而“促进行业大数据应用发展，推动重点行业包括电信、能源、金融、商贸、食品、文化创意、公共安全等领域的大数据应用，推进行业数据资源采集、整合、共享和利用，充分释放大数据在产业发展中的变革作用，加速传统行业经营管理方式变革、服务模式和商业模式创新及产业价值链体系重构”是未来五年大数据产业重点任务之一。

目前，医疗卫生、电子通信、能源电力等领域的众多企业已经开展了大数据试点应用。大数据应用已成为各类企事业单位等组织的业务技术创新、管理精益化、决策科学的重要手段，全面推进大数据应用已成为核电企业推进产品服务智能化与业务数字化转型的重要议题和行动方向。

1 大数据应用类型与面临的挑战

大数据应用是创新与智慧的重要源泉，应用前景广阔，大数据发展风起云涌、热闹空前，但就大数据支撑技术和应用实践而言，大数据应用尚处于发展的初期，企业大数据应用仍面临诸多的挑战。

1.1 大数据应用内涵与外延

由于大数据技术发展迅猛，技术与应用快速迭代，大数据内涵已远非大数据概念提出时的狭义应用场景，广泛传播的大数据应用普遍存在炒作与夸大其词的成分，种种原因导致人们对大数据应用尚缺乏一致的认识，社会公众和组织更愿意从概念层面理解大数据应用：“大数据应用”=“大量的数据的应用”，而人们对大数据应用的认识与理解直接影响企业数据分析的推广与应用。

基于数据来源，广义的数据分析应用可初略划分为五种类型(见表1)。

表1 广义数据分析应用分类Table 1 The classification of generalized data analysis and application

其中，类型1和类型2为满足特定业务目的的数据查询和统计分析，为常规的数据分析应用；类型3为专项数据分析系统，从特定目标对象获得指标数据，通过数据模型的分析处理，达到预期的数据分析目标；类型4为基于关键绩效指标(KPI)的多维度数据分析应用，一般用于事项管理和管控决策的辅助支持；类型5为典型的大数据应用，特征是基于主题数据、分析模型的数据分析应用。每一类数据分析应用均需要与之匹配的技术架构的支撑，以满足特定的数据分析应用与扩展的需要。

基于上述数据应用的分析，从技术实现的视角看，广义的大数据应用基本可以分为三种情况：

1)基于应用系统及扩展的数据分析应用，对应上述的类型1、2、3；

2)基于数据仓库技术的数据分析应用，对应上述的类型4；

3)基于主题数据的数据分析应用，对应上述的类型5。

从组织宣传的视角看，任何数据分析应用都可以归为“大数据应用”，无关数据量大小、数据形态、分析方法与技术实现。但从大数据应用推进与建设的视角看，需要清晰地区分出不同类型数据应用的数据组织、技术实现、应用模式等的实现与管理。

1.2 大数据应用面临的挑战

大数据应用本身蕴含着无限的数据创造价值的想象空间，加之政府的大数据发展规划和产业政策引导，无疑会激发企业推进大数据应用的决心和信心，但企业现有的数据状况及大数据分析技术的局限均会制约企业的大数据应用，企业大数据应用面临着诸多的挑战。

(1)数据质量不佳与数据标准规范欠缺带来的数据分析困难

现有信息系统建设时一般不对后期的数据分析应用有过多的设计考虑，导致已积累形成的数据资源的数据属性、数据格式、数据关联及数据完整性等问题均会制约进一步的数据分析应用，加之数据标准化不足，数据表达不规范、数据交叉重叠、数据有效性等问题普遍存在，导致数据分析利用的难度变大。

(2)数据分析利用模型与数据体系重视不够带来的难于利用

如果统计报表类的数据分析属于低层级数据应用的话，那么能够支持业务、技术与管理创新的数据分析就应该属于高层级数据应用，而高层级的数据分析应用的模型及算法需要创造性的智慧支持，数据分析人员的缺乏也会制约数据分析应用的开展。同时，数据体系化的不足同样也会制约数据分析应用的开展。

(3)数据应用壁垒与数据利用体制机制导致难以开展数据分析

对于涉及多个业务领域、多个组织的数据分析应用，数据应用的壁垒不仅存在于组织之间，也存在于组织内部的业务领域之间、业务领域和管理域之间，导致很难形成基于单一数据源的数据资源体系，很难支撑大数据分析应用工作的有效开展。需要打破数据壁垒、建立与大数据分析应用相配套的体制机制。

2 大数据应用需求与策略选择

鉴于大数据分析应用的多样性和企业大数据应用面临的挑战，企业应该结合自身数据分析应用需求，选择合适的大数据推进策略，有条不紊的推进企业自身的大数据应用。

2.1 大数据应用模式与特点

大数据应用的数据来源广、数据种类多、时间跨度长的这种特点，决定了很多的大数据应用会突破单一的组织边界，经济社会中的不同角色有不同的大数据应用诉求，以下从大数据覆盖范围的视角简要分析大数据的应用模式及特点。

(1)组织范围视角的大数据应用需求

企事业单位出于自身业务与管理需要开展大数据分析应用工作，其核心是围绕产品服务和经营管控需求开展大数据分析应用工作。产品服务大数据分析需求一般包括产品开发、产品生产、产品营销、交付支持等方面，经营管控大数据分析需求一般包括经营管理支持和管控决策等方面。其产品服务大数据分析应用与产品服务密切相关，不同行业、不同业务领域的大数据应用存在较大的差异；经营管控大数据应用具有一定的相似性，不同企业之间的经营管理大数据分析应用具有一定的参考和借鉴性。

(2)产业协作视角的大数据应用需求

随时互联网、物联网和两化融合的逐步深化，企事业单位之间的产业协作将逐步深化，延伸至客户端的基于互联网的产品全生命周期管理将逐步成为现实，基于产业协作视角的大数据应用将逐步兴起，并为企业的产品服务优化与创新提供更为广阔的需求支持。基于产业协作视角的大数据应用的纽带是“产品与服务”，围绕产品向两头延伸，向上延伸至产品关键技术研究、产品零部件、制造，向下延伸客户产品使用、服务支持，中间为企业内部的产品开发、生产、营销与交易。产业协作大数据应用的驱动力是提升产业协作效率、支持产品服务优化创新。

(3)产业发展视角的大数据应用需求

站在产业发展视角看，应发挥市场对社会公共数据资源的配置和创新支持作用，充分发挥基于互联网的产品交易数据、产品电子目录体系、产品运行的事故事件与维护处置数据、优化改进建议与用户投诉等产业数据资源的价值。企业应基于产业数据资源供给情况规划自身的大数据应用，以更好的支持自身的产品服务完善优化与创新。产业数据资源主体也应积极推进数据资源的市场化与服务化，支持企业的大数据应用。同时，政府应加大产业数据资源整合的引导推进与大数据应用的政策与资源支持。

2.2 大数据应用推进策略选择

企业应根据所在行业特点和价值定位，基于开展大数据应用的核心诉求，选择符合企业发展需要的大数据应用发展之路。

(1)产品技术创新型大数据应用

产品服务是企业价值创造的承载和经营目标实现的途径，产品服务的竞争力是企业赢利能力的支撑和生存发展的基础，提升产品竞争力和赢利能力是企业不懈努力奋斗的目标，开展产品技术创新大数据应用是企业大数据应用优先发展的领域。应围绕产品开发、产品生产、产品营销、交付与支持等领域的改进与创新求需求，开展大数据分析应用，发现问题，补齐短板。同时，结合数据资源供给情况，开展基于企业内外部的产品数据收集、整理、完善，逐步建立以主题数据为基础的产品全生命周期的大数据应用体系，支撑企业的产品服务优化与创新。

(2)业务运行与协作大数据应用

随着产业分工的专业化发展，企业的生产运行从企业内部的供、产、销一体化运作逐步发展为涉及产品上下游合作伙伴的业务运行与协作，业务运行从企业内部延伸扩展到产业链，产业链合作伙伴的协作效率的高低直接影响企业的业务运作效率。开展业务运作与协作的大数据分析应用逐步变得越发重要。推进建立以企业经营计划为驱动，以生产计划、物资供应、生产排产、产品库存、产品营销、产品支持等领域的数据为依托、以数据标准规范为支撑的业务运行与协作大数据应用体系将成为企业的重要选项，以支持业务运行的绩效提升与管理创新。

(3)经营管理绩效提升大数据应用

成功的企业离不开高效的经营管理和有效的管控决策支持，建立完善覆盖企业经营管理各领域的信息系统，通过一体化的经营管理信息系统支持高效的经营管理运作。重视经营管理各领域的数据分析利用，以绩效提升为导向，不断改进企业的经营管理。同时，重视业务成熟度与业务关键绩效评价指标体系的健全和完善，推进基于关键绩效指标(KPI)的业务评价与考核机制。基于企业关键绩效指标评价体系，逐步建立以关键绩效指标体系为基础的经营管理大数据应用体系，以更好的支撑企业的经营管理和战略管控。

3 大数据应用体系规划与建设

无论是业务视角的大数据应用模式还是技术视角的技术支撑体系均表明，不同类型的数据分析应用依托不同类型的技术解决方案，而数据分析需求往往也是业务应用系统建设的需求之一，本文仅对具有一定普适参考作用的基于主题数据的大数据应用规划提出规划与建设参考。

为实现一次数据整理满足多种数据分析应用的要求，需要对业务数据进行主题化分解，形成基于主题数据的信息分解结构，基于主题数据建立大数据的数据资源体系，实现一次的数据整理满足未来多种数据挖掘分析的目的。

3.1 技术体系规划

从架构的视角看，主题大数据系统(以下均简称大数据系统)一般包含数据源层、主题数据管理层、数据分析层和数据使用层四个层次，为保证大数据系统的可持续发展，需要对相关各层做好规划。

3.1.1 整体框架

大数据系统整体框架可用图1示意表示。

图1 大数据系统整体框架示意图Fig.1 The overall frame word of big data system

1)统一技术架构基础。建立大数据统一的技术架构基础，实现大数据系统技术路线统一、支撑产品统一、集成标准统一，有利于大数据系统与各业务领域系统的集成。同时，降低大数据应用综合拥有成本。

2)统一主题数据规划。为有效支撑长期、跨领域主题数据的挖掘分析，统一各领域主题数据规范是必要的、也是必须的。通过统一的主题数据规划，确保主题数据规范、数据充分，有效支持大数据试点应用和可持续发展。

3)统一分析模型管理。大数据应用是基于统一的主题数据资源的挖掘分析，为保证数据资产得到有效保护，分析模型得到充分复用，实行统一的分析模型管理是必要的。为此，需要组建数据资产管理部门，统一管理大数据系统的数据资产和分析模型。

4)统筹分析主题管理。各业务领域存在共同的挖掘分析主题需求，为避免大数据分析主题的重叠与交叉，需要建立与业务相衔接的大数据分析主题立项协调机制，提高大数据应用的投资有效性。

5)统一数据分析应用。建立统一的大数据分析应用门户，为各业务领域用户提供统一的大数据利用入口。为数据分析用户提供主题数据浏览、检索服务。按授权访问已发布的主题分析应用。

3.1.2 信息体系

信息体系重点阐述信息对象的相互支撑与关联关系，大数据信息体系如图2示意表示。

图2 大数据信息体系示意图Fig.2 The diagram of big data information system

在上述的四层信息架构中，各层数据架构关系如下：

1)数据来源层：主要的数据来源包括各领域的信息系统。进入大数据系统的数据以主题数据形式存在。主题数据专注于描述事务特征的数据对象，是事务对象的客观表现。与业务数据的差别在于主题数据不强调事务的业务联系。

2)数据管理层：需要基于统一的主题数据梳理规则，统一规划各业务领域系统主题数据，按确定的主题数据类型从各系统收集主题数据，进而形成大数据系统主题数据资源库，实行统一的主题数据资源管理。

3)数据分析层：根据数据分析目标设计不同的数据分析模型和工具。数据分析层与数据资源层相对独立，数据资源层通过数据分析层体现数据价值，而数据价值的大小则由分析模型确定。

4)数据使用层：数据使用层是数据价值的外在表现，包括大数据应用信息门户和可视化工具。信息门户为用户提供接入入口，提供常规的用户认证、信息集成、应用集成功能；可视化工具提供数据浏览、挖掘分析的可视化展现，其中主题数据维度可视化浏览是数据使用层的基本服务。

3.1.3 技术体系

参考业界主流大数据平台的技术体系，基于成熟、主流的大数据产品与技术，结合企业现有信息系统架构，构建大数据系统技术体系。大数据技术架构主要分为数据源、数据集成层、数据存储层、数据管理层、挖掘分析层和使用层。

1)数据源层：主要包括大数据系统相关的数据来源业务系统、镜像的工控系统实时数据、及必要的非结构化数据源等。

2)数据集成层：主要完成和业务系统、数据库的对接，将应用系统中的结构化、非结构化数据通过批量、增量采集方式汇集到更适合大数据处理利用要求的大数据存储处理系统中。

3)数据存储层：提供关系数据库、优化的HDFS文件系统、NoSQL数据库、内存数据库等多种数据存储形式，支持大容量的数据存储处理。具体根据企业大数据系统存储处理的数据情况确定。

4)数据管理层：选用类似的相近软件和自行开发软件对存储在大数据平台上的主题数据进行管理，主题数据管理系统对大数据系统的数据分析利用至关重要。

5)挖掘分析层：包括浏览分析服务和挖掘分析模型建立。浏览分析服务提供基本的主题数据浏览和常用分析引擎支持，数据分析模型基于数据分析需求，选用已有的分析模式或自行开发实现。

6)使用层：负责将数据分析层的分析结果转变为可利用的方式展现。利用方式包括通过可视化发现工具提供用户使用，可为用户提供信息推送、业务报警、应用分析等服务。在具体分析应用上可根据具体应用场景选择不同技术产品。

同时，为更好的支撑大数据平台的运作，需要建立配套的大数据系统管理平台，该平台需要提供的功能包括数据标准管理、数据质量管理、数据安全管理、数据架构管理、元数据管理等。

3.2 主题数据管理

大数据应用前景很丰满，但现实很骨感，每前进一步都存在巨大的困难与挑战，为更好的推进大数据应用，需要建立与之匹配的体制机制和标准规范支持。

3.2.1 建立数据管控体系

应建立统一的数据资源管控体系，统一管理大数据系统的数据资产，做好各数据资产全周期相关利益方的协调与组织工作，保证拥有完整高质量的数据资产，为数据挖掘分析奠定基础。

1)建立大数据管理机构。负责大数据资源体系建设；负责统一协调处理数据分析需求，推进数据分析能力快速成熟；负责引入专业数据分析工具和大数据技术，逐步完善大数据平台及分析工具；建立数据管控机制，建立主题数据标准、推进数据质量持续改进和提升。

2)落实大数据应用的推进责任。成立数据管控委员会负责协调解决数据分析需求、标准与管控等方面的争议争端，负责相关预算管理与绩效评估；数据管控委员会办公室负责大数据应用推进工作的组织与落实，负责大数据应用与管理绩效考核；相关单位是数据分析需求方与数据管控协同方，负责提出数据分析需求，使用数据分析服务，参与数据管控标准制定，遵循数据管控标准；数据分析团队提供数据分析服务，负责数据分析模型管理。

3.2.2 关注数据质量管理

数据质量直接影响大数据应用的效果，应大力推进数据质量的持续改进。

1)持续改进主数据质量。主数据是各项业务活动开展及应用系统功能实现的核心基础，主数据质量好坏直接影响主题数据的质量。应持续改进与提升主数据的完整性、准确性、规范性、一致性与时效性。

2)健全数据关联体系。梳理细化信息关联主线，建立各类信息与关联主线的关联关系，更好的支持跨领域的主题数据分析。推进业务信息体系化建设，为健全数据关联做好铺垫。

3)推进业务数据标准化。标准化的业务数据是数据分析模型建立的基础，通过业务数据标准化，规范业务数据产生过程，消除人因歧义，提高数据资源的可用性和有效性。

3.2.3 推进主题数据标准化

大数据应用的基础是各业务领域的主题数据，为充分发挥主题数据价值，需要对业务各层级流程进行全面、系统的梳理，明确主题数据，定义主题数据属性，形成主题数据模板，为大数据系统建设奠定基础。

主题数据规划可以结合大数据应用阶段目标适时启动，确保在建立主题数据之前完成主题数据梳理，以便为大数据系统提供完整、可用的数据资源。

3.3 建立分析模型管理机制

数据分析模型是大数据系统数据价值的发掘工具，是实现预测与分析的基础支撑。依据大数据应用需求与方向，在标准化数据分析模型的基础上分领域按功能逐步扩展数据分析模型，并持续完善与优化。

4 推进建议

大数据应用是极具潜在价值的二化融合新兴应用，其应用本身涉及组织的业务创新与管理创新，核电企业需要结合自身的业务领域与经营管控需求和核心能力要求，选择符合本企业特点的大数据应用发展之路，以下建议可供核电企业推进大数据应用时参考。

4.1 分类实策、做好全局大数据应用的统筹规划

企业应重视数据潜能和数据分析带来的潜在价值。基于可预见的数据分析的应用领域、应用范围等特点，确定大数据应用分类，针对不同类型的大数据分析应用，制定不同类别的数据分析应用模式与成长路径。

(1)组织范围内的业务管理和经营管理的数据分析

大数据应用的初期，可通过设置业务运作和经营管理的关键绩效指标(KPI)评价、分析业务运作和经营管理绩效，推进PKI关键指标的数据分析应用，通过数据分析支持企业经营管理决策的科学化，支持业务运作和经营管理水平提升。

(2)组织范围内的产品与技术类数据的数据分析

大数据应用的初期，积极推进基于特定应用场景的数据分析应用，尽早发挥数据价值。同时，基于产品改进和产品创新需求，统筹梳理产品生命周期中的开发、生产、营销、使用与服务等各环节的大数据应用场景与需求，基于应用场景、数据构成、数据来源等关键需求确定主题数据颗粒度，统筹规划主题数据体系，并据此规划企业的产品与技术大数据应用体系。

(3)产业协作或产业链层面的大数据的分析应用

产业协作为企业视角的产品与服务的产业供应链协作生态，产业链为政府或行业组织视角的产业生态发展。产业协作或产业链层面的大数据应用应以产业协作效率提升和产业共同发展为驱动，基于共同利益，梳理各方需求，建立满足多方需求的主题数据资源体系。基于主题数据开展产业大数据应用体系的规划与建立。

4.2 打好基础、做好全局大数据应用的体系建设

开展数据分析工作既需要满足目标应用场景的数据分析方法的支持，也需要有充分的满足分析要求的数据的质与量的支持。应用场景越多、数据来源越复杂、大数据体系建设的难度就越大。打好数据分析基础，做好全局大数据应用体系的建设对大数据应用的健康和可持续发展至关重要。

(1)打好数据基础，为大数据应用提供高质量的数据保障

在企业已有的信息化基础上，应注重企业数据体系的梳理与规划，完善数据分类、数据属性定义和数据关联，逐步打通企业内部各业务域、管理域的数据通路，逐步形成单一数据源和数据全周期应用的格局。重视数据标准规范体系的建设，明确数据质量责任。做好跨领域数据共享应用的协调和数据安全保密管理，为大数据分析应用提供有效的充分、多维度、高质量的数据支撑。

(2)建立大数据的技术体系和应用体系，支持可持续发展

大数据应用一项复杂的系统工程，涉及大数据资源体系、支撑平台、数据分析等技术体系建设，也涉及大数据资源维护、系统运行维护与应用推广等应用体系建设。组织应基于自身大数据应用发展需求，有序推进建设满足大数据应用场景需求的技术体系。同时，结合大数据应用场景的相关情况，积极推进大数据应用体系的完善，以便更好的支持大数据应用的可持续发展。