电信运营商数据架构设计方法初探
2023-10-12潘思宇李金夏中国联合网络通信集团有限公司北京000中国联通研究院北京0076中讯邮电咨询设计院有限公司北京00048
王 爽,潘思宇,裴 培,张 第,李金夏(.中国联合网络通信集团有限公司,北京 000;.中国联通研究院,北京 0076;.中讯邮电咨询设计院有限公司,北京 00048)
0 引言
《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》明确提出了要加快数字经济发展,提高数据、技术要素占比,建设网络强国、数字中国,持续提高核心竞争力。国务院国资委正式印发的《关于加快推进国有企业数字化转型工作的通知》中明确指出,构建数据治理体系,加强数据标准化,强化业务场景数据建模,深入挖掘数据价值,提升数据洞察能力。
国家层面的文件频繁提及数据要素、数据治理,在数字化时代,能否管理数据资源并将其有效转化为生产要素,已经成为衡量一个企业甚至一个国家竞争力水平高低的重要因素。面对企业数字化转型大潮的来袭,数据架构工作已成为企业势在必行的功课。数据架构是数据治理的一个基础核心能力,在数据资源管理、数据价值挖掘方面发挥着至关重要的作用,因此企业、相关政府、科研院所等越来越重视数据架构。
1 数据架构的内涵及作用
“架构”一词已被广泛用于描述IT 设计,在国际标准ISO/IEC/IEEE 42020:2011 中,架构的定义是“系统的基本结构,具体体现在架构构成中的组件、组件之间的相互关系以及管理其设计和演变的原则”。
根据国际数据管理协会在《数据管理知识体系指南》中的定义,数据架构是识别企业数据需求,并以这些数据需求为出发点,设计和维护的主蓝图,以使用这些主蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致。
1.1 数据架构与企业架构
数据架构是企业架构的重要组成部分。企业架构为有效地实施和管理IT 资源提供指南,并确保业务、数据、IT、技术四方面的要素衔接协同,同时也约束了各个IT项目为企业效益服务。
企业架构包含业务架构、数据架构、技术架构和应用架构,如图1所示。
图1 运营商业务架构、数据架构、技术架构和应用架构示例
1.2 数据架构与其他数据治理工作的关系
数据架构通过高效组织数据的技术框架,规范数据的定义、分类、流向、模型、标准等,与数据治理各领域的工作紧密关联。数据架构与其他数据治理工作的关联关系如图2所示。
图2 数据架构与其他数据治理工作的关联关系
a)数据架构与数据生命周期。支持按照分析数据、基础数据等维度分类,设置不同的存储策略,实现降本增效。
b)数据架构与数据安全。在数据分类目录的基础上,识别敏感与重要数据,实施安全分级与治理,保障数据资产安全可控。
c)数据架构与数据质量。一方面数据质量管理的对象可从数据分类、数据模型的角度和粒度进行选取;另一方面数据架构标准可作为数据质量衡量标准,对数据规范性、准确性、一致性开展评价,促进数据价值提升。
d)数据架构与数据治理工具、数据治理体系。数据治理工具是数据架构落地实施的抓手,组织体系是数据架构工作开展的保障,纵向贯穿于各项工作。
1.3 数据架构的主要内容
数据架构主要涉及数据的分类、数据的流向、数据模型、参考数据等方面的制定管理。
1.3.1 数据分类
数据分类是根据一定的规则,从特定的角度出发,对企业数据划分层次、进行归类。数据分类是数据管理及规划中最基础的工作,数据模型、数据编码都是在数据分类的基础上展开的。
1.3.2 数据流向
数据流向展示了数据在流程、系统、业务角色之间的流动,便于更直接地认识系统间数据的交互过程,方便对质量问题的追根溯源。例如某个业务的数据出现了异常情况,可以根据数据流向逐步跟踪数据的流向路径,进而定位数据在哪一个环节出现了问题,采取措施进行处理。
1.3.3 数据模型
数据模型是指用实体、属性及实体之间的联系对管理过程和企业运营中涉及到的所有的业务概念和逻辑规则进行统一定义、命名和编码。数据模型是业务人员、IT人员和开发商之间进行沟通的一套语言。
1.3.4 参考数据
参考数据是对实体属性的取值,是从范围及内容上规范数据,其目的是对各系统中共享的数据信息进行统一的编码,打破数据壁垒,解决各系统间数据维度不一致、无法贯通汇总的问题。
2 电信运营商数据架构设计方法
数据架构的通用规划设计方法可参照DAMA 数据管理知识体系指南、数据架构设计工具操作手册等。这些资料在数据架构的理论概念要素、工具支撑使用等方面给出了指引方向。本文在遵循通用设计方法的基础上,针对电信运营商的业务流程框架、分级运营场景、系统架构特征,对数据架构设计方法进行细化延展说明,并结合实践案例展开探讨。
笔者查阅到部分文献对电信运营商数据架构与技术架构的融合演进方法、策略方案展开了研究,如《5G 融合用户数据架构演进方案》、《面向云计算的业务支撑系统数据架构实施策略》等。但是关于电信运营商数据架构设计方法本身,目前尚无完整、针对性的介绍文献。本文从实施操作角度出发进行抽象概括,描述了电信运营商数据架构设计方法的认识理解、关键步骤及设计要点。
2.1 数据分类设计
数据分类是指将企业内海量的数据从业务的角度进行抽象概括和归类。电信企业面向市场提供连接、计算、应用、数据、安全等服务,历经多年的系统建设运营,积累了大量庞杂的营销、产品、客户等方面的数据。
在企业实施全面数字化转型的时代,层次清晰、结构合理的数据分类可以帮助企业内部IT 人员、业务人员及生态合作伙伴更好地理解数据、使用数据。
电信运营商数据分类的设计方法一般包括2个步骤。
第1 步:依据国际电信管理论坛(TMF)提出的共享信息模型(Shared Information Data/Model,SID),结合运营商业务现状以及数据分类分布现状,从业务视角按主题域进行相应划分,以反映关键的业务对象分类,形成主题域分组。
TMF 定期更新发布SID,SID 为电信企业内部流转以及涉及服务供应商、合作伙伴的数据提供了标准的定义,具体包括参考模型、术语等。通过提供通用的数据分类及模型,有效减少服务和系统整合、开发设计的复杂度。
第2 步:按照线分类法,从主题域分组向下展开,将电信运营商的数据划分为从粗到细的3 个粒度,依次为主题域分组、主题域、业务对象。明确每一业务对象的定义、内涵与外延;所确定的业务对象能清晰地表达业务之间的关系,并充分体现出行业特点。
电信运营商数据分类示例如表1所示。
表1 电信运营商数据分类示例
2.2 数据流向设计
数据流向是数据主题或者数据对象按照业务需求,从一个数据区域“传输”到另一个数据区域的过程,以数据流向表和数据流向图的形式来表示。
数据流向表以系统为视角,综合考虑各系统的数据分布和CRUD 权限,表现了系统节点之间交互的数据内容以及数据流向。在数据流向表的基础上,明确系统数据的流向图。
电信运营商数据流向的设计方法一般包括2个步骤。
第1 步:梳理数据流向表。收集梳理系统清单以及数据接口规范、交互需求等。将系统按照操作型、分析型、管理型这3类进行划分。以单个系统为单位,梳理数据流向的源系统、目标系统和数据实体,其中数据实体应与数据分类、数据模型的描述粒度对应。
第2 步:梳理数据流向图。在数据流向表的基础上,以业务流程为主线,梳理数据在不同系统间的流转过程。
表2给出了电信运营商操作型数据流向表示例。
表2 电信运营商操作型数据流向表示例
2.3 数据模型设计
数据模型根据应用层次的不同,可划分为概念数据模型、逻辑数据模型和物理数据模型。
概念模型描述的是基础概念和含义,用于定义核心业务概念实体、实体之间的关键关联关系及相关的业务规则,是业务视角的高层次的粗粒度的模型。概念模型不涉及任何细节,如怎样表达和实现细节。
逻辑模型是概念模型的延伸,一个概念模型实体可按需要扩展出多个逻辑模型实体。相对于概念模型,逻辑模型应细化描述实体所包含的属性及其含义。
物理模型是逻辑模型的延伸,说明如何实现逻辑次序的模型和相关的实现方案。
在企业架构层面,应侧重于概念模型和逻辑模型的设计。企业的概念模型和逻辑模型的设计通常采用“自上而下设计,自下而上验证”的方法。
第1 步:自上而下设计。针对数据分类中各个主题以及业务流程抽取关键业务实体对象,即概念模型实体及实体之间的关系。实体间的关系可分为一对一的关系、一对多的关系和多对多的关系。根据实际业务情况,将概念模型实体拆解为多个逻辑模型实体,设计逻辑模型实体属性及逻辑模型实体间关系。
第2步:自下而上验证。在研发运营流程中,依据数据架构和数据模型开展需求分析和系统设计开发,并依据数据实际情况,对逻辑模型、物理模型的设计进行自下而上的迭代验证、补充优化。优化内容应包括对概念模型实体及属性、逻辑模型实体及属性的优化,概念模型实体之间关系、逻辑模型实体之间关系的补充,属性与参考数据之间关系的补充等。表3 为电信运营商数据概念模型实体及其关系示例,表4 为电信运营商数据逻辑模型实体及关联的参考数据示例。
表3 电信运营商数据概念模型实体及其关系示例
表4 电信运营商数据逻辑模型实体及关联的参考数据示例
2.4 参考数据设计
参考数据是指对其他数据进行分类和规范的数据,如国家、地区、货币、计量单位等产业通用的数据及基础配置数据。
电信运营商参考数据的设计方法一般包括2个步骤。
第1步:依据业务规范、国家及行业标准等输入依据,定义参考数据的名称、层级关系及业务含义。
第2 步:确定哪些逻辑模型的哪些属性应遵从参考数据的定义,将逻辑模型属性与参考数据建立关联关系。
表5给出了电信运营商参考数据示例。
表5 电信运营商参考数据示例
3 运营商数据架构未来展望
随着数字化转型深入推进,数据架构对于运营商IT 能力构建、数据要素价值释放的重要性愈发凸显,有效的数据架构会成为各类企业和组织数据治理与IT 架构规划的设计指导,是企业通过IT 获得竞争优势的不可或缺的手段。
面向未来,运营商数据架构应关注以下3 个方面的趋势特点。
一是体系化。数据架构相关工作具备一定基础条件后,应与流程治理、IT 系统建设运维过程融合发展、有机衔接、系统推进,才能最大化地发挥协同效应,达到整体效果最优。
二是价值化。在数据要素化的趋势背景下,数据架构是数据资产管理、数据分析挖掘、数据共享流通的重要基础,进而更好地促进行业数据要素与其他生产要素融合,实现资源配置优化、价值创造倍增、资源消耗降低。
三是智能化。数据架构本身的构建运营应采用系统化、数据化的手段,包括数据架构本身的线上管理维护、数据模型与参考数据质量评价、数据流向效能分析等。