中台在国家图书馆的应用思考
2021-10-19只莹莹
只莹莹
0 引言
近年中台席卷互联网,中国迎来各行业依托中台进行数字化转型和构建数据智能应用的热潮。中台起源于位于芬兰赫尔辛基的世界知名游戏公司Supercell,其通过中台架构取得拥有少数员工却开发出许多全球热门游戏的优异成绩。在中国,阿里巴巴2015年提出中台战略,构建“大中台、小前台”组织机制和业务机制[1]。2018年底开始,阿里、腾讯、百度、京东等互联网公司纷纷拿出以“中台”为核心的组织调整架构[2]。无论是关于“中台”定义的百家争鸣,还是从其落地实践的探索热潮来看,2019年无疑是数据中台元年。
浙江大学和袋鼠云携手建设数据中台,解决数据“存”“通”“用”的痛点和难点,探索更多的数据应用场景,打造智慧校园[3]。南京理工大学发挥中台作用,推进数据治理体系建设,实现全量数据的实时可采集、全面可管控、处处可复用,真正做到了“数入一库,数出一库”[4]。宁波图书馆联合阿里云、中国移动宁波分公司、袋鼠云打造一体化智慧服务平台,收集馆内全业务的经营、管理及服务对象等数据信息,打通所有业务的信息数据孤岛[5]。由此可见,互联网巨头和电商,以及智慧校园、智慧图书馆都认识到中台这种通用高效架构的重要性,关注并积极引入实施,预计未来会有更多图书馆实施中台战略。
国家图书馆(以下简称“国图”)拥有海量的馆藏资源和庞大的用户群体。随着人工智能、大数据、5G等新技术的应用,虽然在智能化、个性化、精准化上有了提升突破,但是仍然无法彻底解决数据存储分散、统一组织利用困难、技术创新应用慢等发展瓶颈,现有数据资源还远远没有发挥出它的价值。这些难题不是一项新技术能够解决的,而是需要从体系架构层面进行重构。中台提供了一种新的架构理念,它将数据作为生产资料融入业务价值的创造过程,能为国图的创新发展提供强劲动力。中台无疑是未来5G+工业互联网的新征程,是新基建中的新基建,是政府治理新动能[6]。因此本文以中台的基本理念与构建方法为基础,探讨中台在国图的应用模式,致力于构建一个基于中台解决方案的国图信息化服务架构,实现数据资产统一管理和应用快速创新,并为智慧图书馆建设提供保障。
1 中台概述
1.1 中台是战略性选择
借助“互联网+”和“智能+”,数据在爆炸式地加速积累,成为各行各业最宝贵的资产和命脉。但在传统烟囱式IT架构下,信息系统互相独立,缺少统一的数据标准,数据共享程度低,难以进行综合数据分析挖掘[7]。在互联网、移动互联网、云平台背景下,服务号、小程序、O2O模式、远程存取等都加剧了数据孤岛问题,系统多样性和多态性导致分散各处的数据难以融合,既难以支撑企业经营决策,也无法应对快速变化的前端业务。中台是数字化转型的必然产物,它能够打通传统IT架构中的全域数据,融合新老模式,沉淀数据资产,形成快速创新能力[8]。
当前一些大数据平台也提供了许多面向研发的数据处理能力,如数据集成、数据开发、数据测试、数据上线,但这些只限于提高数据使用效率,不能创造数据价值。而中台是一个统一共享的数据组织,它将分层的数据组织在一起,通过服务化的形式向外提供数据,增强了数据的共享能力,解决了面向研发、数据分析、数据运营等数据建设过程中的痛点问题,如口径一致问题、研发效率问题、数据质量问题。中台是平台的平台,能解决各个业务线之间的共性需求,以提升整体的运行效率。因此与为超大规模数据管理提供高性能计算与存储能力的大数据平台相比,数据中台具有通用的数据服务能力,能提升数据的产能,实现面向应用的数据共享。
虽然前台业务模式的相通之处越多、数据和用户关联越丰富、内在逻辑越相似,越适合构建中台[2],但是中台架构也不仅仅取决于业务的大小,只要业务需要快速扩张和创新,中台思维也是必须的。由此可见,中台是一个具有战略性、前瞻性,能彻底实现机构数据统一治理、前台应用快速创新的解决方案,通过有形的数据资产和无形的方法论来支撑,它不是任何一项技术可以替代的,它的实施也不同于新技术的应用,而是从顶层设计开始变革,需要全局、系统、持续地展开[9]。
1.2 中台含义与价值
中台就是将机构的共性需求进行抽象,通过对海量数据进行采集、计算、存储、分析和沉淀,形成时效性、可靠性、稳定性的大数据资产层[10],并以接口、组件等形式共享给各业务单元使用,打通前台需求与后台资源,快速响应上层应用,在满足常规报表生成、数据分析需求的同时,为催生业务创新提供基础。中台能为前台减肥,增强前台的敏捷性;又能将后台系统中需要频繁变化或是需要被前台直接使用的能力“提取”到中台层,更好地服务于前台应对需求的变化。总之,中台是将数据与技术以服务的方式为上层业务应用提供快速响应与支撑[11]。
中台就是建立一整套数据治理体系,实现资源和业务互通[12],价值主要表现在:数据资产统一管理,通过数据资产目录对外提供可视化服务,避免不同系统间数据接口的低效沟通;消除异构数据源,实现数据格式、数据交换标准的统一,提升数据共享程度[13];将各信息系统中的共性需求集中到中台,避免业务需求的跨系统交互,对前台创新应用做出快速响应;实现数据、业务的一体化综合治理和相互赋能,即节约成本,又灵活易管[14]。
2 国家图书馆信息化现状
随着国家数字图书馆全面建成和智慧图书馆稳步推进,国图已形成较为完善的“查、阅、咨、藏一体化”新格局,读者自助服务、人工智能机器人、VR沉浸式体验、扫码验证、人脸识别等一系列新技术项目落地实施,国家数字图书馆App、云门户、移动阅读平台等一系列互联网平台建设完成,使“技术驱动、共享互联”的新一代图书馆体系加速推进。由于国图现有信息系统的多样性和多态性,内外部数据、线上线下数据无法互联互通,在某些方面也制约了技术和服务的持续快速创新。
(1)标准化不完善导致重复建设。过去一段时期,通过不断加大投入,实现了图书馆信息化规模和资源数量的快速增长,购买了越来越多各自独立的应用系统,但由于缺少统一的标准,不仅系统间功能难以协调,维护成本高,而且在资源种类、服务渠道、交互共享和数据存储方面存在重复建设的情况。
(2)资源壁垒造成数据不能充分共享。国图数据资产分布在大量的异构系统中,各个应用系统都拥有自己的数据存储,通过输入导出、接口调用和直接读取等方式进行交互,属于流程繁琐、效率低下的紧耦合方式,带来系统对外依赖强、数据更新延迟、响应慢等问题,难以全面掌控和深度利用。
(3)存在创新要求高与试错空间小的矛盾。国家图书馆365天向社会公众提供不间断的服务,并且任何一项举措社会关注度高,所以每一项新技术创新应用在正式环境中测试和试错的空间非常小,创新应用大多以数据安全、降低对读者服务的影响为基础,以零风险为前提。所以,国图既要紧跟信息技术发展步伐,又要谨慎进行具体实施,延长了技术创新周期。
(4)各自为战的共性需求加重了后台负担。国图主要的核心系统有集成管理系统、统一用户系统和一卡通系统,它们包含了馆藏、读者和金融等最基础、最核心的数据,因此许多信息化应用都要与这三个系统做数据交互,且这些信息化应用存在很多共性需求,下文以国图使用的集成管理系统ALEPH500为例进行说明。该系统拥有海量、丰富以及最核心的读者和业务相关数据,通过X-server接口或者直连数据库的方式与ALEPH500进行数据交互的应用系统有25个,其功能需求涉及业务工作和读者服务的众多方面,且大部分系统拥有相同的功能需求和访问方式,如表1所示。
表1 ALEPH500外连应用系统共性功能需求对照表
这些大量频繁重复的数据存取给图书馆集成管理系统性能带来了极大压力,并且X-server接口是标准化的,并不能完全满足业务需求,改动也比较困难。随着新技术、新媒介的快速发展,读者更加注重服务的丰富性和便捷性,获取信息的时效性与交互性,喜马拉雅、抖音等第三方社会化主体对公共文化机构提供的互联网服务冲击非常大,体量较小、现代化较高的社区图书馆以及自助图书馆提供了更加便捷的服务方式,所有这些都给国图服务创新带来了巨大压力。未来智慧图书馆建设更是需要一个没有资源壁垒、全面共享的知识服务体系,以及流程通畅、快速存取的后台和灵活多变、轻装上阵的前台来支撑持续低成本创新。因此,国图需要探索一种全新的组织管理模式,对现有信息化架构和业务流程进行深度调整和优化,加快创新应用的灵活度,将数据作为生产资料融入业务创新,围绕数据资产进行价值的持续积累和释放,引入中台就是一个思路。
3 中台在国家图书馆的应用路径
中台的应用要建立在数据复用率高、各系统共性需求多、前台业务快速变化的基础上,并需要对单位组织管理架构和部门之间利益分配进行彻底的调整,这是一个颠覆性重构过程。国图中台建设要从战略、认知、组织保障方面做好顶层设计,除了建立数据中台和业务中台等应用架构,还要建立起与之配套的管理机制,并做好专业人才队伍建设,为智慧图书馆发展做好支撑。
3.1 构建全链路的数据中台
国图积累了海量自有或经过授权可以提供服务的数据资源,其是开展便捷化、精准化、智慧化服务和各项业务的基础。但是国图数据信息的能力远远没有释放出来,尤其是涉及用户数据,除应用场景不明确、机制体制障碍等原因,还因为没有构建起开放的数据服务支撑能力。目前用户行为数据来源众多,数据格式、形式各样,不同类型数据的价值和反应用户意图的强弱也有所差别,使用时必须对用户行为数据进行有效的分类、关联和整合,才能进行综合利用。因此国图需要建立一套数据治理体系,整合分散在各系统中的数据,将数据作为共享的生产要素,能快速满足新业务场景对数据的需求,为运管决策、快速服务创新提供支撑,这套体系就是数据中台
国图是“国家书目中心”“国家总书库”“国家古籍保护中心”,数据中台的建设要统筹规划,立足国家战略层面进行顶层设计,还要与网络建设、数据灾备等进行协调布局,全面提升互联网+文化惠民的数据服务能力。国图数据中台应基于现有的系统数据库和数据中心,将可复用数据和公共计算逻辑下沉,不仅满足原有系统对数据的要求,又能满足新业务场景的数据需求,还能支持图书馆之间、公共文化机构之间的交流合作、协同服务,促进公共文化行业形成知识快速创新的生态环境,最终实现智慧图书馆的互联互通。国图数据中台建设过程依次为:数据汇聚、数据加工、数据服务、资产叠加,详见图1。
图1 数据治理流程图
(1)数据汇聚是各类数据资源接入的入口,目的是将多样、多源、多域的数据,通过接入、转换、写入等方式采集到同一个数据中心上,并根据数据资源的内容进行匹配合并。国图需要汇聚线上线下数据、信息系统数据和内部数据等。线上数据主要分为互联网和移动互联网两类,对应的形态包括网页、App、小程序、HTML5、文本、日志、图片、音视频等,可以通过埋点、爬虫等手段进行搜集。线下数据主要通过一些硬件设备来采集,如摄像头、可穿戴设备。国图现有信息系统数据和内部数据多以指标、报表、文档、脚本、数据库等形式存在,既可以采取实时存取或增量的实时采集方式,又可以采取数据同步、导入、迁移、拷贝等离线采集方式。
(2)国图需要通过业务之间的关联和全局规划建立起统一的数据标准和质量体系。数据加工就是把所有数据都按照统一的要求建设成标准的数据资产,具有结构层次清晰、数据准确一致的特点,使数据资产可视、易用、能增值。
(3)数据服务包括可视化和安全性。可视化是以数据“可知、可管、可控、可用”为基本原则,建立一整套清晰标准的数据资产目录、命名规范和便捷的数据调用接口,帮助数据开发、数据分析、数据产品快速地发现数据,准确地理解数据含义和数据相关的特征信息,保证数据全程无障碍的存取和使用,并实现数据的实时分析、动态分析、预测分析等丰富洞察和深度挖掘功能。安全性是设置多级访问权限,为数据的安全筑牢防护。
(4)数据资产叠加是构建一个具有全链路故障分析、数据回溯、数据地图、屏蔽异构数据源等功能的数据管理体系,提高对全量数据跟踪、质量监控的准确性、及时性和完备性,从各个维度提升数据产能[9],实现数据资产的叠加和保值增值。总之,数据中台就是建立起一套标准化、易理解、便使用、能增值的数据资产管理系统。
国图的数据中台应该遵循3个原则:一是快,解决数据研发的效率问题。国图现在对创新频率的要求大大提高,除了紧跟新技术发展步伐和全方位灵活适应读者需要之外,还需要对创新活动之后的大量数据进行复盘和分析,如果数据研发效率不高,就会导致场景数据没办法及时甚至实时地去支撑业务,所以要提升数据交付、数据响应的效率。二是准,解决数据分析的效率问题。当信息系统中的数据越来越多时,如何快速找到相应数据并准确地理解这些数据显得尤为重要,中台的资产目录应对数据进行清晰、全面展示。三是省,解决需求实现的效率问题。通过中台构建公共数据逻辑,节省沟通、临时取数和技术实现上的时间。
3.2 打造共赢的业务中台
国图业务庞大复杂,分工较细,业务部门众多,各业务部门之间合作共赢、降低成本、避免繁琐流程和重复劳动是非常重要的。业务中台就是将业务的共性部分抽取出来形成通用的业务服务模块,供各个业务单元进行调用,它通过提炼各业务模块的共性需求,最大程度地减少“重复造轮子”,一方面让各业务部门保持相对的独立,保证对业务的敏感性和创新性;另一方面,通过强大的业务中台来对这些部门进行总协调和支持,平衡集权与分权,并为新业务新部门提供生长空间,从而大幅降低组织变革的成本。数据中台是把原来分散在各个业务系统里面的数据聚合起来,业务中台则是挖掘出更多的业务价值,挖掘出对业务有用的共性。国图需要明确业务目标和范围,对全部业务进行梳理,找出共性需求和融合的切入点,把系统中频繁变化或者需要被前台直接使用的业务能力下沉到业务中台,从而形成面向业务场景的快速迭代,赋予这些业务能力更强的灵活度和更低的创新成本。业务中台既要涵盖如何更好地对外提供模块化服务,又要涵盖如何让业务更快地帮助数据产生价值,其构建流程见图2。
图2 业务中台构建流程图
国图的业务中台不仅支持采访、编目、流通、资源管理、用户管理、共享知识库等核心业务功能,也支持联合编目、馆际互借、数字仓储等跨平台的整合服务和基于多终端的发布与服务体系,并支持微信、支付宝、银联、京东支付等第三方支付平台,打通数字图书馆的唯一标识符、统一用户、版权管理等系统,让技术、数据和业务最大程度地无缝衔接,打造一个全场景、复用、开放、灵活的业务中台。业务中台是面向业务场景、提升业务效率的,与现有业务系统不冲突,也不会导致现有系统、功能和应用的重复建设。国家图书馆业务中台应该遵从3个原则:一是根据业务的优先级来划分,并优先满足大业务的需求。业务中台不应该无条件地为所有业务提供支持,大业务能带来大效益,业务中台是否高效最终只能通过大业务来体现。二是业务中台和业务部门天然存在对共性需求的不同诉求,因为业务中台主要是实现业务的共性需求,共性需求是没有标准的,在中台和业务对新需求的博弈中,要以“大业务需求很有可能是共性需求,小业务需求很有可能不是共性需求”为准则,需要各业务部门之间求同存异。三是业务中台通过把能力、经验、代码都沉淀到中台,不用重复造轮子,大大提升业务的速度,但是系统的架构和接口会不断演进,所有业务也会随之被动升级,频率比自己独立发展要高。因此信息技术部门要与各业务部门进行专人专项对接,技术人员既要精通公共数据的复用和公共模型的设计,又要掌握中台为各个业务部门提供的服务内容和模式,以便快速完成业务提升。
3.3 搭建科学的中台架构
国图应打破各系统相互独立的模式,以“十四五”信息化战略目标为导向,落实“一平台、多场景、微应用”信息化核心理念,构建一个可以重复利用、灵活标准、前瞻创新的智能中台,实现新业务快速上线,快速迭代试错,满足国家图书馆365天向社会公众提供不间断服务的需求。业务中台是将业务流程中共性的流程管控抽象出来,形成通用的业务服务能力,数据中台与业务中台是相辅相成、协同合作的关系。数据中台沉淀下来的标准化数据资产会支撑业务中台上的应用,而这些应用产生的新数据又流回到数据中台,通过标准化加工变成新的数据资产,形成一个“数据资产化、资产服务化、服务业务化、业务数据化”的循环往复的数据闭环,让数据能在业务中持续流动起来,让数据来自应用,又能反哺业务。而前台可以直接调用数据资产和业务模块,如果业务中台包含前台需求则直接调用相关业务模块,否则就调用数据资产进行快速研发。综上所述,国图中台架构如图3所示。
图3 国家图书馆中台架构图
在未来图书馆智慧服务中,图书馆与用户之间更多是知识互相提供、传播共享、交流共识的关系,用户之间的信息交流、知识交互、思想共识,都会产生海量丰富多彩、高价值的数据资源,用户对服务质量的要求也越来越高。国图已经全面开启“1+3+N”模式的智慧图书馆建设,应该利用先进的中台架构替代现有的各自为战的信息化模式,把海量数据资源转变成有价值的数据资产,并将数据资产进行全链路的闭环管理,形成流畅的业务对接重组,通过提升数据资产管理和数据服务能力来提升图书馆为社会公众提供服务的效率。随着数据与业务场景的不断交融,国图的业务场景应逐步实现通过数据自动运转和自动优化,推动全面进入智慧图书馆的新阶段,为更具魅力的知识生态、智慧互联环境和更大范围、更多样信息共享空间的形成提供无限可能。
3.4 重建组织管理模式
中台的数据和业务模式是技术快速创新的重要支撑,是实现国图可持续发展的战略保障。中台建设需要一把手重视,达成全员共识,首先进行总体规划,建立起组织管理架构,对于决策流程、权责关系、配合方式进行明确,然后各司其职,分步实施,层层推进数据融合、业务融合,实现跨层级、跨系统、跨部门的统一管理和服务。
国图中台建设会引起现有组织管理模式的调整。中台的管理部门将不再只是一个成本中心,还有可能成为盈利中心,因为中台所提供的数据服务和技术服务都可以产生持续、稳定、可观的收益。中台管理部门将由原来的技术支撑者角色向统筹管理者角色转型,这对于现有的信息技术部门来说会是一个新的挑战与机遇。国图应打破现有跟随业务部门需求进行信息化建设的传统模式,由信息技术部门进行统筹规划。中台战略会围绕着全新的业务、数据、分析衍生出综合的信息化人才素养要求,首先应开展中台的人才储备,探索建立常态化的人才培养培训机制,组建一支包括数据工程师和数据运营人员在内的对数据有深入理解、懂数据更懂业务、能快速展开前台应用和中台数据管理的技术团队,帮助管理层快速、高效的做出决策,为业务部门输入源源不断的快速创新能力。同时,对工作机制进行标准化设计,以保证多方协同的有效性,形成更大合力[15]。
虽然在理论上能划分出中台与前台的内容边界,但在实践中很容易混淆。例如,如果中台不接受不相干数据的接入,前台可能会在内部重新建立自己的数据系统,这部分系统又极有可能和中台有功能上的重叠,但是如果把这些数据接管过来,那么中台又需要梳理所有业务场景。另外,由于中台建设涉及所有业务部门,也重新划分了部门之间的职责和利益,因此这种调整很难达成一致。这就要求在中台的规划和建设时,要合理有效地统筹所有业务需求,做好人员的思想工作,形成统一的系统化理念,并处理好不同部门之间的利益分配和目标诉求,为整体高质量发展做好顶层设计和统筹布局。
4 结语
中台提供了比前台更强的稳定性,比后台更高的灵活性,就像是一组“变速轮”,将前台与后台的速率进行匹配,是前台与后台的桥梁。中台架构能让国图通过大量精细化的数据去管理业务的方方面面,解决海量异构数据快速响应上层应用的难题,提升服务创新效率。国图中台建设挑战与机遇并存,中台从战略到落地需要跨越鸿沟,也可以立足于“中台的基本思想”分步实施,先从最容易实现且获益较大的部分着手,构建一个局部的中台架构,再慢慢将其他数据、业务纳入进来,并缓慢推进与之相适应的机构改革,还应该建立起中台运营的评估机制,这是一个不断调整优化的过程。笔者从统筹、宏观的角度对中台的应用模式进行研究,缺乏具体操作案例和技术实现细节,这是今后的研究方向。从IT时代到DT时代,未来是一个数据产品的时代,未来中台在国图的应用探索除了数据中台、业务中台之外,还会有包括用户中台、服务中台、技术中台在内的全方位智慧中台。