智能运维中知识图谱的运用
2021-07-17梁泉林妍
梁泉 林妍
(中国电信股份有限公司广东分公司 广东·广州 510000)
在企业运营过程中,会产生海量的结构化数据、半结构化数据和非结构化数据,并且这些运营数据分为人为核心数据和运维数据两大类,其中运维数据包括设备运行状态、故障数据、设施设备管理等以机器为核心的数据。目前,企业智能运维越来越复杂、企业业务对智能运维的依赖程度越来越深,智能运维从早期关注网络和基础硬件设备发展到了对各方面综合管理的程度,智能运维面临着巨大的压力,如:业务系统、运维人员、运行环境等。为了持续、稳定、保持各类系统安全可靠运行,利用知识图谱,可以快速响应需求、灵活调整系统以及个性化运维服务,为系统运维人员提供解决方案参考,促进智能运维的可持续发展。
1 知识图谱综述
知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形,是图书情报界知识域可视化或知识领域映射地图,可以帮助用户更快更简单地发现新的信息和知识。知识图谱是互联网语义网络发展的产物,在其发展历程中,知识图谱极大地推动了语义网、自然语言处理、数据库等相关技术的发展,是目前知识库构建和搜索领域最为热门、最为领先的技术与发展趋势,可以广泛支持知识检索、智能问答、决策支持等智能应用。通过知识图谱对海量数据进行挖掘、抽取、清晰、融合、推理等,可以用图的形式,将无序数据变为知识网络,从而以更加直观的形式展示知识网络,反应出现实中实体及实体间的关系。一般情况下,知识图谱包括实体、属性、关系等重要元素,其中节点表示“实体”,用边将信息连接形成关系网络,表示实体间的“关系”,将抽象的信息用可视化图形方式展现出来。利用知识图谱,人们不但可以获得分析和解决问题的能力,还可以快速地获得知识和知识之间的逻辑关系,从而实现数据驱动应用。
知识图谱具有以下几点优点:第一,语义表达能力丰富。知识图谱源于语义网络,对于知识服务应用任务具有重要的支持作用,是一阶谓词逻辑的简化形式。并且知识图谱能够描述概念、事实、规则等各种层次的知识,在实际应用中,通过定义大量的概念和关系类型,能够有效组织和描述人类在自然环境和社会活动中形成的海量数据,能够极大地丰富语义网络内涵,为各类人工智能应用系统奠定知识基础;第二,知识图谱表示方法对计算机友好、支持高效推理。以往,在知识推理时,传统的推理方法很难快速地进行知识处理,复杂度很高,很难实现知识表现得目标。而知识图谱的表示形式是结合图论相关算法,以图结构为基础的前沿技术,通过利用对节点和路径的遍历搜索,可以极大地降低计算机处理成本,有效提升推理效率;第三,知识图谱描述形式统一,能够方便不同类型知识的集成与融合。知识图谱可以通过对齐、匹配等操作,以语义网的资源描述框架规范形式,对异构知识进行集成和融合,统一表示知识体系和实例数据,从而促使知识服务更加灵活,支撑更加丰富;第四,知识图谱方便计算机系统存储与检索,是基于图结构的数据格式,能够更容易推广数据的标准化,其以三元组为基础,结合图数据库技术以及语义网描述体系、标准和工具,能够使相应的工具更加方便数据统一,为计算机系统存储与检索大规模知识系统提供技术保障。
2 智能运维中知识图谱的作用
对于知识服务来说,知识图谱能够将传统基于浅层语义分析的信息服务凡是提升到基于深层语义的知识服务,具有非常重要的支撑作用。而智能运维是通过融合IT数据、打破数据信息孤岛,使IT能够更好地支撑业务,对监控、自动化、服务台进行支持,是利用大数据技术以及机器学习技术、机器学习技术,来回答单从IT口径无法回答的问题,或者回答以前很多单从业务口径。
知识图谱是人工智能基础设施,智能运维需要依托人工智能技术。也可以说,没有知识图谱,智能运维难有建树,拥有知识图谱,智能运维就会更进一步,知识图谱能够完善智能运维的现有体系。如在竞争日趋激励的市场环境中,为了向DevOps提供持续反馈,AlOps以创造商业价值为导向,持续洞察IT运营以及业务运营,加快了企业数字化转型的步伐。从全球ALOps厂商来看,其时序指标流派和事件流派是目前两大最热门的流派:一方面,时序指标流派利用时序数据作为ALOps的数据源、落地场景多为单指标时序预测、多指标时序预测、单指标异常检测、多指标异常检测,国外的Appdynamic、Newrelic、Datadog,国内听云、云智慧等都选择这个路线来做监控系统;另一方面,事件流派主要是采用文本型数据作为ALOps平台的数据源,在事件降噪、事件发现、事件抑制等领域集中落地场景。并且在事件根因分析、异常事件发现、事件解决方案推荐等也会尝试做一些高级功能。国外Splunk、国内的日志易、擎创等都选择这个路线来做日志分析。但无论采用哪种方式做ALOps,都会遇到一些瓶颈,这是由于落地场景不断深入造成的。如由于用户数据种类繁多、特征各异,运用时序指标来做 ALOps的厂商是不可能只使用某种单一算法来解决的。因此,在实际生产中,为了大幅提升效率,可以利用知识图谱描述形式统一的特点,集成和融合不同类型知识,快捷地讲时序指标和算法精准地结合起来。知识图谱基于图结构的数据格式,能够快速提供生产系统中应用和组件之间的关联、承载关系,可以促使结果数据更为精准,日志分析厂商就是通过日志数据来做事件根因分析的。
知识图谱丰富的语义表达能力和对计算机友好的表示方法,可以帮助企业不断收集基于实际生产环境的运维知识沉淀,建立企业自己的知识图谱,进一步看到数据背后的真实含义和相互关系,如硬件属性信息、应用拓扑关系、系统配置信息等。
3 智能运维中知识图谱的运用
构建知识图谱是一个迭代更新的过程,根据现有经验数据,通过自动抽取资源的方式,可以促使现有的知识库丰富和完善。
3.1 知识图谱的构建
首先,知识抽取与挖掘。为了提取出知识以及知识间的相互关系,需要从各种类型的数据源中进行知识抽取,并形成网状知识结构。知识抽取是构建知识图谱的基础,一般情况下,企业设备运维数据的分析与应用是围绕着一些核心主题对象的属性及关系信息进行的。如:在设备运维中从业务数据中抽取各类数据源中存在的核心对象,通过关系识别,形成网状知识结构。并为了提升知识抽取的准确率和效率,可以通过数据挖掘手段,来发现各类数据源中的蕴含关联。
3.2 知识融合与加工
获得新知识之后,应通过整合的方法,消除知识间的矛盾和歧义。除了海量的结构化数据外,庞大、形式多样的智能运维数据还有大量的、以视频、图片等本结构化或者非结构化的形式存储。这些数据无法直接为上层应用提供支撑,处于零散的状态。因此,为了形成更加全面的信息,需要通过消歧、指代消歧等数据处理过程来整合不同数据源中的实体,通过知识推理进行隐含知识的深度挖掘,通过知识质量评估将正确的知识放入知识图谱中,实现知识图谱的质量保证。经过融合和加工后,知识形成关系、有序的知识网络,能够更加有效、智能地进行知识深度挖掘,并以规范化存储在知识库中生成索引。
3.3 知识图谱的应用
进入21世纪以来,智能信息服务应用发展迅速,知识图谱实现了业务逻辑性保存,对数据组织、存储方式的改变具有很大的影响,已经在智能搜索、智能问答、个性化推荐等领域广泛运用,能够让知识被用户访问到(搜索)、被查询(问答)、可被支持行动(决策)。由此,本文尝试通过识别数据源、知识抽取、融合、加工的过程,以知识图谱方法论为指导,构建了项目实施和运维知识库。面对系统功能在不同单位间的复制推广、个性化需求调整,系统层面侧重于解决方案的提炼、审核、应用和迭代,解决了方案对新业务的适配,以及与之相关的管理办法和流程;面对不断有新客户的进入、操作、重复性问题较多的情况,用户层探讨了语义识别研究、智能客服开发以及模糊关键字的设置与调整等,侧重于常见问题的梳理(图1)。
图1:知识图谱构建流程
4 知识图谱中智能运维的应用成果
完善的知识图谱能够实现知识的网状结构存储,目前,知识图谱已经广泛应用于智能搜索、智能问答、个性化推荐等领域。其中智能搜索和智能问答是知识图谱主要应用方向。首先,智能搜索是面向内部顾问的应用,应用实现简单、效果显著。搜索答案时,内部运维顾问会提出精准的问题。而智能搜索根据问题的关键字以及其贴合度,能够快速找出符合要求的答案,并对答案进行排序,展示与该问题答案知识相关度较高的其他知识链接。同时,为了方便顾问关注到与该知识相关的其他知识及属性,通过知识与知识网状关系的展示,可以快速找出可复用的巨额方案,更加直观、完整的了解系统全貌。其次,智能问答是面向外部客户的应用,能够降低一线运维人员工作强度,满足一部分客户简单、初级的操作咨询请求,提升运维工作效率。但同时,问答系统还需要运营自然语义处理相关技术,将客户口语化描述转换成系统能理解的程式化语言,具有问题精准识别的难题。并且在操作过程中,智能问答还需要客户直接将界面截图并发布在问答系统上,需要提前对所有错误和提示进行编号。当客户发出问题截图说明时,识别提示对应的问题编号还需要通过图像识别技术,才能反馈给客户相应的答案,从逐步开展客户智能问答试点。
5 结语
21世纪是一个大数据时代,知识的表达和组织方式成了各个专业领域的研究热点,各行业中知识都面临着爆炸式增长。而知识图谱能够实现有效的知识组织、管理和利用,是以图的形式存储实体机实体间关系的知识库,可以提升知识体系的标准化和完备程度,优化知识体系,使业务流程和处理过程图形化、可视化,是跨计算机、图形学、人工智能多学科的前沿技术。在智能运维中运用知识图谱知识很小的一把付恩,为了提升员工工作效率、客户满意度,在未来,知识图谱应与实际业务、大数据分析相结合,才能促进企业运营的可持续发展。