试析智能运维平台协同过滤信息推荐系统设计

2023-03-23石雅茹

中国科技纵横 2023年24期

石雅茹

（中车青岛四方机车车辆股份有限公司，山东青岛 266111）

0 引言

运维管理系统（OMS）是针对电信运营商的网络设备、数据中心、机房等基础设施，提供从监测、运维到故障处理的端到端管理平台。OMS 可以为电信运营商提供一个集中的、面向用户的自动化管理平台，从而使其能够对网络设备、数据中心、机房等基础设施进行高效管理。

1 智能运维平台协同过滤信息推荐系统的优势

传统的故障处理是在机房内，由网络工程师进行故障判断，由于运维人员和网络工程师在经验、技术上存在较大差异，难以保证故障处理的准确性。智能运维平台协同过滤信息推荐系统利用云计算、大数据技术，将故障处理的流程数字化，使故障处理更具可预测性、可预见性。智能运维平台协同过滤信息推荐系统通过对各专业运维数据的采集分析，将电信运营商的基础设施和网络设备状态全面、准确、及时地呈现出来。在故障发生后，系统自动将故障告警发送给相关专业人员，由专业人员对问题进行分析，并制定相应的解决方案。此外，系统还可以自动生成相关工单，由人工进行审核和处理。智能运维平台协同过滤信息推荐系统可帮助电信运营商实现网络的全面监测和全流程自动化管理，提高故障处理效率和质量，有效降低网络维护成本。

2 智能运维平台协同过滤信息推荐系统设计存在的问题

2.1 数据源不够丰富

传统的运维管理主要是针对设备的性能、业务系统、安全等方面进行管理，缺少对运维人员的管理和支持。随着企业信息化建设的推进，企业内部的IT 系统越来越多，导致数据量日益增大。对于传统运维管理方式而言，IT系统架构复杂、种类繁多，为运维管理带来了极大的挑战。因此，企业在构建智能运维平台时，要建立统一的数据采集、存储和分析体系，基于不同IT 系统的特点，将采集到的数据进行统一处理和管理。利用智能运维平台对所有IT 系统进行统一采集和管理，形成统一的数据格式、数据存储和分析体系。此外，还要建立完善的运维人员管理机制和培训机制，提升运维人员对系统架构、应用架构、网络架构等方面的了解。同时，还可以借助数据挖掘技术、机器学习技术等，对数据进行深度分析和挖掘，为信息推荐系统设计提供依据。

2.2 推荐算法不精确

智能运维平台协同过滤信息推荐系统中的推荐算法主要是利用用户和项目的历史评分数据，通过相关系数计算，得出两者之间的相似度，从而为用户推荐与其历史评分相似度较高的项目。然而，由于智能运维平台中数据量庞大，采用的相似度计算方法并不准确，会导致推荐结果出现较大误差。例如，在用户评分数据中，有很多项目都是相同类型的，但是由于不同用户使用不同类型的设备，导致每个用户使用的设备类型不一致，就会出现大量相似度较高的项目被推荐出来。此外，智能运维平台中大量相似度较高的项目也会导致推荐结果过于乐观，从而影响其他用户对该项目的评分。因此，为了提高推荐结果的准确性，必须对推荐算法进行改进。

3 智能运维平台协同过滤信息推荐系统的设计要点

3.1 数据处理

在智能运维平台中，运维数据分为两部分，一部分是智能监控系统采集到的基础数据，包括设备名称、物理位置、网络拓扑、IP 地址等；另一部分是系统采集到的运维数据，包括CPU、内存、硬盘等物理设备的配置信息和服务日志信息。这些数据都是通过系统收集和分析得到的，往往具有一定的噪声和缺失，需要进行初步清洗才能满足后续推荐算法的要求。

首先，对原始数据进行预处理。对采集到的基础数据进行清洗，去除噪声和缺失数据，按照一定标准转换为标准格式，进行标准化处理，并按照一定的规则对标准化后的基础数据进行归一化处理，归一化后的基础数据能够保证不同设备之间具有可比性。其次，对系统采集到的运维数据进行初步清洗。如果采用统一格式的采集方法，会产生大量相同或相似的运维信息，难以满足推荐算法对于异构信息处理的要求。如果采用不同的处理方法，可能会产生大量冗余信息，降低推荐算法的效率。因此，在系统设计之初就要考虑如何将不同设备上采集到的基础数据进行整合和规范。

3.2 算法设计

协同过滤推荐算法是目前应用最广泛的一种信息推荐算法，根据用户之间的历史交互记录，分析用户对某一类或多类物品的偏好，从而为用户推荐类似的物品。协同过滤算法可以分为两大类，即基于物品协同过滤算法和用户协同过滤算法。首先输入用户对某一类或多类物品的偏好信息，然后利用该用户对该类或多类物品的历史交互信息计算用户对该类或多类物品的偏好信息，最终根据用户与该类或多类物品之间的相似度，为其推荐类似商品。基于用户协同过滤推荐系统是一种针对用户特征进行个性化推荐的系统。利用用户对某一类或多类物品的偏好信息计算用户对该类或多类物品的偏好信息，根据这些偏好信息对目标用户进行个性化推荐。与物品协同过滤相比，用户协同过滤不需要考虑如何提取历史交互记录中的特征信息，因为这些特征信息在历史交互记录中已经存在[1]，可以直接使用。与物品协同过滤不同的是，用户协同过滤需要考虑如何将目标用户和目标产品之间进行匹配，具体实现过程中涉及多个关键算法，如相似性度量算法、推荐算法、排序算法等。

3.3 推荐策略设计

协同过滤信息推荐系统主要解决的是用户之间的协同问题，而不是给用户推荐商品。在推荐策略中，通常需要根据用户的历史行为数据预测用户对商品的偏好，这种方法在一定程度上能满足用户需求，但在实际使用中往往存在一定的问题。

首先，用户历史行为数据的获取比较困难。用户在使用智能运维平台时，会产生大量数据，这些数据对于协同过滤信息推荐系统来说是一种潜在的“冷启动”资源。由于这些数据都是由运维人员手动记录下来的，其中包含大量的无效或不完整数据，因此在处理这些数据时，需要投入大量的人力和时间成本。其次，用户历史行为数据可能并不能真正地反映用户真正喜欢的商品。虽然推荐系统应该尽量贴近真实情况，但由于智能运维平台上存在着大量相似或者相同的商品，可能会出现“推荐不准确”或“推荐与实际情况不符”等情况。最后，推荐系统中推荐算法和模型太多。例如，常见的协同过滤算法主要包括基于内容、基于项目、基于内容与协同过滤相结合、基于内容与项目相结合4 种方法。其中，基于项目算法是最基本，也是最常用的一种方法，可以直接应用于各种推荐系统，而基于内容与协同过滤相结合则是近年来研究较多的一种算法，因为其他算法具有一定的局限性，所以很少单独使用。用户历史行为数据不足导致的数据稀疏性问题，可以考虑使用基于内容与协同过滤相结合的算法，但是这种方法存在冷启动问题。在该方法中，由于用户历史行为数据不足导致用户无法找到自己喜欢或感兴趣的商品，因此很难确定用户到底喜欢什么商品。针对这一问题，可以考虑在该算法中引入协同过滤推荐模块或混合推荐模块。

根据上述分析可知，协同过滤推荐系统在设计时，要充分考虑智能运维平台上存在的大量相同、相似商品或服务。在具体设计时，需要根据实际情况进行适当调整。例如，在推荐策略中引入协同过滤算法，并不意味着可以完全不考虑其他推荐算法。具体来说，可根据实际情况对推荐系统进行相应的调整，以满足用户需求。一些特别小众或者个性化较强的商品或服务不适合直接引入协同过滤算法，这类商品或服务可以考虑采用混合推荐策略提高推荐效率[2]。为达到更好推荐效果，可以针对不同情况对推荐系统进行适当调整，以满足不同用户的需求。

3.4 协同过滤算法的选择和优化

协同过滤算法的选择主要有3 个方面，分别是计算成本、数据稀疏性、算法复杂度。计算成本是指算法的计算开销，通常推荐系统的推荐策略分为在线和离线两种，在线推荐需要保证算法的可扩展性，所以算法的选择也是系统设计中需要考虑的因素之一。离线情况下，协同过滤算法一般是基于项目本身的信息进行推荐，计算量较小，且易于实现。在选择协同过滤算法时，需要充分考虑其可扩展性。数据稀疏性是指系统中存在大量未标记的数据，由于数据稀疏性问题，传统协同过滤算法中使用的矩阵分解技术很难达到预期效果。近年来，深度学习技术在推荐领域得到了广泛应用，使基于深度学习的推荐技术成为一种重要的选择。因此，在智能运维平台中设计协同过滤信息推荐系统时，应充分考虑自身实际情况和应用场景的特点和需求。协同过滤算法是一种基于用户/项目评分数据进行预测推荐的方法[3]。对于传统协同过滤算法而言，由于用户/项目评分数据较少且维度较低，其推荐效果往往不能满足实际需要，所以在进行协同过滤算法选择时应充分考虑这一因素。

3.5 系统架构

协同过滤信息推荐系统主要由3 部分组成，分别是用户画像、信息推荐引擎以及基于内容的推荐引擎。用户画像部分用于描述用户的基本信息，例如姓名、性别、年龄、工作岗位等；信息推荐引擎主要用于推荐系统中使用的各种故障信息，包括应用服务的异常报警、应用系统告警、应用服务性能指标等。用户画像部分是整个系统的核心部分，为整个系统提供了丰富的数据来源。例如，可以根据用户以往的故障报告、日志等数据生成用户画像，根据用户在使用应用服务过程中产生的行为数据，如日志记录中产生的网络连接数、CPU 使用率等，生成用户画像；还可以根据用户使用应用服务的行为特征，如网络请求频率、网络流量大小等，生成用户画像。协同过滤信息推荐引擎是整个系统的核心部分，可以根据系统中存在的数据和算法模型，生成推荐结果，推荐结果可以分为3 类。第一，由系统推荐给用户的结果，即推荐给用户的推荐信息。第二，由系统推荐给其他相关人员（运维人员、开发人员）的结果，即协同过滤算法生成的推荐信息。第三，由其他运维人员（系统运维人员）直接生成的结果。基于内容的推荐引擎可以提供更加丰富的数据来源，在协同过滤算法生成的推荐信息中还可以添加一些额外特征和属性[4]。例如，根据应用服务的网络连接数、CPU 使用率等描述应用服务发生的异常情况；根据应用服务时间描述应用服务发生的异常情况；根据应用服务负载描述应用服务发生的异常情况等。

3.6 功能设计

系统主要由数据管理、协同过滤、信息推荐和用户管理模块构成。数据管理模块提供了用户基本信息管理、性能信息管理等功能，为用户提供基础的运维数据支持，协同过滤模块提供了故障信息推荐功能，通过建立用户－故障关系，为用户推荐可能感兴趣的故障信息，信息推荐模块提供了用户偏好信息的推荐，包括对故障处理结果和处理时间的推荐、对故障处理结果的排序推荐，用户管理模块主要实现了系统管理员对系统的配置、修改、删除、监控等功能。协同过滤是基于用户历史行为数据的个性化推荐。数据预处理是通过数据清洗模块对用户历史行为数据进行清洗和过滤，去除噪声[5]。此外，系统还支持将清洗后的数据进行聚类处理，以提高算法精度。改进的协同过滤算法是将经典协同过滤算法和新的改进算法相结合。