关联规则挖掘_基于人工智能的网络告警关联分析处理的应用

article/2025/9/6 23:18:22

1 概述

随着通信网络近些年的快速发展,其规模已经相当庞大,在网络中每天都会产生告警信息,并且这些信息数据量庞大、突发故障多,当网络设备出现故障并引发告警时,与它关联的设备也会引发相应的故障,并在短时间内产生大量告警信息[1-2]。由于一个故障的产生往往会引发多个告警事件,与故障相关的设备以及业务过程都会发出相关的告警信息,同时多个故障引发的告警信息会叠加到一起,把真正的告警信息淹没在里面,导致故障识别十分困难。当前网络告警的监控和管理主要依靠人工完成,网络运营维护成本高昂,处理过程十分耗时,在发生大量故障告警时基本不能满足告警处理的实时性要求。

告警相关性分析是网络故障诊断的重要方法之一,告警相关性分析采用的方法有很多,例如基于规则的告警相关性分析、基于事例的告警相关性分析、基于因果模型的相关性分析、基于神经网络的相关性分析等。但是这些方法都存在一定的缺点,例如基于事例的方法对于网络变化处理反映不敏感,这是因为它由特定应用领域决定,而不存在一个各个领域通用的事例,基于规则的方法难以适应大规模和技术复杂的通信网络模型,这是因为它需要人工来维护大量告警规则。目前我国的综合网络管理市场上,大部分相关产品,都提出了告警相关性分析的支持功能,也有部分公司表明其产品实现了告警相关性的分析,但其实只是实现了一些比较基础的告警过滤、告警规避等功能,规则的生成有待进一步实验研究[3-7]。

本文提出一种使用规则挖掘及基于规则的关联方法[8],主要是将当前告警系统领域的告警知识包含在一组规则集合中,通过对检测到的告警进行判定,并使用相应的推理规则来分类一个或者多个告警的发生是否符合某一个规则,进而确定具体的故障类型[9]。其工作原理主要是依赖于规则库和推理引擎。在规则库中将很多实践中获取的知识通过适当编码形成IF-THEN式的规则,递归向下匹配规则,定位最终的故障源。当发生新的告警时,系统将启用推理引擎来对告警进行处理。这种方法表现形式单一、直观,所以不需要长时间的培训学习,也不需要了解网络的底层架构,就可以定位网络中发生的故障。

2 网络告警分析处理系统设计

告警分析处理分为2个阶段:告警规则挖掘阶段、告警分析处理阶段。告警规则挖掘阶段是为了实现基于历史告警数据的大数据分析,从历史数据中获得告警之间的关联规则,形成规则数据库;告警分析处理阶段目的是基于所获得的规则数据库中的关联规则,对网络中的当前告警进行分析和处理,获得当前告警中的根源告警及衍生告警。

告警规则挖掘阶段采用离线处理的方式,对历史数据进行分析和挖掘,不要求实时性。初次部署时,获取大量网络历史告警,进行规则挖掘初始化,形成规则数据库,在网络中部署后,采用定期挖掘规则的形式,对规则数据库进行增量更新和补充。

告警分析处理阶段采用在线处理的方式,对当前告警进行处理,要求实时性。在软件部署后,便通过网管后台接口与网管进行通信,实时对网络告警进行处理。

e064f3a7520ccb9cff7e544a8bb1ce04.png

图1给出了告警分析处理系统总体架构。

2.1 告警数据统计分析

本文对网络告警类型出现频次做了初步统计,如图2所示。从分布图可以看出,告警信息集中在少数几种类型中,例如PK_LOS,RCONTEXT_PACKET_LOS,VP_RDI,RCONTEXT_PACKET_LOS,E1_AIS等告警类型占据了约90%以上的信息,而M_B


http://chatgpt.dhexx.cn/article/SqkFpQfu.shtml

相关文章

关联规则常用算法

关联规则(Association Rules)是海量数据挖掘(Mining Massive Datasets,MMDs)非常经典的任务,其主要目标是试图从一系列事务集中挖掘出频繁项以及对应的关联规则。关联规则来自于一个家喻户晓的“啤酒与尿布…

关联规则挖掘算法

关联规则挖掘是一种基于规则的机器学习算法,该算法可以在大数据库中发现感兴趣的关系。它的目的是利用一些度量指标来分辨数据库中存在的强规则。也即是说关联规则挖掘是用于知识发现,而非预测,所以是属于无监督的机器学习方法。 “尿布与啤酒…

Python实现关联规则推荐

1.什么关联规则 关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性,如果两个或多个事物之间存在一定的关联关系,那么,其中一个事物就能通过其他事物预测到。关联规则是数据挖掘的…

关联规则

何为关联规则,关联规则是发现事物之间关联关系的分析过程,其典型的例子就是购物篮分析。购物篮分析就是确定顾客在一次购物过程中一起购买的商品,通过分析发现不同商品之间的购买习惯,发现顾客购买的行为习惯,从而发现…

python 关联规则

文章目录 一、基本概念定义1. 记录(事务)定义2. 事务集定义3. 项目(项)定义4. 项目集(项集)定义5. k项集定义6. 支持度(Support)定义7. 置信度(Confidence)定…

关联规则分析

文章目录 一、经典案例二、相关概念由k个项构成的集合X>Y含义事务仅包含其涉及到的项目,而不包含项目的具体信息支持度 (support)置信度 (confidence)提升度 (lift) 三、实验分析自制数据集电影数据集题材 一、经典案例 在美国,一些年轻的父亲下班后…

关联规则(Association Rules)笔记

1 关联规则产生的原因:购物篮问题 关联规则最初是为了解决购物篮问题而产生。上世纪九十年代,美国的沃尔玛超市发现,啤酒和尿布这两种完全不着边际的商品竟然有很高的概率一起被购买。 在一段时间之后,他终于分析出了原因&#xf…

关联规则(Apriori、FP-grpwth)

什么是关联规则 关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性,是数据挖掘的一个重要技术,用于从大量数据中挖掘出有价值的数据项之间的相关关系。 所谓数据挖掘就是以某种方式分析源数据&#…

大数据分析笔记 (4) -关联规则(Association Rules)

大数据分析笔记 - 关联规则 总览Apriori算法算法流程评估候选规则 (Evaluation of Candidate Rules)置信度 (Confidence)提升度 (Lift)杠杆率 (leverage)对比结合方法 (Combination of Measures) 验证和测试诊断 应用 总览 关联规则是一种无监督学习方法。这是一种描述性(desc…

机器学习-关联规则

关联规则:关联规则是描述在一个交易中物品之间同时出现的规律的知识模式,更确切的说,关联规则是通过量化的数字描述物品A的出现对物品B的出现有多大影响 A与B是独立的两个非空事务,且A、B同属于一个事务集,那么关联规则是形如A=>B的蕴含式。 关联规则有两种度量标准:…

关联规则算法学习—Apriori

关联规则算法学习—Apriori 一、实验项目:关联规则算法学习 项目性质:设计型 二、实验目的: 理解并掌握关联规则经典算法Apriori算法,理解算法的原理,能够实现算法,并对给定的数据集进行关联规则挖掘 三、实…

统计分析 -- t分布

t 分布的图形与特征 以0为中心,左右对称的单峰分布;t分布曲线是一簇曲线,其形态变化与自由度的大小有关。自由度越小,则t 值越分散,t分布曲线的峰部越矮而尾部翘得越高;说明尾部面积(概率P&…

t分布表

非常需要,保存下来,随时可以取

正态分布/卡方分布/F分布/T分布

正态分布: 正态分布(Normal distribution)又名高斯分布(Gaussiandistribution),若随机变量X服从一个数学期望为μ、方差为σ^2的高斯分布,记为N(μ,σ^2)。其概率密度函数为正态分布…

t分布(Student t distribution)——正态分布的小样本抽样分布

目录 大样本抽样分布 正态分布小样本抽样分布—t分布 运用t分布构建小样本抽样均值的置信区间 运用t分布进行小样本抽样均值检验 大样本抽样分布 对于大样本的抽样分布,由中心极限定理,无论总体分布是否为正态分布,其均值x_bar的抽样分布…

t分布的构造

t分布是在正态分布和卡方分布的基础上构造的, 我们通过代码实现一下 import numpy as np import seaborn as sns import matplotlib.pyplot as plt import warnings warnings.filterwarnings("ignore")# 正态分布 N np.random.normal(0, 1, 100000)# 自由度为 2, …

数理知识:偏t分布

Hello,大家好!最近有在学习一些有关偏态分布的数理知识,但在搜偏 t t t分布的相关资料的时候感觉比较散,所以做个整理,主要参考的书籍是Azzalini在2014年出版的一本有关偏态分布族的书《The Skew-Normal and Related F…

正态分布、t分布、卡方分布、F分布的关系与差异

要理解这些分布,要从基础的正态分布开始。 1. 正态分布 下面是维基百科对正态分布的介绍: 正态分布(英语:normal distribution)又名高斯分布(英语:Gaussian distribution),是一个非常常见的连续概率分布。若随机变量 X服从一个位置参数为 ?、尺度参数为 σ 的正态分…

t分布与t检验详解

最近又遇到了t分布及t检验方面的内容,发现有些地方自己当初没有很明白,就又查了些资料,加深了一下自己的理解,这里也将自己的一些理解记录下来。 1. 理论基础——大数定理与中心极限定理 在正式介绍t分布前,还是再强调一下数理统计学中的两大基石般的定理:大数定理与中心…