学习序列模式挖掘

article/2025/9/20 18:46:58

学习序列模式挖掘

1.1介绍

已Apriori算法为例，此算法是经典的挖掘频繁项集和关联规则的数据挖掘算法。A priori在拉丁语中指"来自以前"。当定义问题时，通常会使用先验知识或者假设，这被称作"一个先验"（a priori）。Apriori算法的名字正是基于这样的事实：算法使用频繁项集性质的先验性质，即频繁项集的所有非空子集也一定是频繁的。Apriori算法使用一种称为逐层搜索的迭代方法，其中k项集用于探索(k+1)项集。首先，通过扫描数据库，累计每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。该集合记为L1。然后，使用L1找出频繁2项集的集合L2，使用L2找出L3，如此下去，直到不能再找到频繁k项集。每找出一个Lk需要一次数据库的完整扫描。Apriori算法使用频繁项集的先验性质来压缩搜索空间。

1.2基本概念

项与项集：设itemset={item1, item_2, …, item_m}是所有项的集合，其中，item_k(k=1,2,…,m)成为项。项的集合称为项集（itemset），包含k个项的项集称为k项集(k-itemset)。

事务与事务集：一个事务T是一个项集，它是itemset的一个子集，每个事务均与一个唯一标识符Tid相联系。不同的事务一起组成了事务集D，它构成了关联规则发现的事务数据库。

关联规则：关联规则是形如A=>B的蕴涵式，其中A、B均为itemset的子集且均不为空集，而A交B为空。

支持度(support)：关联规则的支持度定义如下：
https://images2015.cnblogs.com/blog/788978/201704/788978-20170416201345524-212659830.png
其中P(A U B)表示事务包含集合A和B的并（即包含A和B中的每个项）的概率。注意与P(A or B)区别，后者表示事务包含A或B的概率。

置信度(confidence)：关联规则的置信度定义如下：
https://images2015.cnblogs.com/blog/788978/201704/788978-20170416201346477-1599144043.png
项集的出现频度(support count)：包含项集的事务数，简称为项集的频度、支持度计数或计数。

频繁项集(frequent itemset)：如果项集I的相对支持度满足事先定义好的最小支持度阈值（即I的出现频度大于相应的最小出现频度（支持度计数）阈值），则I是频繁项集。

强关联规则：满足最小支持度和最小置信度的关联规则，即待挖掘的关联规则。

1.3关联规则挖掘
一般而言，关联规则的挖掘是一个两步的过程：

a.找出所有的频繁项集

b.由频繁项集产生强关联规则

挖掘频繁项集

2.1相关定义：

	连接步骤：频繁(k-1)项集Lk-1的自身连接产生候选k项集Ck

Apriori算法假定项集中的项按照字典序排序。如果Lk-1中某两个的元素（项集）itemset1和itemset2的前(k-2)个项是相同的，则称itemset1和itemset2是可连接的。所以itemset1与itemset2连接产生的结果项集是{itemset1[1], itemset1[2], …, itemset1[k-1], itemset2[k-1]}。连接步骤包含在下文代码中的create_Ck函数中。

	剪枝策略

由于存在先验性质：任何非频繁的(k-1)项集都不是频繁k项集的子集。因此，如果一个候选k项集Ck的(k-1)项子集不在Lk-1中，则该候选也不可能是频繁的，从而可以从Ck中删除，获得压缩后的Ck。下文代码中的is_apriori函数用于判断是否满足先验性质，create_Ck函数中包含剪枝步骤，即若不满足先验性质，剪枝。

	删除策略

基于压缩后的Ck，扫描所有事务，对Ck中的每个项进行计数，然后删除不满足最小支持度的项，从而获得频繁k项集。删除策略包含在下文代码中的generate_Lk_by_Ck函数中。

2.2步骤：

1.每个项都是候选1项集的集合C1的成员。算法扫描所有的事务，获得每个项，生成C1（见下文代码中的create_C1函数）。然后对每个项进行计数。然后根据最小支持度从C1中删除不满足的项，从而获得频繁1项集L1。

2.对L1的自身连接生成的集合执行剪枝策略产生候选2项集的集合C2，然后，扫描所有事务，对C2中每个项进行计数。同样的，根据最小支持度从C2中删除不满足的项，从而获得频繁2项集L2。

3.对L2的自身连接生成的集合执行剪枝策略产生候选3项集的集合C3，然后，扫描所有事务，对C3每个项进行计数。同样的，根据最小支持度从C3中删除不满足的项，从而获得频繁3项集L3。

4.以此类推，对Lk-1的自身连接生成的集合执行剪枝策略产生候选k项集Ck，然后，扫描所有事务，对Ck中的每个项进行计数。然后根据最小支持度从Ck中删除不满足的项，从而获得频繁k项集。

	由频繁项集产生关联规则

一旦找出了频繁项集，就可以直接由它们产生强关联规则。产生步骤如下：

1.对于每个频繁项集itemset，产生itemset的所有非空子集（这些非空子集一定是频繁项集）；

2.对于itemset的每个非空子集s
如果
在这里插入图片描述

则输出
在这里插入图片描述

min_conf是最小置信度阈值。

2.3挖掘频繁项集的样例图解
在这里插入图片描述

3.1完整代码

def load_data_set():
“”"
Load a sample data set (From Data Mining: Concepts and Techniques, 3th Edition)
Returns:
A data set: A list of transactions. Each transaction contains several items.
“”"
data_set = [[‘l1’, ‘l2’, ‘l5’], [‘l2’, ‘l4’], [‘l2’, ‘l3’],
[‘l1’, ‘l2’, ‘l4’], [‘l1’, ‘l3’], [‘l2’, ‘l3’],
[‘l1’, ‘l3’], [‘l1’, ‘l2’, ‘l3’, ‘l5’], [‘l1’, ‘l2’, ‘l3’]]
return data_set

def create_C1(data_set):
“”"
Create frequent candidate 1-itemset C1 by scaning data set.
Args:
data_set: A list of transactions. Each transaction contains several items.
Returns:
C1: A set which contains all frequent candidate 1-itemsets
“”"
C1 = set()
for t in data_set:
for item in t:
item_set = frozenset([item])
C1.add(item_set)
return C1

def is_apriori(Ck_item, Lksub1):
“”"
Judge whether a frequent candidate k-itemset satisfy Apriori property.
Args:
Ck_item: a frequent candidate k-itemset in Ck which contains all frequent
candidate k-itemsets.
Lksub1: Lk-1, a set which contains all frequent candidate (k-1)-itemsets.
Returns:
True: satisfying Apriori property.
False: Not satisfying Apriori property.
“”"
for item in Ck_item:
sub_Ck = Ck_item - frozenset([item])
if sub_Ck not in Lksub1:
return False
return True

def create_Ck(Lksub1, k):
“”"
Create Ck, a set which contains all all frequent candidate k-itemsets
by Lk-1’s own connection operation.
Args:
Lksub1: Lk-1, a set which contains all frequent candidate (k-1)-itemsets.
k: the item number of a frequent itemset.
Return:
Ck: a set which contains all all frequent candidate k-itemsets.
“”"
Ck = set()
len_Lksub1 = len(Lksub1)
list_Lksub1 = list(Lksub1)
for i in range(len_Lksub1):
for j in range(1, len_Lksub1):
l1 = list(list_Lksub1[i])
l2 = list(list_Lksub1[j])
l1.sort()
l2.sort()
if l1[0:k-2] == l2[0:k-2]:
Ck_item = list_Lksub1[i] | list_Lksub1[j]
# pruning
if is_apriori(Ck_item, Lksub1):
Ck.add(Ck_item)
return Ck

def generate_Lk_by_Ck(data_set, Ck, min_support, support_data):
“”"
Generate Lk by executing a delete policy from Ck.
Args:
data_set: A list of transactions. Each transaction contains several items.
Ck: A set which contains all all frequent candidate k-itemsets.
min_support: The minimum support.
support_data: A dictionary. The key is frequent itemset and the value is support.
Returns:
Lk: A set which contains all all frequent k-itemsets.
“”"
Lk = set()
item_count = {}
for t in data_set:
for item in Ck:
if item.issubset(t):
if item not in item_count:
item_count[item] = 1
else:
item_count[item] += 1
t_num = float(len(data_set))
for item in item_count:
if (item_count[item] / t_num) >= min_support:
Lk.add(item)
support_data[item] = item_count[item] / t_num
return Lk

def generate_L(data_set, k, min_support):
“”"
Generate all frequent itemsets.
Args:
data_set: A list of transactions. Each transaction contains several items.
k: Maximum number of items for all frequent itemsets.
min_support: The minimum support.
Returns:
L: The list of Lk.
support_data: A dictionary. The key is frequent itemset and the value is support.
“”"
support_data = {}
C1 = create_C1(data_set)
L1 = generate_Lk_by_Ck(data_set, C1, min_support, support_data)
Lksub1 = L1.copy()
L = []
L.append(Lksub1)
for i in range(2, k+1):
Ci = create_Ck(Lksub1, i)
Li = generate_Lk_by_Ck(data_set, Ci, min_support, support_data)
Lksub1 = Li.copy()
L.append(Lksub1)
return L, support_data

def generate_big_rules(L, support_data, min_conf):
“”"
Generate big rules from frequent itemsets.
Args:
L: The list of Lk.
support_data: A dictionary. The key is frequent itemset and the value is support.
min_conf: Minimal confidence.
Returns:
big_rule_list: A list which contains all big rules. Each big rule is represented
as a 3-tuple.
“”"
big_rule_list = []
sub_set_list = []
for i in range(0, len(L)):
for freq_set in L[i]:
for sub_set in sub_set_list:
if sub_set.issubset(freq_set):
conf = support_data[freq_set] / support_data[freq_set - sub_set]
big_rule = (freq_set - sub_set, sub_set, conf)
if conf >= min_conf and big_rule not in big_rule_list:
# print freq_set-sub_set, " => ", sub_set, "conf: ", conf
big_rule_list.append(big_rule)
sub_set_list.append(freq_set)
return big_rule_list

if name == “main”:
“”"
Test
“”"
data_set = load_data_set()
L, support_data = generate_L(data_set, k=3, min_support=0.2)
big_rules_list = generate_big_rules(L, support_data, min_conf=0.7)
for Lk in L:
print("="*50)
print(“frequent " + str(len(list(Lk)[0])) + “-itemsets\t\tsupport”)
print(”="*50)
for freq_set in Lk:
print(freq_set, support_data[freq_set])
print()
print(“Big Rules”)
for item in big_rules_list:
print(item[0], “=>”, item[1], "conf: ", item[2])


http://chatgpt.dhexx.cn/article/qmAlSiIG.shtml

相关文章

Python判断素数

Python判断素数

阅读更多...
Python｜判断素数

Python｜判断素数

1. 判断一个从键盘输入的整型数是否是素数 num int(input()) for i in range(2, num//2):if num % i 0:print("%d不是一个素数" % num)break else:print("%d是一个素数" % num)控制台输入11，结果即： 2.随机生成10个两位正整数&a…
阅读更多...
C语言if语句判断素数,利用简单的if语句判断素数

C语言if语句判断素数,利用简单的if语句判断素数

8种机械键盘轴体对比 本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？ 判断素数这个问题是c语言条件，循环中最简单的一个问题 下面就来介绍一下判断素数的代码吧 #include “stdio.h” void main() { int x,i; int flag1;…
阅读更多...
C语言 - 判断素数

C语言 - 判断素数

定义： 素数（Prime number，又称质数），指在大于1的自然数中，除了1和该数自身外，无法被其他自然数整除的数 思路一：试除法 1.如果数字 i 能被 2 ~ i-1 整除，说明 i 就是素数…
阅读更多...
函数判断素数

函数判断素数

1、实现一个函数，判断一个数是不是素数。 2、利用上面实现的函数打印100到200之间的素数。 素数的定义：素数是指大于一的整数中，只能被1和这个数本身整除的数。 假设这个数是n，那么用for循环去遍历，在2——n-1&…
阅读更多...
C语言判断素数

C语言判断素数

素数又称质数。所谓素数是指除了 1 和它本身以外，不能被任何整数整除的数，例如7就是素数，因为它不能被 2~6 的任一整数整除。注意：一般情况下，质数合数只是针对于非零自然数而言，负数没有质数合数一说。 思…
阅读更多...
用python判断素数_python判断素数

用python判断素数_python判断素数

广告关闭 腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！ 质数（prime number），又称素数，指在大于1的自然数中，除了1和该数自身外，无法被其他自然数整除的数（也可定义为只有1与该数本身两个因数的数）。 那么想计…
阅读更多...
判断素数的方法（全部方法）

判断素数的方法（全部方法）

功能 最快、最合适地判断一个数为素数 说明 分为打表法和单个判断法两类方法 打表法 是开始时将所有素数标记出来，适合多次调用判断，前两种属于打表法 单个判断法 则是只一个数一个数判断，适合少量判断来节省时间，后俩种属…
阅读更多...
c语言判断素数(c语言判断素数)

c语言判断素数(c语言判断素数)

C语言中素数判断 是素数就返回1&#xff0c;不是的话返回0。 int IsPrime(int n) int i; if (n 1 || n 2 || n 3 || n 5) return 1; else if (n % 2) for (i 3; i < n / 2 1; i 2) if (n % i 0) return 0; return 1; else return 0; } 代码如下&#xf…
阅读更多...
C语言判断素数的三种方法 判断素数（质数）

C语言判断素数的三种方法 判断素数（质数）

题目&#xff1a; 方法一&#xff1a;在2到n-1之间任取一个数,如果n能被整除则不是素数&#xff0c;否则就是素数 代码示例如下&#xff1a; #include <stdio.h> int main() {int i,n;printf("Please input: ");scanf("%d",&n);for(i2;i<n-…
阅读更多...
C语言判断素数（求素数）

C语言判断素数（求素数）

C语言判断素数&#xff08;求素数&#xff09; 素数又称质数。所谓素数是指除了 1 和它本身以外&#xff0c;不能被任何整数整除的数&#xff0c;例如17就是素数&#xff0c;因为它不能被 2~16 的任一整数整除。 思路1)&#xff1a;因此判断一个整数m是否是素数&#xff0c;只需…
阅读更多...
Flink自定义生成 Watermark

Flink自定义生成 Watermark

Watermark 策略简介 # 为了使用事件时间语义&#xff0c;Flink 应用程序需要知道事件时间戳对应的字段&#xff0c;意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。 时间戳的分配与 wat…
阅读更多...
Flink学习:WaterMark

Flink学习:WaterMark

WaterMark 一、什么是水位线?二、案例分析三、如何生成水位线?(一)、在SourceFunction中直接定义Timestamps和Watermarks(二)、自定义生成Timstamps和Watermarks 一、什么是水位线? 通常情况下,由于网络或系统等外部因素影响,事件数据往往不能及时传输至Flink系统中,导致数…
阅读更多...
flink watermark

flink watermark

flink1.12版本开始&#xff0c;事件事件作为默认的时间语义 watermark是flink逻辑时钟&#xff0c;不是真正意义上的表&#xff0c;而是靠着数据去推动它的时间不停的往前走 工厂生产的商品上面印有时间戳&#xff0c;八点到九点的商品要坐一班车运走&#xff0c;商品从生产到…
阅读更多...
Flink WaterMark 详解

Flink WaterMark 详解

摘录仅供学习使用&#xff0c;原文来自&#xff1a; Flink详解系列之五--水位线&#xff08;watermark&#xff09; - 简书 1、概念 在Flink中&#xff0c;水位线是一种衡量Event Time进展的机制&#xff0c;用来处理实时数据中的乱序问题的&#xff0c;通常是水位线和窗口结合…
阅读更多...
Flink：watermark

Flink：watermark

Table of Contents 三种时间概念 Processing time Event Time Ingestion time watermark 并行流的Watermarks 迟到的事件 watermark分配器 watermark的两种分配器 三种时间概念 在谈watermark之前&#xff0c;首先需要了解flink的三种时间概念。在flink中&#xff0c;…
阅读更多...
Flink 水位线（Watermark）

Flink 水位线（Watermark）

文章目录 什么是水位线水位线的特性如何生成水位线Flink 内置水位线生成器自定义水位线策略在自定义数据源中发送水位线水位线的总结 在实际应用中&#xff0c;一般会采用事件时间语义。而水位线&#xff0c;就是基于事件时间提出的概念。一个数据产生的时刻&#xff0c;就是流…
阅读更多...
vue -- watermark水印添加方法

vue -- watermark水印添加方法

作者&#xff1a;蛙哇 原文链接&#xff1a; https://segmentfault.com/a/1190000022055867 来源&#xff1a;segmentfault 前言 项目生成公司水印是很普遍的需求&#xff0c;下面是vue项目生产水印的方法。话不多说&#xff0c;复制粘贴就可以马上解决你的需求。 步骤1 创建…
阅读更多...
tp-watermark.js网页添加水印插件

tp-watermark.js网页添加水印插件

tp-watermark.js网页添加水印插件 作者&#xff1a;鹏仔先生 上周五&#xff0c;出差去改上个前端遗留的小问题&#xff0c;用到了watermark.js这个网站添加水印插件&#xff0c;功能很简单&#xff0c;就是给网页添加个水印&#xff0c;我看了下网上&#xff0c;有很多种&…
阅读更多...
实用有效！React项目中使用watermark.js添加水印效果

实用有效！React项目中使用watermark.js添加水印效果

为了避免公司的内部文档被截图外泄&#xff0c;有必要在系统页面上面增加水印。 第一步&#xff1a; 下载依赖包&#xff1a; npm install watermark-dompackage.json中会添加一个依赖如下&#xff1a; "watermark-dom": "^2.3.0"第二步&#xff1a; 引…
阅读更多...
推荐文章

Copyright @ 2022~2023