【Python机器学习专栏】关联规则学习:Apriori算法详解

简介: 【4月更文挑战第30天】Apriori算法是一种用于关联规则学习的经典算法,尤其适用于购物篮分析,以发现商品间的购买关联。该算法基于支持度和置信度指标,通过迭代生成频繁项集并提取满足阈值的规则。Python中可借助mlxtend库实现Apriori,例如处理购物篮数据,设置支持度和置信度阈值,找出相关规则。

在数据分析和数据挖掘中,关联规则学习是一种非常重要的技术,它旨在从大型数据集中发现变量之间的关系。关联规则学习的最典型应用场景就是“购物篮分析”,通过了解哪些商品经常一起被购买,零售商可以制定更有效的销售策略。Apriori算法是关联规则学习中最常用的一种算法,本文将对Apriori算法进行详细的介绍,并通过Python实现该算法。

一、关联规则学习概述

关联规则学习是一种在大型数据集中寻找项集之间有趣关系的方法。一个关联规则可以表示为X -> Y,其中X和Y是不相交的项集,即X ∩ Y = ?。关联规则学习的主要目标是找出支持度和置信度均满足一定阈值的强关联规则。

支持度(Support):表示项集{X, Y}在数据集中出现的频率,记作P(X, Y)。
置信度(Confidence):表示在出现项集X的条件下,项集Y也出现的概率,记作P(Y|X)。
二、Apriori算法原理

Apriori算法是一种基于候选项集生成和测试的关联规则学习算法。它利用了两个重要的性质来减少候选项集的数量:

如果一个项集是频繁的,则它的所有子集也一定是频繁的。
如果一个项集是非频繁的,则它的所有超集也一定是非频繁的。
基于这两个性质,Apriori算法通过迭代的方式生成候选项集,并计算每个候选项集的支持度,从而找出所有频繁的项集。在找到频繁的项集后,Apriori算法再从中提取出满足置信度阈值的关联规则。

三、Apriori算法步骤

数据准备:将数据集转换为适合Apriori算法处理的格式,通常是将数据集转换为布尔型矩阵,其中每一行代表一个事务,每一列代表一个项。

计算频繁1-项集:遍历数据集中的每一项,统计每项的出现次数,得到频繁1-项集列表L1。

迭代生成频繁k-项集(k > 1):

生成候选项集:根据L(k-1)和Apriori性质,生成候选k-项集列表Ck。
计算候选项集的支持度:遍历数据集中的每一个事务,统计Ck中每个候选项集的出现次数,从而计算支持度。
生成频繁k-项集:根据支持度阈值,从Ck中筛选出频繁的k-项集,形成列表Lk。
提取关联规则:从频繁项集中提取出满足置信度阈值的关联规则。

四、Python实现Apriori算法

在Python中,我们可以使用mlxtend库来实现Apriori算法。下面是一个简单的示例:

python
import pandas as pd
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules

示例数据集(购物篮数据)

dataset = [['牛奶', '面包', '黄油'],
['面包', '黄油', '尿布'],
['牛奶', '尿布', '啤酒', '鸡蛋'],
['面包', '牛奶', '尿布', '啤酒'],
['面包', '牛奶', '尿布', '鸡蛋'],
['面包', '黄油', '尿布', '啤酒'],
['面包', '黄油', '尿布', '可乐']]

将数据集转换为布尔型矩阵

def list_to_onehot(lst, vocabulary):
return [1 if word in lst else 0 for word in vocabulary]

合并所有事务形成词汇表

vocabulary = set([item for transaction in dataset for item in transaction])
transactions = [[list_to_onehot(transaction, vocabulary)] for transaction in dataset]

将布尔型矩阵转换为DataFrame

df = pd.DataFrame(transactions, columns=vocabulary)

计算频繁项集(设定支持度阈值为0.2)

frequent_itemsets = apriori(df, min_support=0.2, use_colnames=True)

提取关联规则(设定置信度阈值为0.7)

rules = association_rules(frequent_itemsets, metric="confidence", min_threshold=0.7)

打印关联规则

print(rules[['antecedents', 'consequents', 'support', 'confidence']])
在上面的代码中,我们首先定义了一个示例数据集,然后将其转换为布尔型矩阵。接着,我们使用mlxtend库中的

相关文章
|
16天前
|
NoSQL 算法 Java
【redis源码学习】持久化机制,java程序员面试算法宝典pdf
【redis源码学习】持久化机制,java程序员面试算法宝典pdf
|
18天前
|
机器学习/深度学习 算法 网络架构
什么是神经网络学习中的反向传播算法?
什么是神经网络学习中的反向传播算法?
17 2
|
18天前
|
机器学习/深度学习 算法
算法人生(5):从“元学习”看“战胜拖延”(没兴趣版)
元学习是让机器学会学习策略,适应新任务的机器学习范式。通过定义任务分布、采样任务、内在和外在学习循环来优化模型,增强其跨任务适应性和泛化能力。面对不感兴趣的任务导致的拖延,我们可以借鉴元学习的思路:重新评估任务价值,寻找通用兴趣点;设定奖励激发行动;改变环境以提高执行力。通过调整视角、自我激励和优化环境,可以克服因无兴趣而产生的拖延。
|
18天前
|
机器学习/深度学习 存储 算法
算法人生(4):从“选项学习”看“战胜拖延”(担心失败版)
选项学习是强化学习的一种策略,通过定义、学习和切换选项来解决复杂任务,将大任务分解为可重复使用的子任务,以提高学习效率和适应性。面对因担心失败而拖延的问题,我们可以借鉴选项学习的思想:将大任务拆分为小目标,正视失败作为成长的一部分,回顾成功经验并寻求支持。通过这种方式,逐步增强自信,降低拖延现象。
|
18天前
|
存储 机器学习/深度学习 数据可视化
基于Python的数据分组技术:将数据按照1, 2, 3规则分为三个列表
基于Python的数据分组技术:将数据按照1, 2, 3规则分为三个列表
12 1
|
18天前
|
算法 网络协议
【计网·湖科大·思科】实验三 总线型以太网的特性、集线器和交换机的区别、交换机的自学习算法
【计网·湖科大·思科】实验三 总线型以太网的特性、集线器和交换机的区别、交换机的自学习算法
24 1
|
18天前
|
算法 数据库
|
6月前
|
程序员 Python
PYTHON知识点学习-函数(中)
PYTHON知识点学习-函数(中)
50 0
|
15天前
|
数据采集 数据挖掘 Python
Python学习——函数,2024年最新手持4个大厂offer的我
Python学习——函数,2024年最新手持4个大厂offer的我
|
15天前
|
存储 Java Shell
【Python学习教程】Python函数和lambda表达式_6(1),2024蚂蚁金服面试题及答案
【Python学习教程】Python函数和lambda表达式_6(1),2024蚂蚁金服面试题及答案
http://www.vxiaotou.com