机器学习算法-朴素贝叶斯分类

机器学习算法--朴素贝叶斯分类

- 引入
- - 贝叶斯决策论
  - 条件概率和全概率公式
  - 贝叶斯推断和朴素贝叶斯推断
  - 拉普拉斯平滑
- 代码实例
- - 1、言论过滤器
  - 2、垃圾邮件过滤器
- 代做

引入

贝叶斯决策论(Bayesian decision theory)是概率论框架下实施决策的基本方法。对分类任务来说，在所有相关概率已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的标记。但是此种分类方法是基用于分类的特征之间的独立性来进行分类的，所以模型的精可能会受影响。

贝叶斯决策论

假设有N种可能的类别标记，即y={c1,c2,…,cN},对于一个样本x，我们用p(ci | x)表示样本x属于ci类的概率，我们将按照下面的规则来判断样本x的类别

c = maxp(ci | x) i = 1, 2, 3, ...... ,N 也就是说样本x的类别对应于最高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。

现在我们已经了解了贝叶斯决策理论的核心思想，那么接下来，就是学习如何计算p(ci | x)。

条件概率和全概率公式

在学习计算p(ci | x)之前，我们先来了解一下条件概率和全概率公式
条件概率
在这里插入图片描述
根据上图可以很容易看出在事件B发生的条件下，事件A发生的概率是

全概率公式
不开机除了条件概率之外，我们还要用到全概率公式。
假设有一个样本空间，有两个事件A和A’，样本空间S是是两个事件的和。
在这里插入图片描述
事件B在此条件的概率如下

所以P(B)=P(B∩A)+P(B∩A’ )，由上一节的推导可知P(A∩B) = P(A | B) * P(B)，所以

P(B)=P(B |A)P(A)+P(B|A' )P(A' ) 这就是全概率公式。它的含义是，如果A和A’构成样本空间的一个划分，那么事件B的概率，就等于A和A’的概率分别乘以B对这两个事件的条件概率之和。

贝叶斯推断和朴素贝叶斯推断

贝叶斯推断
将上述条件概率公式进行变形得
在这里插入图片描述
我们先来了解一下几个概念
P(A)：先验概率，在事件B发生前，事件A发生的概率
P(A |B)：后验概率，在事件B发生后，事件A发生的概率
(P(B│A))/P(B) ：调整因子，使得预估概率更接近真实概率
所以上述公式可以理解为

后验概率 = 先验概率 * 调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

朴素贝叶斯推断
理解了贝叶斯推断，那么让我们继续看看朴素贝叶斯。贝叶斯和朴素贝叶斯的概念是不同的，区别就在于“朴素”二字，朴素贝叶斯对条件个概率分布做了条件独立性的假设。我们假设样本X有n个特征：
在这里插入图片描述
由于我们假设样本的各个属性之间是相互独立的，所以，上述公式可以分解为如下形式

拉普拉斯平滑

需要注意的是，如果某个属性在训练集样本中没有与某个样本一起出现过，即某个概率P(xi | a)的值为0，此时用朴素贝叶斯分类的话就会出现问题。因为此时根据下面朴素贝叶斯推断中的概率公式来求后验概率时的连乘结果为0。
在这里插入图片描述
为了避免其他属性携带的信息被未出现的信息给抹除掉，在进行概率估计时，我们常用拉普拉斯平滑来进行修正
我们令D表示训练集，Dc表示训练集D中第c类样本组成的集合，Dc,xi表示Dc选中在第i个属性上取值为xi的样本组成的集合，则
在这里插入图片描述

经过拉普拉斯修正之后，上述连个概率公式转化为

在这里插入图片描述
其中 N表示训练集D中所有的类别种类，Ni表示第i个属性可能的取值数。

代码实例

1、言论过滤器

以评论留言为例，为了不影响在线社区的发展，所以要构建一个快速过滤器，判断一个评论是否包含侮辱性言论，如果是就将其标记为内容不当，不予显示
我们把每一个评论看做词条向量，考虑在所有文档中出现词汇，将其汇集成词汇表，其包括在所有文本中出现的词汇且没有重复。然后将每一条评论转换为词汇表上的向量，下面我们假设已经将文本切分完毕，并且已经对词汇向量进行了标记。

import numpy as np
from functools import reducedef loadDataSet():"""加载数据:return:postingList:实验样本切分的词条labelVec: 类别标签向量"""postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],  # 切分的词条['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],['stop', 'posting', 'stupid', 'worthless', 'garbage'],['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]labelVec = [0, 1, 0, 1, 0, 1]return postingList, labelVecdef createVocabList(postingList):"""根据实验样本词条创建词汇表:parampostingList: 样本词条:return:vocabList: 词汇表"""vocabList = set([])for each in postingList:vocabList = vocabList | set(each)return list(vocabList)def setOfWords2Vec(vocabList, postingList):""":paramvocabList: 词汇表postingList: 样本词条:return:returnVec:词汇表向量"""returnVec = [0] * len(vocabList)for word in postingList:if word in vocabList:returnVec[vocabList.index(word)] = 1return returnVecdef trainNB0(trainMat, labelMat):"""朴素贝叶斯分类器训练函数（添加拉普拉斯平滑优化）:paramtrainMat: 词汇表向量labelMat: 标签向量:return:p0Vect:侮辱类的条件概率数组p1Vect:非侮辱类的条件概率数组pAbusive:文档属于侮辱类的概率"""numTrainDocs = len(trainMat)numWords = len(trainMat[0])pAbusive = sum(labelMat) / float(numTrainDocs)p0Num = np.ones(numWords)p1Num = np.ones(numWords)p0Denom = 2.0p1Denom = 2.0for i in range(0, numTrainDocs):if labelMat[i] == 1:p1Num += trainMat[i]p1Denom += sum(trainMat[i])else:p0Num += trainMat[i]p0Denom += sum(trainMat[i])p1Vect = np.log(p1Num / p1Denom)p0Vect = np.log(p0Num / p0Denom)print(p0Denom)print(p1Denom)return p0Vect, p1Vect, pAbusivedef classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):"""函数说明:朴素贝叶斯分类器分类函数:paramvec2Classify:待分类的词条数组p0Vec: 侮辱类的条件概率数组p1Vec: 非侮辱类的条件概率数组pClass1: 文档属于侮辱类的概率:return:0 - 属于非侮辱类1 - 属于侮辱类"""p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)if p1 > p0:return 1else:return 0def testingNB():listOPosts, listClasses = loadDataSet()  # 创建实验样本myVocabList = createVocabList(listOPosts)  # 创建词汇表trainMat = []for postinDoc in listOPosts:trainMat.append(setOfWords2Vec(myVocabList, postinDoc))  # 将实验样本向量化print(trainMat)p0V, p1V, pAb = trainNB0(np.array(trainMat), np.array(listClasses))  # 训练朴素贝叶斯分类器testEntry = ['love', 'my', 'dalmation']  # 测试样本1thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化if classifyNB(thisDoc, p0V, p1V, pAb):print(testEntry, '属于侮辱类')  # 执行分类并打印分类结果else:print(testEntry, '属于非侮辱类')  # 执行分类并打印分类结果testEntry = ['stupid', 'garbage']  # 测试样本2thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化if classifyNB(thisDoc, p0V, p1V, pAb):print(testEntry, '属于侮辱类')  # 执行分类并打印分类结果else:print(testEntry, '属于非侮辱类')if __name__ == '__main__':testingNB()

实验结果：
在这里插入图片描述

2、垃圾邮件过滤器

下面这个例子中，我们将了解朴素贝叶斯的一个最著名的应用：电子邮件垃圾过滤。首先看一下使用朴素贝叶斯对电子邮件进行分类的步骤：

收集数据：提供文本文件。
准备数据：将文本文件解析成词条向量。
训练算法：使用我们之前建立的trainNB0()函数。
测试算法：使用classifyNB()，并构建一个新的测试函数来计算文档集的错误率。
使用算法：构建一个完整的程序对一组文档进行分类，将错分的文档输出到屏幕上。


# -*- coding: UTF-8 -*-
import numpy as np
import random
import re"""
函数说明:将切分的实验样本词条整理成不重复的词条列表，也就是词汇表Parameters:dataSet - 整理的样本数据集
Returns:vocabSet - 返回不重复的词条列表，也就是词汇表
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-11
"""
def createVocabList(dataSet):vocabSet = set([])  					#创建一个空的不重复列表for document in dataSet:				vocabSet = vocabSet | set(document) #取并集return list(vocabSet)"""
函数说明:根据vocabList词汇表，将inputSet向量化，向量的每个元素为1或0Parameters:vocabList - createVocabList返回的列表inputSet - 切分的词条列表
Returns:returnVec - 文档向量,词集模型
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-11
"""
def setOfWords2Vec(vocabList, inputSet):returnVec = [0] * len(vocabList)									#创建一个其中所含元素都为0的向量for word in inputSet:												#遍历每个词条if word in vocabList:											#如果词条存在于词汇表中，则置1returnVec[vocabList.index(word)] = 1else: print("the word: %s is not in my Vocabulary!" % word)return returnVec													#返回文档向量"""
函数说明:根据vocabList词汇表，构建词袋模型Parameters:vocabList - createVocabList返回的列表inputSet - 切分的词条列表
Returns:returnVec - 文档向量,词袋模型
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-14
"""
def bagOfWords2VecMN(vocabList, inputSet):returnVec = [0]*len(vocabList)										#创建一个其中所含元素都为0的向量for word in inputSet:												#遍历每个词条if word in vocabList:											#如果词条存在于词汇表中，则计数加一returnVec[vocabList.index(word)] += 1return returnVec													#返回词袋模型"""
函数说明:朴素贝叶斯分类器训练函数Parameters:trainMatrix - 训练文档矩阵，即setOfWords2Vec返回的returnVec构成的矩阵trainCategory - 训练类别标签向量，即loadDataSet返回的classVec
Returns:p0Vect - 非侮辱类的条件概率数组p1Vect - 侮辱类的条件概率数组pAbusive - 文档属于侮辱类的概率
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-12
"""
def trainNB0(trainMatrix,trainCategory):numTrainDocs = len(trainMatrix)							#计算训练的文档数目numWords = len(trainMatrix[0])							#计算每篇文档的词条数pAbusive = sum(trainCategory)/float(numTrainDocs)		#文档属于侮辱类的概率p0Num = np.ones(numWords); p1Num = np.ones(numWords)	#创建numpy.ones数组,词条出现数初始化为1，拉普拉斯平滑p0Denom = 2.0; p1Denom = 2.0                        	#分母初始化为2,拉普拉斯平滑for i in range(numTrainDocs):if trainCategory[i] == 1:							#统计属于侮辱类的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else:												#统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = np.log(p1Num/p1Denom)							#取对数，防止下溢出          p0Vect = np.log(p0Num/p0Denom)          return p0Vect,p1Vect,pAbusive							#返回属于侮辱类的条件概率数组，属于非侮辱类的条件概率数组，文档属于侮辱类的概率"""
函数说明:朴素贝叶斯分类器分类函数Parameters:vec2Classify - 待分类的词条数组p0Vec - 非侮辱类的条件概率数组p1Vec -侮辱类的条件概率数组pClass1 - 文档属于侮辱类的概率
Returns:0 - 属于非侮辱类1 - 属于侮辱类
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-12
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)    	#对应元素相乘。logA * B = logA + logB，所以这里加上log(pClass1)p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)if p1 > p0:return 1else: return 0"""
函数说明:接收一个大字符串并将其解析为字符串列表Parameters:无
Returns:无
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-14
"""
def textParse(bigString):                                                   #将字符串转换为字符列表# * 会匹配0个或多个规则，split会将字符串分割成单个字符【python3.5+】; 这里使用\W 或者\W+ 都可以将字符数字串分割开，产生的空字符将会在后面的列表推导式中过滤掉listOfTokens = re.split(r'\W+', bigString)                              #将特殊符号作为切分标志进行字符串切分，即非字母、非数字return [tok.lower() for tok in listOfTokens if len(tok) > 2]            #除了单个字母，例如大写的I，其它单词变成小写"""
函数说明:测试朴素贝叶斯分类器Parameters:无
Returns:无
Author:Jack Cui
Blog:http://blog.csdn.net/c406495762
Modify:2017-08-14
"""
def spamTest():docList = []; classList = []; fullText = []for i in range(1, 26):                                                  #遍历25个txt文件wordList = textParse(open('email/spam/%d.txt' % i, 'r').read())     #读取每个垃圾邮件，并字符串转换成字符串列表docList.append(wordList)fullText.append(wordList)classList.append(1)                                                 #标记垃圾邮件，1表示垃圾文件wordList = textParse(open('email/ham/%d.txt' % i, 'r').read())      #读取每个非垃圾邮件，并字符串转换成字符串列表docList.append(wordList)fullText.append(wordList)classList.append(0)                                                 #标记非垃圾邮件，1表示垃圾文件    vocabList = createVocabList(docList)                                    #创建词汇表，不重复trainingSet = list(range(50)); testSet = []                             #创建存储训练集的索引值的列表和测试集的索引值的列表                        for i in range(10):                                                     #从50个邮件中，随机挑选出40个作为训练集,10个做测试集randIndex = int(random.uniform(0, len(trainingSet)))                #随机选取索索引值testSet.append(trainingSet[randIndex])                              #添加测试集的索引值del(trainingSet[randIndex])                                         #在训练集列表中删除添加到测试集的索引值trainMat = []; trainClasses = []                                        #创建训练集矩阵和训练集类别标签系向量             for docIndex in trainingSet:                                            #遍历训练集trainMat.append(setOfWords2Vec(vocabList, docList[docIndex]))       #将生成的词集模型添加到训练矩阵中trainClasses.append(classList[docIndex])                            #将类别添加到训练集类别标签系向量中p0V, p1V, pSpam = trainNB0(np.array(trainMat), np.array(trainClasses))  #训练朴素贝叶斯模型errorCount = 0                                                          #错误分类计数for docIndex in testSet:                                                #遍历测试集wordVector = setOfWords2Vec(vocabList, docList[docIndex])           #测试集的词集模型if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:    #如果分类错误errorCount += 1                                                 #错误计数加1print("分类错误的测试集：",docList[docIndex])print('错误率：%.2f%%' % (float(errorCount) / len(testSet) * 100))if __name__ == '__main__':spamTest()