贝叶斯分类器(上)

article/2025/9/28 5:50:23

目录

一、有关贝叶斯的简介

二、相关数学知识

1.先验概率与后验概率

2.贝叶斯公式

 3、最大后验概率

4、最大似然估计法


一、有关贝叶斯的简介

        贝叶斯老爷子的名字,很多同学都耳熟能详。估计不少的同学都在数学上被贝叶斯折磨过。贝叶斯在数学方面主要研究概率论.对于统计决策函数、统计推断、统计的估算等做出了贡献。然而,贝叶斯也是属于那种生不逢时的科学家,他的生前一直默默无闻,直到他过世之后,他的著作和成果才陆陆续续的被发表出去,他本人也逐渐被世人所认可。向科学家致敬!salute!

二、相关数学知识

        理解贝叶斯分类器之前,我们要先理解一定的数学知识,并且通过学习同学们要好好掌握贝叶斯在概率论上的成就。

1.先验概率与后验概率

        我们先来看定义!

先验概率:在贝叶斯统计推断中,先验概率是在收集新数据之前事件发生的概率。 这是在进行实验之前根据当前知识对结果可能性进行的最佳理性评估。

后验概率:事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。

看到这里,是不是感觉晦涩难懂?

那么我们举一个小小的例子来感受一下:

        案例:伍老师所在的学校里,偏瘦和偏胖的人所占比例为6:4,并且此时学校封校,且学校不允许点外卖,只能去食堂吃饭。该校食堂中,只有两种伙食:荤菜与减脂餐。偏瘦的人觉得封校就要对自己好一点,于是只吃荤菜;而偏胖的人有一半想对自己好一点,也吃荤菜,另一半人想要减肥,选择吃减脂餐。

如果是想要我们求先验概率,出题者会这么问:

        随机选一个在学校的幸运儿,请问他吃减脂餐的概率是多少?

然而如果是想让我们求后验概率,出题者的提问方式则变成了:

        在学校餐厅的一个餐桌上有一盘荤菜,而他的主人恰逢上厕所去了,并且你不认识也从未听说过这个人,请问他(她)偏瘦的概率是多少?

        有没有顿时觉得豁然开朗?原来所谓先验概率无非就是正着问,顺着我们逻辑的方式去提问;而后验概率则是逆着我们的逻辑的去问!

2.贝叶斯公式

好的,了解了先验概率与后验概率之后,我们也要尝试去解决这两个问题。

首先对于先验概率问题,我们很容易计算:

而对于后验概率,则稍微复杂一点:

        看到后验概率这一部分,这一部分的推演,差不多就是贝叶斯公式的雏形了。我们来看看真正的贝叶斯公式:

         如何理解?

        我们把P(A)当做随便找一个人,这个人是开荤者的概率,在刚刚那一题中,我们只考虑了有偏瘦与偏胖的人群,然而现实中,可能还有特别瘦的,也有特别胖的,也会有不胖不瘦的,远不止偏瘦和偏胖两种情况。这就让P(A)的求解更加复杂。我们上下乘U,则分母(开荤的总人数)就是一个求和:在不同体质的人数乘该体质下开荤的比重,再将其求和,加起来,得到一个总数。而分子,就是一个条件概率的变形,学过概率论的应该都能变形出来,乘上U代表的数学意义为,某体质且开荤的人数。

 3、最大后验概率

        我们期望将概率结果最大时所对应的值的类别作为输出结果,此时它的概率我们会称之为最大后验概率

        光看定义,我们有“亿”点点难懂。不要急,我们结合例子来看

        案例:伍老师所在的学校里偏高和偏矮的人所占比例为3:7,其中有偏矮的人中有60%嫌自己矮,所以穿增高鞋。已知,伍老师不穿增高鞋,且你不知道伍老师的其他信息,那么提问:伍老师更可能偏高还是更可能偏矮?

        我相信,看懂了小编上一篇文章的同学们,肯定能飞快的解出此题答案,当然了,这个题目也算是一个小小的课堂作业,同学们可以来检查一下自己是不是理解了后验概率。下面是小编的解题过程:

        由这道题目,我们可以看出,伍老师偏高的概率更大,而在实际中,人们更愿意去相信概率高的事件,我们更愿意去相信伍老师偏高,尽管在不穿增高鞋的情况下,偏高的概率仅仅比偏矮的概率高一点点。此时不穿增高鞋,伍老师偏高的概率,我们称之为最大后验概率。而它对应的属性,即偏高,是更能使我们信服的属性,即输出结果(y*)。

         如上图的公式,有人不理解argmax是什么意思,小编这里解释一下,x=argmaxf(x)代表着先去求一个最大的f(x),将它对应的x作为输出结果求出

4、最大似然估计法

        这一部分学过概率论的同学会比较轻松,没有学过概率论的同学可以听我慢慢讲解。

        最大似然估计方法(也称为最大概似估计或极大似然估计),是求估计参数的方法之一。
用人话说那就是,极大似然估计就是给定模型,然后收集样本,估求该模型的参数

        用例子来表示就是,假如我们想要求出伍老师所在学校的人偏高的比例θ,则X代表着全校师生,X1,X2……Xn代表着张三,李四……王二麻子(有点不像学生的名字,将就着看吧),x1,x2……xn代表着偏矮,偏高……偏矮。(注意大小写X,x)

        什么意思?估计很多同学都有点一头雾水的感觉。就是用通过x1,x2……xn算出来的θ,再求一遍Xi=xi发生的概率,让样本中的每个点用θ求出的概率,最终让这些概率相乘,乘出的有关θ的表达式即为参数θ的似然函数

        我们当然期望这个似然函数越大越好,于是乎,我们需要求出似然函数处于最大值时,参数θ的大小。即:

        为了求出它的最大值,我们想到,可以利用好求导的方法:

 举个小小的栗子,抛硬币大家都玩过吧?如果我抛了五次,三次朝下,两次朝上,请用极大似然估计硬币朝上的概率θ。

        很多人的第一印象就是0.5,正面与反面各占一半不是天经地义嘛?拜托,别太死心眼了,我们这是在做题!

 也就是说,利用这几个样本与极大似然估计法估计参数θ最合理的解是0.4!

想要了解机器学习与贝叶斯公式有何关联,关注我,下一篇文章更精彩!


http://chatgpt.dhexx.cn/article/1gH89vYs.shtml

相关文章

机器学习常用的分类器比较-实例

这篇学习文章是在上一篇博客(http://blog.csdn.net/july_sun/article/details/53088673)的基础上,从机器学习的四要素(数据,算法和模型,计算机硬件,机器学习平台)角度出发用实例将各…

模式识别之分类器

常见分类器介绍 1、SVM分类器(监督学习分类器) 答:训练样本必须先标识不同类别,然后进行训练。SVM算法就是找一个超平面,对于已经被标记的训练样本,SVM训练得到一个超平面,使得两个类别训练集中…

常用分类器的效果对比

如果把机器学习归为两大类,那么主要的工作可以分为:分类和聚类。而分类任务基本上占整个机器学习或者是数据挖掘领域的70%,可见我们遇到的很多问题,都可以用分类的算法进行解决。机器学习发展到现在,许多被证实有效的分类算法被提…

监督学习之分类学习:线性分类器

监督学习之分类学习:线性分类器 如果想了解更多的知识,可以去我的机器学习之路 The Road To Machine Learning通道 Introduction 分类学习是最为常见的监督学习问题,并且其中的经典模型也最为广泛地被应用。其中,最基础的便是二分类(Binary Classification) 问题…

【线性分类器】线性分类器理论知识

文章目录 一、图像分类任务二、线性分类器:2.1 图像表示:2.2 损失函数:多类支持向量机损失: 2.3 正则项与超参数:K折交叉验证: 2.4 优化算法:梯度下降法(SGD)&#xff1a…

分类器的相关概念

昨天,人民网 发了一条八卦微博,盘点“雨神”(萧敬腾)是如何炼成的。微博称,网友统计发现,在萧敬腾 近年12次主要行程中,有10次他的“现身”让当地下起了雨,下雨的概率为83.3%。 图1 …

二类分类器构造多类分类器

from: http://tech.ddvip.com/2009-03/1238054080112304.html 从 SVM的那几张图可以看出来,SVM是一种典型的两类分类器,即它只回答属于正类还是负类的问题。而现实中要解决的问题,往往是多类的问题(少部分例外&#xf…

KNN分类器

1.1 KNN的主要研究内容 (1)分类器的基本原理及算法内容 (2)利用现有的公开数据集(鸢尾花)实现分类器分类 (3)利用某种评价标准对分类结果进行分析评判 1.2分类的定义…

机器学习学习笔记(三)之分类器

分类器: 输入数据,识别是什么类,可以拓展为更广泛的用途。 将特征数据化,作为判断的依据。 和regression有相似的地方,但也有很大区别,把最好不把classification当作regression做 对于有多个分组的如cla…

分类器

分类器的作用:常规任务是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题&#xff0…

机器学习-分类-线性分类器

在一个机器学习任务中,如果每一条数据的目标值是离散的,则该任务是一个分类任务。 解决分类问题基本的方法有:线性分类器、决策树、朴素贝叶斯、人工神经网络、K近邻(KNN)、支持向量机(SVM)&am…

加密芯片大对比

市面上加密芯片,让人看的眼花缭乱,本文对各家加密芯片作了分析及对比 https://files.cnblogs.com/files/walta99/%E5%8A%A0%E5%AF%86%E8%8A%AF%E7%89%87%E5%A4%A7%E5%AF%B9%E6%AF%94.pdf 转载于:https://www.cnblogs.com/walta99/p/8484469.html

硬件加密芯片

TF32A09 芯片简介 产品描述 TF32A09系列芯片是同方股份有 限公司计算机系统本部自主研发的一 款高速度、高性能32位信息安全SoC 芯片。该芯片集成了高速的安全算法 和通讯接口,摒弃了传统的数据加解 密处理方式,使数据流加解密速度大 幅提升&#x…

芯片程序保护-常规芯片加密方式

芯片程序为什么要保护 针对于市场上越来越多的芯片解密方案的成熟和扩大,目前很对客户存在一个对于自己的产品会被同行或者其他竞争者抄袭的情况,对于硬件这块通常情况下是无法防止被抄的。但对于电路板的核心芯片和程序部分,是存在一些方式…

ATSHA204A加密芯片攻略——使用篇

ATSHA204A加密芯片是ATMEL公司研发的一款高安全性的,功能丰富的加密IC,使用SHA-256算法进行加密操作,内置16*32字节的slot(EEPROM)可以存储用户数据和秘钥,唯一的9字节序列号用于区分其他芯片,还有512bits的OTP区用于保…

硬件加密芯片介绍

同方股份有限公司计算机系统本部自主研发的一款高速度、高性能32位信息安全S高速加密芯片TF32A09系列。该系列芯片集成了高速的安全算法和通讯接口,摒弃了传统的数据加解密处理方式,使数据流加解密速度大幅提升,适用于高速数据流加密。 TF32A…

STM32芯片加密的方法

stm32加密方法: flash加密 96位ID号加密 96位id号 id校验 反汇编 Id存到数组,程序执行之前与数组之中的ID比较,如果相同继续执行,不同则终止执行 加密步骤: ①设计一套加密算法,利用MCU内部的unique ID作…

加密芯片十大品牌对比

加密芯片十大品牌对比 各大品牌加密芯片厂商都为各自的加密芯片定了型号,用户在进行加密芯片的选型时,如果没有明确的参考依据,很难效率而准确的选取到合适的加密芯片。作者结合自身经验,为大家提供一些简单实用的加密芯片选型建…

芯片加密与解密技术方法

目录: 一、简介 二、硅芯片安全措施的演变 三、总结 ------------------------------------------------------------------------------------------------------------- 一、简介 IC集成电路在早期,除法律和经济外,几乎没有保护措施…

His系统简介、医院信息系统(Hospital Information System

医院信息系统(Hospital Information System)是利用计算机技术、网络及通讯技术、多媒体技术,快速、准确、有效地整合医院业务信息和管理信息,实现医院信息最大限度的采集、传输、存储,从而使医院内部资源最有效的利用和…