高斯混合模型学习笔记

article/2025/10/12 9:02:24

高斯混合模型学习笔记

根据师兄(王延凯的博客)以及其他博主大佬的总结学习高斯混合模型,自己也作一下学习记录。

目录

    • 高斯混合模型学习笔记
      • 1、模型介绍
      • 2、模型求解步骤
        • 举个栗子
        • 通用背景模型UBM[\[2\]](https://blog.csdn.net/weixin_44278406/article/details/103853779)
      • 参考:

1、模型介绍

高斯混合模型(Gaussian Mixture Mode), K K K个高斯分布 g ( x ∣ μ k , ∑ k ) g\left( x|\mu _k,\sum_k{} \right) g(xμk,k)(均值为 μ k \mu_k μk协方差矩阵为 ∑ k \sum_k k)以权重为 ω k \omega_k ωk线性组合( ∑ k K ω k = 1 \sum_k^K{\omega_k}=1 kKωk=1)的概率分布模型[1]。
P ( x ) = ∑ k = 1 K ω k g ( x ∣ μ k , ∑ k ) P(x)=\sum_{k=1}^{K}{\omega_kg(x|\mu_k,\sum _k)} P(x)=k=1Kωkg(xμk,k)

多个一维高斯分布叠加为一个一维高斯分布,当 K = 2 K=2 K=2时,对于一维高斯分布不同权重 ω k \omega_k ωk叠加而成的一维高斯分布如下:

一维高斯分布叠加
同样的二维高斯分布叠加:
K = 2 K=2 K=2时,平面点阵及三维视图如下:
在这里插入图片描述
在这里插入图片描述
K = 3 K=3 K=3时,三维视图如下:
在这里插入图片描述

到此,我们可以看出高斯混合模型的3个基本参数,均值 μ k \mu_k μk,方差 σ k 2 \sigma_k^2 σk2(替代协方差),权重 ω k \omega_k ωk

2、模型求解步骤

步骤中包含期望最大化(EM)算法:
Step 1. 初始化参数:初始化高斯混合模型的3个基本参数,均值 μ k \mu_k μk,方差 σ k 2 \sigma_k^2 σk2(替代协方差),权重 ω k \omega_k ωk

计算每个高斯分布中(假设每个分布数据量相同)所有混合数据 x j x_j xj j = 1 , 2 , , ⋯ , K ∗ N j=1,2,,\cdots,K*N j=1,2,,,KN)在第 k k k个高斯分布 g ( x ∣ μ k , ∑ k ) g\left( x|\mu _k,\sum_k{} \right) g(xμk,k)响应值 R i ( k ) R_i^{(k)} Ri(k),其中 i = 1 , 2 , ⋯ , N i=1,2,\cdots,N i=1,2,,N,表示每个分布有N个元素:
g ( x i ∣ μ k , σ k ) = 1 2 π σ k e − ( x i − u k ) 2 2 σ k 2 g(x_i|\mu_k,\sigma_k)=\frac{1}{\sqrt{2\pi}\sigma_k}e^{-\frac{{(x_i-u_k)}^2}{2\sigma_k^2}} g(xiμk,σk)=2π σk1e2σk2(xiuk)2
R j ( k ) = ω k ∗ g ( x j ∣ μ k , σ k ) ∑ k = 1 K ω k ∗ g ( x j ∣ μ k , σ k ) R_j^{(k)}=\frac{\omega_k*g(x_j|\mu_k,\sigma_k)}{\sum_{k=1}^K{\omega_k*g(x_j|\mu_k,\sigma_k)}} Rj(k)=k=1Kωkg(xjμk,σk)ωkg(xjμk,σk)
此时得到所有(混合)数据 x i x_i xi关于不同分布 g ( x i ∣ μ k , σ k ) g(x_i|\mu_k,\sigma_k) g(xiμk,σk)的响应值 R i ( k ) R_i^{(k)} Ri(k) x j x_j xj落入第k个高斯分量下的后验概率)。

Step 2.更新第K个分布的期望 μ k \mu_k μk
μ k ( n e w ) = ∑ j = 1 K ∗ N R j ( k ) ∗ x j ∑ j = 1 K ∗ N R j ( k ) \mu_k^{(new)}=\frac{ \sum_ {j=1}^{K*N}{R_j^{(k)}*x_j}}{ \sum_ {j=1}^{K*N}{R_j^{(k)}} } μk(new)=j=1KNRj(k)j=1KNRj(k)xj
Step 3.更新第K个分布的,方差 σ k 2 \sigma_k^2 σk2:
σ k 2 ( n e w ) = ∑ j = 1 K ∗ N R j ( k ) ∗ ( x j − μ k ) 2 ∑ j = 1 K ∗ N R j ( k ) \sigma_k^{2(new)}=\frac{ \sum_ {j=1}^{K*N}{R_j^{(k)}*{(x_j-\mu_k)^2 }}}{ \sum_ {j=1}^{K*N}{R_j^{(k)}} } σk2(new)=j=1KNRj(k)j=1KNRj(k)(xjμk)2

Step 3.更新权值 ω k \omega_k ωk
ω k = 1 K ∗ N ∑ j = 1 K ∗ N R j ( k ) \omega_k=\frac{1}{K*N}\sum_ {j=1}^{K*N}{R_j}^{(k)} ωk=KN1j=1KNRj(k)
参数多次更新后趋于稳定,即收敛。

举个栗子

最后列出[1]中三个高斯分布的参数更新
不同类别权重随迭代次数的变化:
在这里插入图片描述
迭代15次后得知的三个高斯正态分布的概率密度曲线。
在这里插入图片描述
高斯混合模型的随迭代次数的变化而变化图形:
在这里插入图片描述
代码参考:[1]
求解高斯混合模型就是输入数据迭代更新均值 μ k \mu_k μk,方差 σ k 2 \sigma_k^2 σk2,权重 ω k \omega_k ωk并且使之更新后趋于稳定的的过程,迭代更新参数的方法为极大四估计法。

通用背景模型UBM[2]

(1)通用背景模型采用背景数据(大量的不限分布列,允许包含在K集之内的数据,数据来自训练分布列)训练高斯混合模型。
(2)采用少量的某个分布列数据通过MAP(极大后验推测)算法调整UBM模型参数进行自适应,拟合得到某个K集合分布列构成的高斯混合模型GMM参数。
在这里插入图片描述
step1:计算某个 x i x_i xi在第k个分布的的后验概率 R j ( k ) R_j^{(k)} Rj(k)
step2:更新均值
MAP算法描述如下图:
在这里插入图片描述
目前语音识别/说话人识别等技术中使用的自适应方法主要分为两大类:
基于最大后验概率(Maximum a posteriori, MAP)的算法
基本准则是后验概率最大化,利用贝叶斯学习( Bayesian learning)理论,将UBM系统的先验信息与被适应人(目标说话人)的信息相结合实现自适应;
基于变换(如MLLR)的方法
估计UBM系统模型与被适应人之间的变换关系,对UBM系统的模型或输入语音特征作变换,减少UBM系统与被适应人之间的差异。

参考:

[1]高斯混合模型GMM—【1】
[2]声纹识别-2.GMM-UBM(高斯混合模型-通用背景模型)


http://chatgpt.dhexx.cn/article/gfX7DF2g.shtml

相关文章

机器学习笔记之高斯混合模型(一)模型介绍

机器学习笔记之高斯混合模型——模型介绍 引言高斯混合模型介绍示例介绍从几何角度观察高斯混合模型从混合模型的角度观察 概率混合模型的引出从概率生成模型的角度观察高斯混合模型 引言 上一系列介绍了EM算法,本节将介绍第一个基于EM算法求解的概率生成模型——高…

图像处理之高斯混合模型

一、高斯混合模型 现有的图像中目标的分类常用深度学习模型处理,但是深度学习需要大量模型处理。对于明显提取的目标,常常有几个明显特征,利用这几个明显特征使用少量图片便可以完成图像目标分类工作。这里介绍使用高斯混合模型GMM处理图像。…

机器学习 高斯混合模型

高斯混合模型 前言高斯混合模型高斯分布混合模型高斯模型单高斯模型高斯混合模型高斯混合模型训练EM算法 应用图像背景的高斯混合模型智能监控系统 参考 前言 之前在一次技术讨论当中,针对文本处理的时候被问到高斯混合模型。当时我对“高斯混合模型”都是比较懵圈…

高斯混合模型GMM

1. 高斯混合模型概念 高斯混合模型(Gaussian Mixture Model)是一种聚类算法,它是多个高斯分布函数的线性组合,通常用于解决同一集合下的数据包含多种不同的分布情况。 2.高斯混合模型的一个例子 在校园里随机抽取2000个学生&#…

高斯混合模型

一、什么是高斯混合模型(GMM) 高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,通常用于解决同一集合下的数据包含多个不同的分布的情况,如解决分类情况 如下图,明显分成两…

【技术分享】高斯混合模型

本文原作者:尹迪,经授权发布。 原文链接:https://cloud.tencent.com/developer/article/1480731 导语:现有的高斯模型有单高斯模型(SGM)和高斯混合模型(GMM)两种。从几何上讲&#…

高斯混合模型(GMM)

高斯混合模型 k-means 聚类模型非常简单并且易于理解,但是它的简单性也为实际应用带 来了挑战。特别是在实际应用中,k-means 的非概率性和它仅根据到簇中心点的距离来指 派簇的特点将导致性能低下。这一节将介绍高斯混合模型,该模型可以被看…

机器学习笔记 - 什么是高斯混合模型(GMM)?

1、高斯混合模型概述 高斯混合模型 (GMM) 是一种机器学习算法。它们用于根据概率分布将数据分类为不同的类别。高斯混合模型可用于许多不同的领域,包括金融、营销等等!这里要对高斯混合模型进行介绍以及真实世界的示例、它们的作用以及何时应该使用GMM。 高斯混合模型 (GMM) …

机器学习算法(二十九):高斯混合模型(Gaussian Mixed Model,GMM)

目录 1 混合模型(Mixture Model) 2 高斯模型 2.1 单高斯模型 2.2 高斯混合模型 3 模型参数学习 3.1 单高斯模型 3.2 高斯混合模型 4 高斯混合模型与K均值算法对比 1 混合模型(Mixture Model) 混合模型是一个可以用来表示在总…

重启虚拟机异常:Unmount and run xfs_repair

重启虚拟机异常:Unmount and run xfs_repair 解决办法: 原因:看出来应该是sda3分区损坏,修复就可以了 1:启动虚拟机E进入单用户模式 2:在linux16开头的哪一行后面添加rd.break,ctrlx进入救援模式…

Unmount and run xfs_repair

开启虚拟机报错:Unmount and run xfs_repair 从错误可以查看到是vda3错误。 解决办法: 1、umount /dev/vda3 2、xfs_repair -L /dev/vda3 3、reboot 就ok了。

Linux mount/unmount命令

开机自动挂载 如果我们想实现开机自动挂载某设备,只要修改/etc/fstab文件即可。 文件挂载的配置文件:/etc/fstab 查看此文件可知 每行定义一个要挂载的文件系统; 其每行的格式如下 要挂载的设备或伪文件系统 挂载点 文件系统类型 挂载选项…

android.permission.MOUNT_UNMOUNT_FILESYSTEMS添加权限报错

<!--这是在sd卡内创建和删除文件权限--> <uses-permission android:name"android.permission.MOUNT_UNMOUNT_FILESYSTEMS" /> <uses-permission android:name"android.permission.WRITE_SETTINGS" /> 出现报错有两种解决方法&#xff1…

Centos7 虚拟机非法关机导致系统无法启动报Unmount and run xfs_repair的解决方法

1&#xff0c;电脑不正常启动导致我的虚拟机无法启动&#xff0c;报以下错误Unmount and run xfs_repair&#xff0c;大概意思是xfs文件系统出现问题了&#xff0c;导致无法挂载&#xff0c;需要使用xfs_repair进行修复。 2&#xff0c;执行如下命令 xfs_repair /dev/mapper/c…

linux下unmount了移动硬盘之后,硬盘灯还是常亮并且硬盘还在一直转动

linux下unmount了移动硬盘之后&#xff0c;硬盘灯还是常亮并且硬盘还在一直转动 ​ 参考:https://www.zhihu.com/question/23362385 希捷2T移动硬盘 在windows下卸载硬盘之后硬盘灯就不亮了&#xff0c;手摸也没有震动感。 在ubuntu下卸载硬盘之后&#xff0c;硬盘灯仍然常…

centos7异常断电,重启提示Unmount and run xfs_repair

周末服务器由于阵列卡问题&#xff0c;异常重启&#xff0c;重启后前台异常报错&#xff0c;提示磁盘元数据问题&#xff0c;需要修复 如故障图所示&#xff0c;sdb1&#xff0c;sdf1&#xff0c;sdi1 3块磁盘出现问题&#xff0c; 下面的解决办法&#xff1a; 解决办法&…

Android/C/C++ 中解决 USB UnMount(禁止USB端口)

引&#xff1a;因为某些特殊需求&#xff0c;需要在某些设备接入车机的时候&#xff0c;动态UnMount USB设备&#xff0c;因为代码其中有一些方法是自定义过的&#xff0c;所以该文章仅供思路参考。 &#xff08;20200319 更新&#xff09;&#xff1a;在后续跟进中&#xff0…

linux移动硬盘unmount报错处理

备份数据用的移动硬盘unmount时报&#xff1a; 通过fuser命令来kill掉设备进程&#xff0c;再unmount移动设备 先看fuser命令帮助信息&#xff1a; [rootathenadb2 ~]# fuser -helpUsage: fuser [ -a | -s | -c ] [ -n SPACE ] [ -SIGNAL ] [ -kimuv ] NAME... [ - ] [ -n SPAC…

虚拟机 报错:Unmount and run xfs_repair

1&#xff0c;启动虚拟机的时候&#xff0c;摁 E 键 找到linux16 这一行(在fi下一行) 的最后&#xff0c;添加&#xff1a; rd.break 摁 &#xff1a;ctrlx进入救援模式 2&#xff0c;执行&#xff1a;umount /dev/sda3 xfs_repair -L /dev/sda3 …

VMware 安装Centos7 虚拟机 报Unmount and run xfs_repair

VMware 安装Centos7 虚拟机 报Unmount and run xfs_repair 问题描述 安装完虚拟机后重启无法进入用户登录界面 报错&#xff1a;Unmount and run xfs_repair 原因&#xff1a; dm-0分区损坏 解决办法 卸载目录 umount /dev/mapper/centos-root 修复目录 xfs_repair -L…