非参数正态性检验

article/2025/1/4 0:40:58

点击上方“小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达

本文转自:机器学习算法那些事

非参数正态性检验

前面两节介绍了采用Q-Q图和偏度与峰度来对采集样本进行正态性检验,本节介绍非参数性的正态性检验,非参数性的正态性检验算法思想大致相同,算法思想步骤为:首先假设条件H0成立,然后计算采集样本的统计量,最后在已知统计量分布的情况下比较统计量与显著性水平α的大小,根据比较结果判断是否拒绝检验假设H0(如下图)。

本文首先介绍了非参数正态性检验算法如拟合优度检验,K-S检验,S-W检验等,最后比较各非参数性正态检验的适用条件。

1、拟合优度检验

是在总体X的分布未知时,根据来自总体的样本,检验关于总体分布的假设的一种检验方法,比较样本的经验分布和所假设的理论分布之间的吻合程度来决定是否接受总体分布的原假设。比如,记录小明最近一年每天花在学习英语的时间,判断小明是否是英语爱好者。运用检验法来判断的步骤是:


(1)假设小明是英语爱好者。

(2)统计英语爱好者最近一年内每天学习英语的时间。

(3)计算英语爱好者每天学习英语的时间与小明每天学习英语的时间的差异,再计算这一年内学习英语时间的总差异,若总差异结果超过某一阈值,拒绝假设,即小明不是英语爱好者;反之,不拒绝假设,即小明是英语爱好者。


在用检验法检验假设H0时,需要用极大似然估计计算检验假设H0的参数,比如,若H0是正态分布,则需要用极大似然估计计算均值和方差;若H0是指数分布,则需要用极大似然估计计算均值;

验统计量为

其中r是检验假设H0模型的被估参数,n为样本容量,离散化样本容量成k段,Pi为假设检验H0成立时第i个分段的频率,n*Pi,fi分别为第i段的理论频数和实际频数。


皮尔逊证明了统计量的分布服从(k-r-1)个自由度的分布的前提是样本容量n足够大。使用拟合优度检验正态分布需要注意大样本容量和n*Pi不能太小(≥5)这两个条件,若某一段出现的频数太小,则与其他的分段合并,达到频数≥5的条件。

最后比较样本检验统计量数值与显著性水平α的大小,来判断假设是否成功。

【例】

解:H0:IQ得分服从正态分布,H1:不服从正态分布,α=0.05,X = 101.294,S =15.585

        其中Oi为第i段的实际观测频数,Ei为第i段的理论频数。因为最后两组的观测频数过小,则合并最后三组成一组,该组频数为8。

       自由度 v = 7-1-2 = 4,,统计量=1.63832  < 9.49,所以不拒绝零假设H0,即IQ得分服从正态分布。

2、K-S正态性检验

S检验是通过比较样本经验分布函数与给定分布函数来推断该样本是否来自给定分布函数的总体。比较容量n的经验分布函数Fn(x)与给定分布函数F0(x)的间隔,构造统计量D为两个分布函数的间隔最大值,如下图。

 


步骤

(1)提出假设:H0:Fn(x)= F0(x),H1:Fn(x)≠F0(x)。

(2)计算统计量D。

(3)根据给定的显著性水平α和样本数据个数n,确定单样本K-S检验的临界值Dα(n)。

(4)若,则不拒绝假设H0;反之,拒绝假设H0。


        

这个检验需要给定F0(x),因此非参数检验的K-S正态性检验只能做标准正态检验。

【例】验证一组39例抽样数据是否符合标准正态分布

(1)假设抽样数据符合标准正态分布;

(2)画出经验分布函数和标准正态分布函数的曲线图;

(3)确定统计量D;

(4)显著性水平α=0.05,样本容量n = 39,确定统计量的拒绝域最小值可通过查表可得。

(5)比较统计量D与的大小,若大于,则拒绝假设,反之,则不拒绝;

3、Lilliefor正态性检验

Lilliefor正态性检验是对K-S检验的修正,非参数K-S检验只能作标准正态分布检验,Lilliefor提出用样本均值和标准差代替总体的期望和标准差,然后再用K-S正态性检验法,步骤相同,不同点在于单样本K-S检验只能检测标准正态分布,Lilliefor检验能检测一般性的正态分布。

4、S-W正态性检验

S-W检验正态分布的思想与K-S检验一致,关键点在于如何求样本的统计量以及确定统计量的分布情况。

S-W检验称为W检验,统计量W定义为:

     

其中是样本均值,是样本来自正态分布的标准差,a的确切值是:

其中V矩阵是n个标准正态分布的随机变量的顺序统计量的协方差矩阵。

给定显著性水平α和样本容量n,可以知道拒绝域的临界值,比较统计量结果W与的大小,判断是否拒绝原假设。

【例】 用函数rnorm获得一个标准正态分布的随机样本,然后用W检验它的正态性。

结果显示p-value值大于显著性水平0.05,因此不能拒绝零假设,即样本来自正态分布。

5、非参数检验算法的比较

(1)Lilliefor检验是对K-S检验的改进,可用于一般的正态性检验,而非参数检验的K-S检验只能做标准正态检验。

(2)χ2拟合优度检验的检验结果依赖于分组,而其他方法的检验结果与区间划分无关。

(3)拟合优度检验和K-S检验都采用实际频数和期望频数进行检验,前者既可用于连续总体,又可用于离散总体,而Kolmogorov-Smirnov检验只适用于连续和定量数据。

(4)SPSS规定:当样本含量3≤n≤5000时,结果以S—W(W 检验)为准,当样本含量n>5000结果以K-S检验(D检验)为准。

参考

https://blog.csdn.net/suncherrydream/article/details/51073001

http://www.docin.com/p-2006164716.html

http://www.dxy.cn/bbs/topic/26366190

下载1:OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2:Python视觉实战项目52讲

在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

下载3:OpenCV实战项目20讲

在「小白学视觉」公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~


http://chatgpt.dhexx.cn/article/XDms3W9E.shtml

相关文章

R语言数据统计1——正态性检验

引用 正态性检验之qqplot和ppplot原理及R语言实现 QQ图 KS检验和SW检验的区别 t检验算法及其在R语言中的实现 R语言做正态分布检验 R语言与统计分析 数据统计中的方差分析第一步应该是检查数据&#xff0c;其次做正态性检验。 而正态性检验&#xff1a; KS检验&#xff08…

正态分布方差检验

卡方检验、F检验 定义 χ 2 \chi^2 χ2 检验123实验设计 F F F 检验123 附录假设检验一般步骤势函数 定义 用于检验总体呈正态分布的方差的假设检验&#xff0c;其中 χ 2 \chi^2 χ2 检验常用于单样本正态方差检验&#xff1b; F F F 检验用于双样本的正态方差检验。 χ 2 \…

统计推断——正态性检验(图形方法、偏度和峰度、统计(拟合优度)检验)

正态分布是很多计量数据比较分析的假设前提&#xff0c;因此在做比较分析之前要首先验证样本数据所代表的总体是否服从正态分布。当然对于比率数据的比较也需要满足分布前提&#xff0c;通常是二项分布和泊松分布&#xff0c;对于二项分布的比率比较&#xff0c;一般不需要做分…

统计学之正态分布检验

统计学之正态分布检验 本次主要是对数据集数据进行正态分布检验&#xff0c;数据集地址为&#xff1a;http://jse.amstat.org/datasets/normtemp.dat.txt 主要包括三列数据&#xff0c;体温&#xff08;F&#xff09;、性别&#xff08;1&#xff1a;男&#xff0c;2&#xff…

matlab 正态输入信号,用matlab或者spss做正态检验(转载)

2.5 总体分布正态性检验 进行参数估计和假设检验时&#xff0c;通常总是假定总体服从正态分布&#xff0c;虽然在许多情况下这个假定是合理的&#xff0c;但是当要以此为前提进行重要的参数估计或假设检验&#xff0c;或者人们对它有较大怀疑的时候&#xff0c;就确有必要对这个…

SPSS -正态检验

1. 检验方法1&#xff1a;KS检验&#xff08;数值检验&#xff09; 原假设是服从指定分布。 如果P值>0.05&#xff0c;说明结果更倾向于接受原假&#xff0c;即服从指定分布。具体参见https://editor.csdn.net/md/?articleId109822028 根据P值判断是否服从正态分布&…

正态检验 (Normality Test)——常见方法汇总与简述

前 言 在科学研究中&#xff0c;往往需要对数据进行差异性检验&#xff0c;而常用的参数检验需要数据服从正态分布&#xff0c;因此在决定是否采用参数检验之前需要先对数据进行正态性检验。这一步在任何统计学软件中&#xff08;如SPSS、SAS、Origion、GraghPad等&#xff09…

正态性检验方法汇总

本文主要对正态性检验方法做了汇总&#xff0c;重点阐述了常用的正态性检验方法的使用场景及其在 R 或 Python 中的实现。 0.概述 正态分布在统计学中有着极为重要的地位&#xff0c;它是 χ 2 \chi^2 χ2分布、 t t t分布、 F F F分布的基础&#xff0c;也是许多统计方法的理…

python语言程序设计(MOOC 嵩天)第五章 学习笔记(0214)

第五章 函数和代码的复用 5.1 函数的定义与使用 5.1.1 函数的理解和定义 函数是一段代码的表示&#xff1a; 函数是IPO的实现 函数是一段代码的封装 ①特定功能、可重用的语句组 ②功能的抽象 #作用&#xff1a;降低编程难度、代码复用 def <函数名> ( <变量> )…

Python-3.函数和代码复用

一、函数的定义与使用 使用保留字def定义函数,lambda 定义匿名函数可选参数(赋初值)、可变参数(*b)、名称传递保留字 return 可以返回任意多个结果保留字 global 声明使用全局变量,一些隐式规则1.1 函数的理解与定义 函数是一段代码的表示 函数是一段具有特定功能的、可重用的…

python123练习5: 函数和代码复用 (第5周)

实例7:七段数码管绘制 ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬ 描述 这是"实例"题,与课上讲解实…

北京理工大学:《Python语言程序设计》详细笔记

第一章&#xff1a;程序设计基本方法 计算机与程序设计 计算机是根据指令操作数据的设备计算机发展参照摩尔定律&#xff0c;表现为指数形式 编译和解释 计算机执行源程序两种方式&#xff1a;编译和解释编译&#xff1a;将源代码一次性转换成目标代码的过程。执行编译过程…

Python语言程序设计(嵩天)-第5周-函数和代码复用

目录&#xff1a; 5.1 函数的定义与使用5.2 实例7: 七段数码管绘制5.3 代码复用与函数递归5.4模块4: PyInstaller库的使用5.5实例8: 科赫雪花小包裹 导学 前课复习 数字类型及操作&#xff1a; 整数类型的无限范围及4种进制表示浮点数类型的近似无限范围、小尾数及科学计数…

练习5: 函数和代码复用

练习5: 函数和代码复用 1 .1实例7&#xff1a;七段数码管绘制 描述 这是"实例"题&#xff0c;与课上讲解实例相同&#xff0c;请作答检验学习效果。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬…

《python语言程序设计》笔记

《python语言程序设计》笔记 第一章 程序设计基本方法1.1基本知识1.2计算机编程1.3数据类型温度转换1.4课后习题1.5python123习题与测试第二章2.1turtle库(海龟库)2.1.1空间坐标体系2.1.2turtle角度坐标体系2.1.3RGB色彩体系2.2turtle程序语法元素分析2.2.1库引用和 import2.…

中国大学MOOCPython语言程序设计(北京理工大学)第5-6周学习笔记和课后练习

中国大学MOOCPython语言程序设计&#xff08;北京理工大学&#xff09;第5-6周学习笔记和课后练习 第5周 函数与代码复用5.1 函数的定义与使用5.2 实例7: 七段数码管绘制5.3 代码复用与函数递归汉诺塔问题 5.4 模块4: PyInstaller库的使用5.5 实例8: 科赫雪花小包裹任意累积斐波…

全国计算机等级考试二级Python(2021年9月)备考笔记 第五天

文章目录 Python语言程序设计-嵩天老师(MOOC)听课笔记 第5周知识点一函数的定义函数的调用函数的调用过程参数个数可选参数传递可变参数传递参数传递的两种方式函数的返回值局部变量和全局变量lambda函数lambda函数的应用 实例 七段数码管绘制问题分析举一反三 知识点二代码复用…

Python语言程序设计笔记

例&#xff1a;获得用户输入数字N&#xff0c;计算并输出从N开始的5个质数&#xff0c;单行输出 首先&#xff1a;定义函数判断一个数是否是质数&#xff0c;return True/False&#xff0c;注意return True的格式&#xff0c;不在for循环体中&#xff0c;在函数体中(循环的高…

Python——函数和代码复用(模块4:PyInstaller库的使用)(实例:七段数码管绘制科赫雪花小包裹)

前言 本篇主要介绍函数和代码复用&#xff0c;以七段数码管绘制为例&#xff0c;介绍函数的定义和使用。以科赫雪花小包裹为例&#xff0c;介绍PyInstaller库的使用。 &#xff08;从本篇开始&#xff0c;出现的一些库中函数介绍以及部分简单代码都将以图片形式呈现&#xff0…

Python语言程序设计第五章

第五章 函数和代码复用 方法论 -Python基本代码抽象即函数的使用方法 实践能力 -学会编写带有函数并复用代码的程度 5.1 函数的定义与使用 1、函数的理解与定义 函数是一段代码的表示 -函数是一段具有特定功能的、可重用的语句组 -函数是一种功能的抽象&#xff0c;一般函数…