相关系数及假设检验

article/2025/6/17 11:41:58

一.假设检验

1.假设检验步骤

(1)提出假设:原假设和备择假设

(2)在原假设成立的条件下,构造一个检验统计量,该统计量有一个分布

(3)在给定置信水平下,求出接受域。

(4)计算检验统计量的值

2.假设检验中的两类错误

(1)

第一类错误:弃真错误

H0为真,拒绝H0

第二类错误:取伪错误

H0为假,接受H0

(2)显著性检验

构造检验统计量,计算检验统计量,若检验统计量落在置信区间内,则接受原假设。

首先计算临界值,通过计算概率密度函数的反函数求出临界值,和检验统计量比较,如果检验统计量大于临界值则拒绝原假设(显著异于0)。

检验分为单侧检验和双侧检验(如X不等于90和X>90的区别)

(3)假设检验p值法
由检验值计算出对应的概率值,即p值

求p值(1-累计密度函数的值),如果p值小于1-α,则拒绝原假设

注意:双侧检验是单侧检验的两倍

二.皮尔逊相关系数

1.概念

是描述两个变量之间线性相关程度的指标
在这里插入图片描述

前提:两个变量之间线性相关

三.对皮尔逊相关系数进行检验(检验是否成立)

1.步骤

(1)提出原假设和备择假设
(2)在原假设成立的条件下,构造一个符合某一分布的统计量
(3)将检验的值带入统计量中,得到一个特定的值(检验值)
(4)画出概率密度函数,给定置信水平,找到接受域和拒绝域

2.条件

1.实验数据通常假设是成对的来自于正态分布的总体
2.实验数据中的差距不能太大
3.每组样本中是独立抽样的

% 计算相关系数和p值
[R,P]=corrcoef(x)

四.正态分布检验

1.JB检验(大样本>30)

在这里插入图片描述

[h,p] = jbtest(x,alpha)
%alpha就是显著水品,一般取0.05,此时置信水平为0.95
% 用循环检验所有列的数据(jbtest函数每次只能检验一列数据)
n_c = size(Test,2);  % number of column 数据的列数
H = zeros(1,6);  % 初始化节省时间和消耗
P = zeros(1,6);
for i = 1:n_c[h,p] = jbtest(Test(:,i),0.05);H(i)=h;P(i)=p;
end
disp(H)
disp(P)

2.Shapiro-wilk检验(小样本)

使用spss操作
在这里插入图片描述

3.Q-Q图

只需要看Q-Q图上的点是否在同一条直线上

qqplot(Test(:,1)

五.斯皮尔曼相关系数

1.概念

在这里插入图片描述

%% 斯皮尔曼相关系数
X = [3 8 4 7 2]'  % 一定要是列向量哦,一撇'表示求转置
Y = [5 10 9 10 6]'
coeff = corr(X , Y , 'type' , 'Spearman')% 计算矩阵各列的斯皮尔曼相关系数
R = corr(Test, 'type' , 'Spearman')

六.总结

1.连续数据正态分布线性关系,用皮尔逊相关系数是最巧当的,当然用斯皮尔曼相关系数也可以,只是效率没有皮尔逊相关系数高;

2.上述任一条件不满足,就使用斯皮尔曼相关系数,不能使用皮尔逊相关系数。

3.两个定序数据之间使用斯皮尔曼相关系数。

定序数据:指仅仅反映观测对象等级、顺序关系的数据,是由尺度计量形成的,表现为类别,可以进行排序,属于品质数据。
例如:优、良、差,我们可以用1表示差,2表示良、3表示优,但是,用 2 / 1 = 2 得出的 2 不具有任何含义。定序数据最重要的意义是代表了一组数据中的某种逻辑顺序。


http://chatgpt.dhexx.cn/article/CEY7AS98.shtml

相关文章

假设检验流程

假设检验相关知识 原假设 原假也称为零假设,一般用H0表示。原假设一般是统计者想要拒绝的假设。 备选假设 备选假设用H1表示。备则假设是统计者想要接受的假设,而且备选假设和原假设一般为互斥假设。 例子:H0: H1: 显著…

概论_第8章_假设检验的基本步骤__假设检验的类型

一. 假设检验的基本步骤 如下: 第1步 根据实际问题提出原假设 及备择假设 , 要求 与 有且仅有一个为真; 第2步 选取适当的检验统计量, 并在原假设 成立的条件下确定该检验统计量的分布; 第3步 按问题的具体要求, 选取…

统计学知识梳理(三)假设检验

1、假设检验的步骤: 第1步:确定零假设和备选假设 零假设( H 0 H_{0} H0​): 备选假设( H 1 H_{1} H1​): 第2步:证据是什么?(计算p值) 在零假设成立的前提下&…

re2-2020-11-01(Google regrex)库编译

google的正规表达式库,也应该是非常好用的。 PCRE尽量用静态库的。 看一下测试例子: 。。。 通过。 多谢,亲爱的美美。

Windows 下正则表达式库 re2 在 C++ 和 Python 中的编译和使用

相信平时在工作或学习中需要处理大量正则表达式的同志们对 google 大名鼎鼎的 re2 模块一定不陌生,但之前在网上进行搜索时,很多人说无法在 windows 系统使用该模块。本文简述了 windows 系统下 re2 模块在 C++ 和 Python 中的使用。现以 64bit 为例,将其编译过程介绍如下,…

[SWPUCTF 2021 新生赛]re2

题目链接:下载链接 查壳后发现无壳,用IDA打开,按f5看伪代码。 首先给了str2字符串数组,然后‘printf(&Format)‘,点击Format可以知道是让你输入flag,所以str即flag。v7为str长度,for循环对str进行遍历…

攻防世界逆向高手题之re2-cpp-is-awesome

攻防世界逆向高手题之re2-cpp-is-awesome 继续开启全栈梦想之逆向之旅~ 这题是攻防世界逆向高手题的re2-cpp-is-awesome 下载附件,照例扔入exeinfope中查看信息: 64位ELF文件,无壳,运行一下查看主要显示字符串: …

ISCC之Re2

硬核rust逆向 首先去学了一天rust。。。我TMD IDA打开,跟踪主函数 看一下伪代码,发现有一串密文 跟进去发现一串数据,猜测有可能是flag的加密数据,于是回头去分析算法 发现一个关键点 if ( v16 v24 ) break; v2 ((*(_DWORD *)(v…

xctf攻防世界 REVERSE 高手进阶区 re2-cpp-is-awesome

0x01. 进入环境,下载附件 题目给出的是一个无后缀文件,我们将其下载。先看看是否有套壳,发现没有套壳。那么接下来就老套路了 0x02. 问题分析 我们使用IDA Pro打开文件,找到main函数,反编译文件,得到代码…

【比赛writeup】2023省赛-Reverse-Re2

2023省赛-Reverse-Re2 一、概要 1、标题:Re2 2、关键字:换表BASE64 3、比赛:2023省赛 4、工具:IDAx64、python 二、开始 1、题目分析 逆向的题目,找到关键字符串,找到关键函数,分析函数逻辑…

RE2:Simple and Effective Text Matching with Richer Alignment Features

原文链接:https://aclanthology.org/P19-1465.pdf 2019 ACL 介绍 问题 作者认为之前文本匹配模型中序列对齐部分,过于复杂。只有单个inter-sequence alignment层的模型,常会引入外部信息(例如语法特征)作为额外输入&am…

【NLP】文本匹配——Simple and Effective Text Matching with Richer Alignment Features阅读与总结(RE2)

背景 前文已经介绍了【NLP】文本匹配——Enhanced LSTM for Natural Language Inference,其实2017年发表的,文中使用了两个LSTM进行特征提取,总的来说参数多,速度慢,还不能并行处理。今天我们再来看看阿里巴巴和南京大…

Re2:读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks

诸神缄默不语-个人CSDN博文目录 论文下载地址:https://openreview.net/attachment?idrkeIIkHKvS&nameoriginal_pdf 代码:yifan-h/CS-GNN: Measuring and Improving the Use of Graph Information in Graph Neural Networks 论文引用方式&#xf…

ctfshow re2

打开附件如下 勒索病毒我去上网查了一下,发现是通过加密数据,所以这个题可能和加密有关,除了勒索病毒还有一个enflag.txt打开如下 先不管这个 第一步查壳这个exe程序 无壳。 第二步用ida32位打开这个 shiftf12查看字符 有个充值成功&#xf…

CTFShow re2 (RC4

参考:CTFSHOW re2 本文:跟着大佬的博客一步一步做CTFShow re2的记录 IDA分析 有个比较函数 re一下 s "DH~mqqvqxB^||zllJq~jkwpmvez{" s1 for i in s:s1 chr(ord(i) ^ 0x1f) print(s1)得到 再四处看看 跟进sub_401028 四个sub点进去看看…

2023年天津市逆向re2.exe解析-比较难(超详细)

2023年天津市逆向re2.exe解析(较难) 1.拖进IDA里进行分析2.动态调试3.编写EXP脚本获取FLAG4.获得FLAG1.拖进IDA里进行分析 进入主程序查看伪代码 发现一个循环,根据行为初步判定为遍历输入的字符并对其ascii^7进行加密 初步判断sub_1400ab4ec为比较输入和flag的函数 跟进u…

RE2..

RE2 Simple and Effective Text Matching with Richer Alignment Features Simple and Effective Text Matching with Richer Alignment Features 论文提出了一种快速且高效的文本匹配模型,建议保留三个可用于序列间对齐的关键特征:原始点对齐特征、先前…

RE2正则表达式引擎资料

2019独角兽企业重金招聘Python工程师标准>>> 官网RE2,C正则表达式库实战《自动机理论 语言和计算导论》 转载于:https://my.oschina.net/letiantian/blog/280743

Go与Re2正则

Golang支持Re2正则标准(实际上并不支持全部,只是Re2语法的子集),本文介绍一些Golang正则支持语法的解释。 1、Regex Flags 1、贪婪和非贪婪: 正则匹配的时候一个个字符向后找。贪婪就是即使已经匹配了还会尝试向后找…

【文本匹配】之 RE2论文详解

RE2 - Simple and Effective Text Matching with Richer Alignment Features 这篇论文来自阿里,19年的ACL论文。《Simple and Effective Text Matching with Richer Alignment Features》:https://arxiv.org/abs/1908.00300 Intro 很多深层网络只拥有…