数据标准化处理

article/2025/9/14 0:43:21

一、为什么进行标准化处理

在多指标评价体系中,由于各评价指标的性质不同,通常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削弱数值水平较低指标的作用。因此,为了保证结果的可靠性,需要对原始指标数据进行标准化处理。

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上。

二、有哪些常用方法呢?

1. 规范化方法

min-max标准化(Min-maxnormalization)也叫离差标准化,是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下:其中max为样本数据的最大值,min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

2. 正规化方法

  • 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x’。
  • z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
  • spss默认的标准化方法就是z-score标准化。
  • 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。

步骤如下:
1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;
2.进行标准化处理:
zij=(xij-xi)/si
其中:zij为标准化后的变量值;xij为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。

3. 归一化方法

4. 其他

log函数转换通过以10为底的log函数转换的方法同样可以实现归一下,具体方法如下:看了下网上很多介绍都是x*=log10(x),其实是有问题的,这个结果并非一定落到[0,1]区间上,应该还要除以log10(max),max为样本数据最大值,并且所有的数据都要大于等于1。

atan函数转换用反正切函数也可以实现数据的归一化:使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。而并非所有数据标准化的结果都映射到[0,1]区间上,其中最常见的标准化方法就是Z标准化,也是SPSS中最为常用的标准化方法:z-score 标准化(zero-meannormalization)也叫标准差标准化,经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为:其中μ为所有样本数据的均值,σ为所有样本数据的标准差。

PS 对数化处理

一、 为什么要进行对数化处理

1. 缩小数据的绝对数值,方便计算。

例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了;在实证模型中,缩小值之后相关系数数值会更大一些(原值可能需要四到五位有效数字)。

2. 取对数后,可以将乘法计算转换称加法计算。

3. 某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。

从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。

4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度。

例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

5. 且所得到的数据易消除异方差问题。

6. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

二、在进行对数化处理的过程中为什么要加1

如果在原始数据中,有一些数为0,在进行对数化的过程中可能会造成数据的缺失。+1不会让有效样本量变少


http://chatgpt.dhexx.cn/article/uDEC7t4t.shtml

相关文章

excel数据标准化

##加载程序包 from openpyxl import load_workbook #利用openpyxl程序包向指定excel单元格写入值 from sklearn.preprocessing import StandardScaler #利用StandardScaler数据标准化处理 import pandas as pd #利用pandas加载excel,得到dataframe结构 dataset pd.…

vue导出excel并修改表头样式

vue导出excel并修改样式 本文参考CSDN蓝色的落叶(侵删) DEMO下载 安装插件 npm install --save xlsx(修改样式需要下载npm install --save xlsx-style) npm install -S file-saver npm install -D script-loader 安装npm install --save xlsx-style会出…

vue 实现Excel 导出

前言 数据表格的导出,是实际开发的常见功能,前后端都可以实现表格导出,讲解自己在用的一种。 获取数据源,可以通过后端接口实现,也可以利用分页查询的表格接口来实现。 处理数据,对excel表格的表头&#…

vue导出excel并修改样式

1.首先安装以下三个安装包 npm install --save xlsx(修改样式需要下载npm install --save xlsx-style)npm install -S file-savernpm install -D script-loader 注意:如果安装了npm install --save xlsx-style 会报错:This relative module was not fo…

springboot vue导出excel 使用easypoi

springboot vue导出excel 处理后端返回的文件流&#xff0c;下载成excl文件 vue <el-button class"el-icon-download" type"success" click"exportExcel()">导出</el-button>没封装axios exportExcel() {axios({url: 请求地址, …

Vue导出Excel表格信息

一、安装两个依赖包 npm install -S file-saver xlsxnpm install -D script-loader二、项目中新建一个文件夹 里面放置两个文件Blob.js和 Export2Excel.js。 同时注意Export2Excel里引用Blob的路径是否正确。 三、使用案例 3.1、使用注意事项 表头对应的键要和传过来的数据…

vue导出excel表

方法一&#xff1a;vue2.0 element UI 中 el-table 数据导出Excel 。https://blog.csdn.net/u010427666/article/details/79208145 方法二&#xff1a; 1.安装2个依赖包&#xff08;其实是3个&#xff09; npm install -S file-saver xlsxnpm install -D script-loader 2.在…

Vue导出Excel的实现方法与原理

摘要&#xff1a;本文将详细介绍前端Vue中导出Excel的方法&#xff0c;包括使用第三方库和纯前端实现两种方式。同时解释其原理&#xff0c;帮助读者了解如何在Vue项目中高效地导出Excel文件。 第三方库&#xff1a;exceljs exceljs是一款功能强大的JavaScript库&#xff0c;它…

Vue实现excel文件的导出功能(后端直接返回文件流)

✍️ 作者简介: 一个每天中午去打篮球和锻炼的前端开发。 &#x1f408;‍⬛ 两只猫&#x1f431;和一只狗的铲屎官&#x1f436; &#x1f9e3; 微博: GuoJ阝阝&#xff08;fu&#xff09; 文章目录 前言一、实现效果二、实现步骤1、添加导出按钮2、添加点击事件函数3、获取当…

vue导出excel表格(详细教程)

在开发的时候&#xff0c;会经常用的导出excel表格功能,刚好自己开发有遇到&#xff0c;就记录一下 一、安装vue-json-excel npm install vue-json-excel -S二、main.js中引入 import JsonExcel from vue-json-excel Vue.component(downloadExcel, JsonExcel)三、在代码中使…

Vue2中导出Excel

目录 方式一 &#xff1a;vue-json-excel 1、引入vue-json-excel 2、 main.js中全局注册 3、使用 4、效果图 ​​ 方式二&#xff1a;file-saver、xlsx、script-loader 1、引入依赖 2、下载并引入Blob.js和Export2Excel.js 3、使用 4、效果图 导出指定的记录 1、引…

内网建站 NAT穿透 局域网穿透

背景&#xff1a; 一直想搭建个人的博客&#xff0c;但是买云服务器一年动则几千少则几百&#xff0c;想到家里有一台空闲的笔记本&#xff0c;于是乎想到了内网穿透&#xff5e; 准备工作&#xff1a; 个人电脑一台&#xff0c;小蝴蝶内网穿透 步骤一&#xff1a; 搭建好内网博…

内网穿透是什么?

文章目录 内网穿透的目的内网穿透的阻碍如何实现知识点正向代理反向代理 参考&#xff1a; 内网穿透 知识点 内网穿透是什么&#xff0c;如何利用花生壳实现内网穿透 内容从网络上收集而来 内网穿透的目的 使得外网能够访问内网应用。 或者&#xff0c;使得 两个内网能够相互通…

内网穿透-把自己的电脑部署为公网可访问的服务器

推荐一款工具&#xff0c;能够把自己电脑上的项目暴露到公网上、把自己的项目展示给别人看看。 使用很方便&#xff0c;可免费&#xff08;有收费项目&#xff09;使用。 下载 工具叫做 cpolar &#xff0c;其下载地址为&#xff1a;https://i.cpolar.com/m/4GSo &#xff0c…

内网穿透技术有哪些(经验分享)

内网穿透技术&#xff1a;说到内网穿透&#xff0c;相信很多人肯定一知半解&#xff0c;到底什么是内网穿透呢&#xff01;什么情况下需要内网穿透呢&#xff01;接下来给大家简单的述说一下原理&#xff0c;内网穿透&#xff0c;也即 NAT 穿透&#xff0c;进行 NAT 穿透是为了…

可以实现内网穿透的几款工具

https://blog.csdn.net/qq_36468810/article/details/109219639 me批注&#xff1a;现在流行使用cpolar&#xff0c;极客工具&#xff0c;HTTPS安全的隧道穿透&#xff0c;用它来调试微信公众号&#xff0c;远程控制树梅派&#xff0c;超级方便。而且还是免费的。https://cpol…

浅谈内网穿透

内网穿透&#xff0c;也叫NAT穿透&#xff0c;进行NAT穿透是为了使具有某一个特定源ip地址和源端口号的数据包不被NAT设备屏蔽而正确路由到内网主机。 什么是【内网穿透】&#xff1f; 在当前的互联网环境中&#xff0c;由于IPv4的公网地址数量是有限的&#xff0c;无法给每一台…

内网穿透什么意思?内网穿透基础知识原理内网穿透服务器搭建可以干嘛服务器端口映射无需公网IP教程方法

内网穿透什么意思&#xff1f;内网穿透基础知识原理内网穿透服务器搭建可以干嘛服务器端口映射无需公网IP教程方法 什么是内网&#xff08;今天说点大家都能听得懂的&#xff01;&#xff01;&#xff01;&#xff09; 通常情况下&#xff0c;内网 可以简单的理解为路由器创建…

内网穿透的作用 免费内网穿透有哪些 可以用来干什么

相信有很多人都会被一个问题所困惑&#xff0c;我们在日常办公和生活中&#xff1b;一些内网访问的应用&#xff0c;如何让实现在任意外网进行链接访问呢&#xff1f;有人说可以用内网穿透 内网穿透具体是什么&#xff0c;原理是什么&#xff1b;今天我们用网云穿来做演示。内…

重启路由器可以换IP吗

想换IP有哪些方法可以实现&#xff1f;有时候IP被限制了&#xff0c;怎么换IP访问&#xff0c;重启路由器可以换IP吗&#xff1f;一般家庭的基于PPPOE拨号方式上网的,使用的是动态IP&#xff0c;可以更换IP&#xff0c;下面一起去看看如何重启路由器&#xff1a; 1、断电源重启…