Numpy文件交互:.npy和.npz有什么区别?

article/2025/8/18 19:32:25

文章目录

    • save
    • load
    • savez
    • savez_compressed

Numpy提供了以.npy为后缀的文件存储方案,与这种文件格式密切相关的读、写函数分别是np.loadnp.save。通过savez可以一次性存储多个数组,并可通过load以键值对的形式读取出来;如果觉得文件太大,可以通过savez_compressed进行压缩。

save

save函数的定义为

numpy.save(file, arr, allow_pickle=True, fix_imports=True)

其中file为文件路径,若不以.npy为结尾,则自动添加.npy后缀;arr为待存储数据。allow_pickleTrue时,允许通过Python自带的pickle来存储对象;fix_importTrue时,pickle将为旧的Python2数据尽量匹配成Python3的。

import numpy as np
x = np.arange(10000)
np.save("test", x)
# x被存储为`test.npy`

load

用于读取numpy文件的load函数定义如下

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII', *, max_header_size=10000)

其中file是文件名,encoding为编码方式,这没什么好说的;allow_pickle, fix_importssave中相同。max_header_size为头文件尺寸,表示读取时跳过的内容。

map_mode为内存映射模式,可选r+, r, w+, c

通过load,可以将刚刚存储的test.npy读取出来

y = np.load("test.npy")
(x==y).all()
# 返回True,说明x和y全等

savez

save只能存储一个数组对象,多了会忽略;savez则解决了这个问题

np.save("xy", x,y,y)
test = np.load('xy.npy')
print(test) #[   0    1    2 ... 9997 9998 9999]
print(len(test))    # 10000np.savez("xy", x, y)
test = np.load('xy.npz')
print(test.files)
# ['arr_0', 'arr_1']
print(test['arr_0'])
# [   0    1    2 ... 9997 9998 9999]

savez将多个数组存入到了文件中。

savez在存储文件时,字典的键值是可以更改的

np.savez("xy", x=x, Y=y)
test = np.load('xy.npz')
print(test.files)
# ['x', 'Y']

savez的运行逻辑,是先将每一个数组存为npy之后,再将这些npy压缩为zip文件,最后在zip文件外面套一层npz的壳。所以通过savez存储的文件,在被load之后,得到的是一个NpzFile对象,其中包含了zip属性,在这个属性中,可以看到arr_0.npyarr_1.npy的信息。

>>> print(test.zip.NameToInfo)
{'arr_0.npy': <ZipInfo filename='arr_0.npy' filemode='?rw-------' file_size=40128>, 'arr_1.npy': <ZipInfo filename='arr_1.npy' filemode='?rw-------' file_size=40128>}

savez_compressed

savez_compressedsavez的唯一区别就是,前者有压缩。

刚刚通过savez存储的文件有79kb,但xy其实是相同的内容,这样存储十分奢侈,

np.savez_compressed('xyc', x, y)

最后得到的xyc只有28kb,可以说是很划算了。

在这里插入图片描述


http://chatgpt.dhexx.cn/article/OQ2G8qN3.shtml

相关文章

什么是npy文件,为什么要用npy格式保存文件?

文章目录 一、官方文档&#xff08;中文&#xff09;二、官方文档&#xff08;英文&#xff09;三、为什么要用npy文件保存文件四、读取和保存&#xff08;1&#xff09;加载npy文件&#xff0c;并将npy文件写入一个txt文件&#xff08;2&#xff09;保存npy文件&#xff08;3&…

深度学习入门之如何制作npz、npy文件

一、需求 论文《EyeTracking for everyone》中提出了iTracker神经网络,并构建了一个叫GazeCapture的数据库,将其部分数据集下载后,可以看到文件的层次结构如下图所示: 其中,整个数据集的后缀名是npz,内部文件的后缀名是npy。由于该数据集是面向Apple产品系列的,而我的…

tecplot切面

注意要选择Volume Zone

面向切面

面向切面是什么 AOP即面向切面编程。 让你只专注于核心业务功能的实现&#xff0c;而不用花太多精力去管像日志、事务等各个项目通用的功能。 把非核心的业务逻辑抽象成一个切面&#xff0c;在程序运行过程中自动注入该功能&#xff0c;这就是面向切面&#xff0c;其底层是通…

Spring AOP 之 多切面

接着上文&#xff1a;https://blog.csdn.net/single_wolf_wolf/article/details/81772837 多切面 相对来说&#xff0c;只是定义多个切面类&#xff0c;同时配置类中设置一下&#xff0c; demo如下&#xff1a; 首先定义一个接口&#xff1a; package com.cmb.multi;public…

spring切面注解失效

在项目中使用切面注解做数据脱敏时,导出的数据也需要脱敏处理,遇到了在一个类里面调用本类的方法切面失效,解决方法如下: 切面注解: package com.t3.ts.driver.resume.aspect;import java.lang.annotation.*;/*** Description: 数据脱敏注解 Filed* Date: 2019/9/10* Author:…

自定义切面类

直接贴入代码 &#xff0c;注释写的很清楚 此处为controller层 方法上加上自定义的切面注解 入参实体 public class TestM extends BaseModel{/****/private static final long serialVersionUID 1L; private String a;public String getA() {return a; }public void setA(S…

java 切面 注解_十、使用注解定义切面

一、本课目标 掌握使用注解实现AOP的方法 二、使用注解定义切面 2.1简介 AspectJ 面向切面的框架,它扩展了Java语言,定义了AOP语法,能够在编译期提供代码的织入。 @AspectJ AspectJ5新增的功能,使用JDK5.0注解技术和正规的AspectJ切点表达式语言描述切面(所以在使用@Aspect…

Spring 创建切面

目录 1、概述 2、切点类型 3、切面类型 4、静态普通方法名匹配切面 5、静态正则表达式方法匹配切面 6、动态切面 7、流程切面 8、复合切点切面 9、总结 1、概述 在前面介绍各类增强时&#xff0c;大家可能没有注意到一个问题&#xff1a;增强被织入到目标类的所有方法…

Spring基础:切面

前言在之前的文章中总结了 AOP 在 Spring 中的作用及地位&#xff0c;在分析 AOP 时涉及到切面的内容&#xff0c;这一节详细的分析切面的知识点。 正题 在开始文章前&#xff0c;有几个问题需要思考一下&#xff1a; 切面到底是神马切面的构成切面有哪些实现类切面有哪些类型…

java使用spring aop切面编程

aop概念 1、切面(Aspect) 首先要理解‘切’字&#xff0c;需要把对象想象成一个立方体&#xff0c;传统的面向对象变成思维&#xff0c;类定义完成之后&#xff08;封装&#xff09;。每次实例化一个对象&#xff0c;对类定义中的成员变量赋值&#xff0c;就相当于对这个立方体…

【Spring】面向切面编程详解(AOP)

文章目录 一、AOP概述什么是AOPAOP应用场景 二、AOP的基本术语术语介绍术语举例详解 三、AOP实例说明四、通知类型详解概述前置通知后置通知环绕通知最终通知 六、AOP实现声明式事务结语 &#x1f315;博客x主页&#xff1a;己不由心王道长&#x1f315;! &#x1f30e;文章说明…

时间序列预测方法

之前一直在看时间序列预测方法的文献&#xff0c;最近终于有点头绪了&#xff0c;然后就花了些时间来做一下整理。时间序列预测方法可分为传统的&#xff0c;基于机器学习的和基于深度学习的&#xff0c;以下每一方面都列举了几个比较经典的模型算法。 目录 1 背景 2 传统的时…

时间序列预处理

数据预处理的主要流程为&#xff1a;数据清洗、特征选择、归一化处理、划分窗口、Shuffle和划分数据集等五个阶段。选用何种方法没有统一的标准&#xff0c;只能根据不同类型的分析数据和业务需求&#xff0c;在对数据特性做了充分的理解之后&#xff0c;再选择与其最适配的数据…

时间序列分析相关概念

1. 在时间序列分析中&#xff0c; 数学模型是什么&#xff1f;数学公式又是什么&#xff1f;数学推导过程又是什么&#xff1f;… … 一句话&#xff1a;用数学公式后者符号来表示现实存在的意义。数学是“万金油”的科学&#xff0c;它是作为工作和分析方法运用到某个学科当中…

时间序列预测方法总结

前言 对时间序列数据预测模型做个简单的分类&#xff0c;方便日后对其进一步研究&#xff0c;理清楚技术更新发展方向。 时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。 预测场景 单步预测 单步单变量预测 &#xff1a;在时间序…

时间序列的聚类方法

时间序列的聚类方法 时间序列是按照时间排序的一组随机变量&#xff0c;它通常是在相等间隔的时间段内&#xff0c;依照给定的采样率&#xff0c;对某种潜在过程进行观测的结果。 时间序列数据是实值型的序列数据&#xff0c;具有数据量大、数据维度高以及数据是不断更新的等…

【时间序列预测】Autoformer 长时间序列预测

论文链接&#xff1a;http://xxx.itp.ac.cn/pdf/2106.13008.pdf Abstract 延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种 self-attention 机制来发现长期依赖关系。然而&…

时间序列分析预测

全栈工程师开发手册 &#xff08;作者&#xff1a;栾鹏&#xff09; python数据挖掘系列教程 时间序列中常用预测技术&#xff0c;一个时间序列是一组对于某一变量连续时间点或连续时段上的观测值。参考&#xff1a;https://blog.csdn.net/u010414589/article/details/49622625…

时间序列预测

问题简介 简单来说&#xff0c;时间序列是按照时间顺序&#xff0c;按照一定的时间间隔取得的一系列观测值&#xff0c;比如我们上边提到的国内生产总值&#xff0c;消费者物价指数&#xff0c;利率&#xff0c;汇率&#xff0c;股票价格等等。时间间隔可以是日&#xff0c;周…