批量下载中国气象科学数据共享网的数据

article/2025/9/27 0:37:29

由于项目需要,需要下载站点的降雨量和蒸散发数据,但是这网站做的又特别不人道,超过50M数据量无法直接下载,需要定制,定制后说提供ftp下载,尼玛打开定制记录,一条条记录在哪摆着,说好的ftp呢,一个个下这还不得点死。还好借用wget可以较容易实现批量下载,但这期间也遇到了不少问题,刚下没几条,就提示“当前下载用户过多,请稍后下载”,那就等吧,尼玛劳资凌晨起来下数据,还给提示这个,这是做的什么破玩意,还让不让下数据了,一气之下就用账号留了言,然后发了伊妹儿,果然第二天就可以稳当下数据了。。一步步来看如何实现数据的批量下载。

(1)登陆后点击定制记录可以看到摆着的一条条数据文件名,如下图所示。

(2)点击F12查看网页源码,如下图所示,可以看到每一条数据的下载地址和数据文件名;把整个网页的源码复制粘贴到一个新建的txt文本文件中,只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来,这里已经写好,会和wget一起打包共享给大家。

(3)提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn;提取的下载文件具体格式为:<下载地址><空格><文件名>,将文件保存在批量下载工具根目录即可,文件名为cma_src.txt,如下图所示

(4)使用wget批量下载数据

新建一个wget.bat文件,输入以下代码:

@echo off
.\wget-1.11.4-1-bin\bin\wget --post-data="userid=your_user_id&password=your_password" --save-cookies=cookie_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"

for /F "tokens=1*" %%i in (cma_src.txt) do (
.\wget-1.11.4-1-bin\bin\wget --load-cookies=cookie_wget -c %%i -O .\data\%%j
)

需要修改的是用户名和密码,然后点击双击运行即可实现数据的批量下载。

最后附上工具下载地址:http://download.csdn.net/detail/liushuo_whu/8415929。

-------------------------------2016年1月3日---------------------------------

气象网更新了,现在叫中国气象数据网,现在的数据检索需要生成订单,处理完成后以压缩包的形式下载,其中每个订单对应一个动态生成的ftp用户名和密码,如下图:

yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=uploading.4e448015.gif转存失败重新上传取消yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=uploading.4e448015.gif转存失败重新上传取消yGCxu1BXvJDmLU0Q4dXHHFg8l7k3M1Wt8UHTIAJMAEmUL8IkPrPz88P5A5MMQE5MQEmwASYABNgAg2XwP8BCyCjo18dwfAAAAAASUVORK5CYII=uploading.4e448015.gif转存失败重新上传取消

这点是比以前要好了,以前的都是一条条的记录,现在可以打包下载了。但是还存在另外一个问题,就是如果检索的数据有几千条,分了好多页,无法全选加入数据框,只能一页页的选择,不过还是比以前要好了。


http://chatgpt.dhexx.cn/article/B9H1wSiD.shtml

相关文章

14个开源数据分析项目,附数据集下载链接!

对于那些对数据&#xff0c;数据分析或数据科学感兴趣的人&#xff0c;提供一份可以利用业余时间完成的数据科学项目清单&#xff0c;一共14个&#xff01; 项目分为三种类型&#xff1a; 可视化项目探索性数据分析&#xff08;EDA&#xff09;项目预测建模 可视化项目 最容易上…

GIS数据在哪里下载

根据数据的不同类型&#xff0c;本次数据合集将数据分为七个部分&#xff0c;包括空间地理数据、自然灾害数据、天气气候数据、人口统计数据、海洋环境数据、生态环境数据和战争统计数据。 闲话不多说&#xff0c;开始我们的网站合集&#xff01; 1 空间地理数据 名称&#…

数据库的下载

MySQL数据库的下载 MySQL官方提供了两个不同的版本&#xff1a; 1、社区版 &#xff08;MySQL Commimity Server&#xff09;免费&#xff0c;MySQL不提供任何技术支持&#xff08;本文操作选用社区版&#xff09; 2、商业版&#xff08;MySQL Enterprise Edition&#xff09;…

Harvard Dataverse 数据批量下载

最近看论文&#xff0c;看到了自己需要的数据&#xff0c;就想着下载下来&#xff0c;结果发现这个东西并不好下载&#xff0c;也可能是自己的知识存储不够&#xff0c;捣鼓了一天&#xff0c;终于下载下来了。这里记录一下&#xff0c;方便以后查阅。 Harvard Dataverse 数据批…

NASA全球GPM免费降雨数据下载(2021年11月更新)

文章目录 前言一、申请注册NASA Earth Data账户二、查找数据三、开始下载0.下载前言1.站点管理2.添加Edge浏览器代理 总结 前言 NASA提供的免费地学数据简直是造福社会和广大科研工作者&#xff0c;不得不说这些方面我们仍需努力。 回归正题&#xff0c;提到高精度的历史降水数…

Landsat数据下载(批量下载)

隶属于美国地质调查局&#xff08;USGS&#xff09;的Landsat卫星&#xff0c;从20世纪70年代开始&#xff0c;提供了大量的卫星遥感数据。目前仍然在轨运行的Landsat系列卫星为Landsat-8和Landsat-9。 数据下载网站为&#xff1a;https://earthexplorer.usgs.gov/ 在该网站&a…

气象数据下载网站(存档)

https://www.cnblogs.com/icydengyw/p/12664027.html 1、http://weather.uwyo.edu/upperair/seasia.html 需要提前查明站点ID 2、https://rp5.ru/ 3、http://www.meteomanz.com/ 2005年至今&#xff0c;包含原始报文&#xff0c;数据十分详细 4、http://data.cma.cn/ 中…

全球地震数据下载方法

美国地质调查局地震数据 这份数据是美国 1977 年设立USGS 地震灾害计划&#xff0c;由美国地质调查局及其合作伙伴监测和报告地震&#xff0c;评估地震影响和危害&#xff0c;并对地震的成因和影响进行研究。 数据下载网址如下&#xff0c;访问该网站需要魔法 https://earthqua…

GEO数据下载方法

方法一&#xff1a;直接从官网下载&#xff0c;手动 GEO&#xff08;GENE EXPRESSION OMNIBUS&#xff09;&#xff0c;https://www.ncbi.nlm.nih.gov/geo/&#xff0c;由美国国立生物技术信息中心NCBI创建维护的&#xff0c;是个公开的基因数据库&#xff0c;包含了测序和芯片…

Landsat数据下载

Landsat数据下载步骤 0 Landsat数据介绍1 下载地址2 下载步骤2.1 检索数据2.1.1 设置地点&#xff0c;有多种方法2.1.2 选择时间范围2.1.3 在Data Sets界面选择传感器&#xff08;卫星或者传感器的名称&#xff09; 2.2 限定云量2.3 下载数据 这是个老生常谈的话题了&#xff0…

Earthdata(NASA)网站数据使用IDM(Internet Download Manager)下载器批量下载方法(MERRA-2为例)

最近给亲近的人写了教程&#xff0c;想着也给大家分享一下。 MERRA-2 网址&#xff1a; GES DISC 这个网址是下载MERRA-2 instM_3d_asm_Np类型的数据文件&#xff0c;具体各部分字母代表什么&#xff0c;看下载列表中的MERRA2.README.pdf。 1. 打开网址&#xff0c;注册账号。…

下载数据

下载数据 如今的社会的信息已经不能用氢弹大爆炸来形容了&#xff0c;信息的海量&#xff0c;多的难以置信&#xff0c;且大多未经过仔细检查&#xff0c;所以就需要对信息进行分析。 接下来我们将可视化两种常见格式存储的数据&#xff1a;CSV和JSON。 将使用Python模块csv来…

常见目标跟踪数据集下载链接整理(更新中)

搜罗一下&#xff0c;感觉没人把常见的目标跟踪数据集下载链接汇总整理的&#xff0c;这里就整理一下&#xff0c;因为有些网址很难打开&#xff0c;这里也是想方便之后大家获取&#xff0c;来看看吧&#xff01;我就从大佬图中来找几个吧&#xff01;因为不是全接触过&#xf…

数据集下载

1、直接下载pytorch官方现成的数据集&#xff1a; #数据集下载,训练集 trainset torchvision.datasets.name(root./data,trainTrue,downloadTrue,transformtransformer) #数据集导入 trainloader torch.utils.data.DataLoader(trainset,batch_size36,shuffleTrue,num_worker…

NHANES数据库数据下载

今天跟大家分享一下如何用R包nhanesA下载NHANES数据 以一个简单的研究目的为例&#xff1a;使用NHANES数据库中的数据构建一个舒张压的预测模型。 根据该研究目的&#xff0c;整理纳入分析的周期和变量&#xff1a; ①研究周期&#xff1a;2013-2014年&#xff1b; ②因变量…

常用数据下载网站汇总

AI最重要的几大要素&#xff1a;数据、算法、算力。其中最基础也是很重要的一个内容就是数据&#xff0c;一个数据的好坏往往决定了你的模型的性能、效果、泛化能力。但是准备、完善、标注数据的过程往往是耗时耗力&#xff0c;所以如何知道更多的经典数据集&#xff0c;能够快…

SRA数据下载方法总结

SRA数据常用的下载方法 研究生了&#xff0c;对以往的知识进行一个复习和总结吧。 SRA数据库存储了现在主要高通量测序平台的原始测序数据和和比对信息&#xff0c;包括了SRA、EBI、DDBJ、JGI等数据库的信息。&#xff08;这里分享一个小的知识点&#xff0c;现在可以不只依赖…

maxcompute-入门-数据下载

maxcompute数据下载的三种方式 maxcoumpute下载数据有三种方式&#xff1a; 1、直接通过dataworks云端下载&#xff0c;但是这个只能下载小于1万行的数据&#xff1b; 2、通过odpscmd客户端下载&#xff0c;有两种方式&#xff1a;分区下载只能下一天数据&#xff1b;或者先运行…

IBM Websphere MQ 基础4:Channel通道与MQ间消息传输

概念 WebSphere MQ uses two different types of channels: A message channel, which is a unidirectional communications link between two queue managers. WebSphere MQ uses message channels to transfer messages between the queue managers. To send messages in b…

MQ - 如何保证消息不丢失?处理重复消息?消息堆积处理?

什么是消息队列 在百度百科中&#xff0c;消息队列是这么解释的&#xff1a;“消息队列”是在消息的传输过程中保存消息的容器。 消息队列全称为英文 Message Queue 简称&#xff08;MQ&#xff09;是一种应用程序对应用程序的通信方法。MQ 是消费-生产者模型的一个典型的代表…