爬虫入门——数据抓取

article/2025/9/4 23:22:26

学习爬虫, 最初的操作便是模拟浏览器向服务器发出请求。使用一下库实现此请求
1.urllib库的使用
urllib 库是Python 内置的HTTP 请求库,包含以下四个模块:
1.request:http请求模块
2.error:异常处理模块
3.parse:工具模块,提供url的处理方法
4.rebotparser:识别网站robots.txt,判断网站能不能抓取
(1)发送请求使用request模块
1》urlopen()
url.request模块提供最基本的构造http请求的方法,模拟浏览器的一个请求得发起过程。
抓取源代码案例:
使用最基本的urlopen ()方法,可以完成最基本的简单网页的GET 请求抓取。
在这里插入图片描述
利用type()方法返回查看响应 的类型:
在这里插入图片描述
响应的类型的对象为HTTPResponse:主要包含主要包含read () 、rea d into ()、getheader(name )、
gethea ders () 、file no ()等方法,以及msg 、version 、status 、reason 、debuglevel 、ιlosed 等属性。
得到这个对象之后,我们把它赋值为response 变量,然后就可以调用这些方法和属性,得到返回
结果的一系列信息了。
比如:调用read ()方法可以得到返回的网页内容,调用status 属性可以得到返回结果的状态码,
如200 代表请求成功, 404 代表网页未找到等。
在这里插入图片描述
给链接传递一些参数的实现:
urllib.request.urlopen(url,data=None,[Timeout,]*,Cafile=None,capath=None,cadefault=False,context=None)
**data参数:**如果要添加该参数,并且是以字节流编码格式的内容,即bytes类型,则需要通过bytes()方法转化。如果传递了这个参数,则请求得方式不再是GET方式,而是POST方式。
在这里插入图片描述
这里我们传递了一个参数word ,值是hello 它需要被转码成bytes (字节流)类型。其中转字
节流采用了bytes ()方法,该方法的第一个参数需要是str (字符串)类型,需要用urllib.parse 模
块里的urlencode ()方法来将参数字典转化为字符串;第二个参数指定编码格式,这里指定为utf8 。


http://chatgpt.dhexx.cn/article/ZAUKRPOA.shtml

相关文章

ts全局变量定义

参照已有全局变量定义 src/global.d.ts /** Author: hongbin* Date: 2022-10-21 08:49:42* LastEditors: hongbin* LastEditTime: 2022-10-21 09:09:08* Description:全局类型,变量,常量*/ //全局变量 declare let Hong: string; declare const BIN: s…

C++中的全局变量声明和定义

1.全局变量 全局变量在整个源文件的作用域都是有效的,只需要在一个源文件中定义全局变量,在其他不包含全局变量定义的源文件中用extern关键字再次声明这个全局变量即可。 也可以在一个源文件中定义这个全局变量,在头文件中用extern关键字再…

c语言全局变量(c语言全局变量怎么定义)

菜鸟提问:GCCE编译环境下,汇编函数如何使用C全局变量汇编化了 首先要在C程序中用extern申明该变量为全局变量,再在汇编程序中用extern "变量名"来导入,注意,汇编中如果直接使用"mov eax,变量名"表示的是将该变…

C++全局变量的声明和定义

参考: http://wrchen.blog.sohu.com/71617539.html (1)编译单元(模块) 在VC或VS上编写完代码,点击编译按钮准备生成exe文件时,编译器做了两步工作: 第一步,将每个.cpp(.c…

【Vue】全局变量的定义及使用

首先声明Vue使用全局变量的方法有很多&#xff0c;以下只是个人觉得比较简洁的2种。其中两者的第一步操作相同&#xff0c;即&#xff1a; 创建全局变量文件Global.vue&#xff0c;内容如下&#xff1a; <script>const name ZhangSan; //名称const address No.20, Ta…

VC++中全局变量的问题(转)

全局变量一般这样定义&#xff1a;1。在一类的.cpp中定义 int myInt;然后再在要用到的地方的.cpp里extern int myInt&#xff1b;这样就可以用了。 2。在stdafx.cpp中加入:int myInt;然后在stdafx.h中加入:extern int myInt这样定义以后无论在什么文件中都是可见的. 3。比较规…

LINUX c语言 定时显示CPU,内存和硬盘的使用率

/* 写在完成后&#xff0c;查找了很多资料&#xff0c;看到了很多方法&#xff0c;也看了部分top的源码&#xff0c;最终选择了这几种混合的方式来写&#xff0c;可能有更优解&#xff0c;不过目前这样应该够用。 --2020/12/15-- Simon */需求&#xff1a;定期获取CPU&#x…

crontab做系统定时任务命令

crontab做系统定时任务命令&#xff1a; 给系统设置一个定时的任务&#xff0c;相当于一个闹钟 我们每天的0点去做一些清理工作&#xff0c;自检工作&#xff0c;重要数据存盘备份工作&#xff0c;一个组里面很多同时都在提交代码&#xff0c;git作为代码管理工具&#xff0c;每…

c语言如何让函数一直执行,C语言如何实现在每天某个特定时间执行某个函数?

慕仙森 Windows提供了定时器&#xff0c;帮助编写定期发送消息的程序。定时器一般通过一下两中方式通知应用程序间隔时间已到。⑴ 给指定窗口发送WM_TIMER消息&#xff0c;也就是下面的给出在窗口类中使用的方法。⑵ 调用一个应用程序定义的回调函数&#xff0c;也就是在非窗口…

HashedWheelTimer时间轮定时任务原理分析

一、示例代码 HashedWheelTimer时间轮是一个高性能&#xff0c;低消耗的数据结构&#xff0c;它适合用非准实时&#xff0c;延迟的短平快任务&#xff0c;例如心跳检测。 时间轮是一种非常惊艳的数据结构。其在Linux内核中使用广泛&#xff0c;是Linux内核定时器的实现方法和基…

SpringMVC中定时任务配置

在项目中使用定时任务是常有的事&#xff0c;比如每天定时进行数据同步或者备份等等。 以前在从事C语言开发的时候&#xff0c;定时任务都是通过写个shell脚本&#xff0c;然后添加到linux定时任务中进行调度的。 现在使用SpringMVC之后&#xff0c;一起都变得简单了o(∩_∩)…

c语言1.5秒定时程序,C语言实现简单的定时器

本文实例为大家分享了C语言实现简单的定时器的具体代码&#xff0c;供大家参考&#xff0c;具体内容如下 1.代码分析 2.代码 #include #include #include #ifndef CLOCKS_PER_SEC #define CLOCKS_PER_SEC 1000 #endif int main( void ) { clock_t start; long count 1; sta…

c语言自动执行一分钟,C语言操作时间函数,实现定时执行某个任务的小例子

https://m.toutiao.com/is/JcccKk6/ 时间操作函数在实际项目开发中会经常用到&#xff0c;最近做项目也正好用到就正好顺便整理一下。 时间概述 由上图可知&#xff1a;通过系统调用函数time()可以从内核获得一个类型为time_t的1个值&#xff0c;该值叫calendar时间&#xff0c…

C语言实现任务调度与定时器

代码实现是在xl2tpd的源码中get到的&#xff0c;感觉很有意思的一段代码。基本功能就是实现定时器&#xff0c;时间到后从定时队列中取出&#xff0c;然后完成指定的任务。 1. schedule.c代码(自己添加了main函数&#xff0c;用来调试) /** Layer Two Tunnelling Protocol Da…

c语言 精确定时程序,微调定时精确时间

1.定时器&蜂鸣器 一般定时器中断函数里的内容最好是能够快速地去执行完,比如只执行几条简单的语句,这样与主函数配合才会使程序更加高效。前期教学里,我们只使用定时器中断负责某个IO引脚间隔跳变或者使一个变量间隔自加1的简单语句。 比如我们现在要实现间隔50ms左右的…

c语言实现任务调度器

一、介绍 调度器是常用的一种编程框架&#xff0c;也是操作系统的拆分多任务的核心&#xff0c;比如单片机的裸机程序框架&#xff0c;网络协议栈的框架如can网关、485网关等等&#xff0c;使用场合比较多&#xff0c;是做稳定产品比较常用的编程技术 二、原理 1、超级循环 v…

C语言定时1分钟程序,C语言操作时间函数,实现定时执行某个任务小程序

时间操作函数在实际项目开发中会经常用到,最近做项目也正好用到就正好顺便整理一下。 时间概述 由上图可知:通过系统调用函数time()可以从内核获得一个类型为time_t的1个值,该值叫calendar时间,即从1970年1月1日的UTC时间从0时0分0妙算起到现在所经过的秒数。而该时间也用于…

vivado 2018.2官方下载

前几天想装vivado&#xff0c;奈何学长给的文件安装出了点问题&#xff0c;百度网盘下载20g又太慢&#xff0c;去官网看了一下&#xff0c;发现官网的安装器挺小的。 下载地址&#xff1a;https://china.xilinx.com/support/download.html 需要再注册一下就好。 之后的安装步骤…

vivado2021.1安装

首先需要在官网注册一个账号&#xff0c;安装软件时需要使用。 账号注册连接&#xff1a;xilink账号注册 vivado下载链接 xilink官网下载(使用官网下载需要注册账号&#xff0c;下载免费&#xff09; vivado阿里云盘下载 vivado licence阿里云盘下载 官网下载选择此项 下载完成…

Vivado 2020.1 开放下载,中文资料随贴奉送

Vivado 2020.1 开放下载了&#xff01;&#xff01; 以下都是重点&#xff01; 新 功能 Vivado 2020.1 新增以下功能&#xff1a; 能够将完整的图像或选定的产品作为 Web 安装程序的一部分增强的地址映射&#xff0c;用于实时错误高亮显示和交叉探测Report QoR Suggestions 功能…