网络爬虫之规则

article/2025/10/12 22:26:23

网络爬虫之规则

  • 一.Requests库的get()方法
    • 1.1requests库的安装
    • 1.2 测试requests库的效果
    • 1.3 requests库的7个主要方法
    • 1.4 requests中的get方法
    • 1.5 Response对象的属性（牢记）
    • 1.6 理解Response的编码
    • 1.7 对以上知识的讲解运用
  • 二.爬取网页的通用代码框架
    • 2.1 理解Requests库的异常
    • 2.2 爬取网页的通用代码框架
  • 三.HTTP协议及Requests库方法
    • 3.1 HTTP协议
    • 3.2 HTTP协议对资源的操作
    • 3.3 HTTP协议与Requests库
      • 3.3.1 Requests库的head()方法
      • 3.3.2 Requests库的post()方法
      • 3.3.3 Requests库的put()方法
  • 四.Requests库主要方法解析
    • 4.1 requests库的7个主要方法
  • 五.Robots协议
    • 5.1 概要
    • 5.2 Robots遵守方式
  • 五.实例
    • 5.1 京东商品页面的爬取
    • 5.2 亚马逊商品页面的爬取
    • 5.3 百度360搜索关键词提交
    • 5.4 网络图片的爬取和存储
    • 5.5 IP地址归属地的自动查询

一.Requests库的get()方法

1.1requests库的安装

首先，调出command控制台，输入cmd进入，输入pip install requests下载requests库

1.2 测试requests库的效果

import requests
r = requests.get("http://www.baidu.com")
r.status_code
#200表示访问成功
r.encoding = 'utf-8'
r.text

运行结果(成功)：
在这里插入图片描述

1.3 requests库的7个主要方法

requests.request()构造一个请求，支撑以下各方法的基础方法
requests.get()获取HTML网页的主要方法，对于HTTP的GET
requests.head()获取HTML网页头信息的方法，对于HTTP的HEAD
requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()向HTML网页提交删除请求，对应于HTTP的DELETE

1.4 requests中的get方法

#获取一个网页最简单的一行代码是：
r = requests.get(url)
#这里给定get方法和url来构造一个向服务器请求资源的Requests对象（该对象是由Requests内部生成的）
#返回一个包含服务器资源的Response对象(包含从服务器返回的所有资源)(Response对象的属性下面讲解)#完整使用方法
requests.get(url,params=None,**kwargs)
url:拟获取页面的url链接
params:url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数

1.5 Response对象的属性（牢记）

属性说明
r.status_codeHTTP请求的返回状态，200表示连接成功，404表示失败
r.textHTTP响应内容的字符串形式，即url对应的页面内容
r.encoding从HTTP header中猜测的响应内容编码方式
r.apparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）
r.contentHTTP响应内容的二进制形式

在这里插入图片描述

1.6 理解Response的编码

属性说明
r.encoding从HTTP header中猜测的响应内容编码方式
r.apparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）

r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1

1.7 对以上知识的讲解运用

此处用的是python自带的IDLE

import requests
r = requests.get("http://www.baidu.com");
r.status_code
-->200(返回值)
r.text
-->(返回值)
...一堆英文
r.encoding
-->'ISO-8859-1'
r.apparent_encoding
'utf-8'
r.encoding = 'utf-8'#更改编码
r.text
-->此时返回值中出现中文！！！

二.爬取网页的通用代码框架

2.1 理解Requests库的异常

异常说明
requests.ConnectionError网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数，产生重定向异常
requests.connectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时，产生超时异常
异常说明
r.raise_for_status()如果不是200，产生异常requests.HTTPError

r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try-except进行异常处理。

2.2 爬取网页的通用代码框架

try…excpt的使用:
python会捕获到try中的异常，并且当try中某一行出现异常后，
后面的代码将不会再被执行；而是直接调用except中的代码if __name__ =='__main__'的意思是：
当.py文件被直接运行的时候，if __name__ =='__main__'：下方的代码将被执行；
当.py文件以模块形式被导入时，if __name__ =='__main__'下代码不被执行

import requests
def getHTMTLText (url) :
try:r = requests.get(ur1, timeout=30)r.raise_for_status()#如果状态不是200，引发HTTPError异常r.encoding = r.apparent_encodingreturn r.text
except:return "产生异常"if  _name_ == "_main_" :url = "http://www.baidu.com"print(getHTMLText (url))

运行结果与试验结果
在这里插入图片描述

三.HTTP协议及Requests库方法

3.1 HTTP协议

HTTP , Hypertext Transfer Protocol，超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议HTTP协议采用URL作为定位网络资源的标识，URL格式如下∶
http: / /host[ : port][path]
host:合法的Internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径HTTP URL的理解︰
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

3.2 HTTP协议对资源的操作

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST请求向URL位置的资源后附加新的数据
PUT请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE请求删除URL位置存储的资源

在这里插入图片描述
理解PATCH和PUT的区别:
假设URL位置有一组数据UserInfo，包括UserID、UserName等2e个字段
需求︰用户修改了UserName，其他不变

  • 采用PATCH，仅向URL提交UserName的局部更新请求
  • 采用PUT，必须将所有20个字段一并提交到uRL，未提交字段被删除

PATCH的最主要好处:节省网络带宽

3.3 HTTP协议与Requests库

HTTP协议方法Requests库方法功能一致性
GETrequests.get()一致
HEADrequests.head()一致
POSTrequests.post()一致
PUTrequests.put()一致
PATCHrequests.patch()一致
DELETErequests.delete()一致

3.3.1 Requests库的head()方法

>>> r = requests.head( " http: / / httpbin.org/get ')
>>> r.headers
{ ' content-Length ' : '238'， 'Access-Control-Allow-Origin ' : '*'，'Access-control-Allow-credentials ' : 'true ', 'content-Type ' :'application/json ', 'server': 'nginx ', 'Connection ' : 'keep-alive ','Date ' : 'Sat, 18 Feb 2017 12:07:44GMT '}
>>> r.text

3.3.2 Requests库的post()方法

>>> payload = { 'key1 ' : 'value1 ', 'key2 ' : 'value2 '}
>>> r = requests.post( ' http: / /httpbin.org/post ' , data = payload)
>>> print(r.text)
"form" : {						向URL POST一个字典
"key2" : "value2" ,		自动编码为form（表单)
"key1 " : "value1"}，
}

3.3.3 Requests库的put()方法

>>> payload = { 'key1 ' : 'value1', "key2 ' : 'value2 '}
>>> r = requests.put( ' http: / /httpbin.org/put ', data = payload)
>>> print(r.text)
{..."form ": {"key2" : “value2","key1 " : "value1"}，
}

四.Requests库主要方法解析

4.1 requests库的7个主要方法

requests.request()构造一个请求，支撑以下各方法的基础方法
requests.get()获取HTML网页的主要方法，对于HTTP的GET
requests.head()获取HTML网页头信息的方法，对于HTTP的HEAD
requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()向HTML网页提交删除请求，对应于HTTP的DELETE
requests.request (method, url，**kwargs)
method:请求方式，对应get/put/post等7种
url：拟获取页面的url链接
**kwargs:控制访问的参数，共13个1.params:字典或字节序列，作为参数增加到url中
>>> kv = { ' key1 ' : 'value1 ', 'key2 ' : 'value2'}
>>> r = requests.request( 'GET', 'http:/ / python123.io/ws ', params=kv)
>>> print(r.url)
http://python123.io/ws?key1=value1&key2=value2#再url后面增加键值对2.data:字典、字节序列或文件对象，作为Request的内容
>>> kv = { 'key1 ' : 'value1 ', 'key2 ' : 'value2 ' }
>>r = requests.request( ' POST','http:// python123.io/ws ', data=kv)
>>> body = '主体内容"
>>>r = requests.request( ' PoST', 'http://python123.io/ws ' , data=body)3.json: JSON格式的数据，作为Request的内容
>>> kv = { ' key1' : 'value1'}
>>> r = requests.request( ' PoST', 'http:/ /python123.io/ws ', json=kv)4.headers :字典，HTTP定制头
>>> hd = i 'user-agent': 'Chrome / 10 '}
>>>r = requests.request( ' PoST'， 'http:/ / python123.io/ws ' , headers=hd)#用Chrome 10版本打开5.cookies :字典或cookieJar , Request中的cookie
6.auth:元组，支持HTTP认证功能7.files:字典类型，传输文件
>>> fs = { 'file' : open( 'data.xls ', 'rb ')}
>>>r = requests.request( 'POST', 'http://python123.io/ws ' , files=fs)8.timeout :设定超时时间，秒为单位
>>> r = requests.request( 'GET','http: //www.baidu.com' , timeout=10)9.proxies :字典类型，设定访问代理服务器，可以增加登录认证
>>>pxs = { ' http' : ' http: //user:pass@10.10.10.1:1234'' https ': 'https: / /10.10.10.1:4321' }
>>> r = requests.request( 'GET', 'http:/ /www.baidu.com ', proxies=pxs)10.allow_redirects : True/False，默认为True，重定向开关
11.stream : True/False，默认为True，获取内容立即下载开关
12.verify : True/False，默认为True，认证sSL证书开关
13.cert :本地SSL证书路径

五.Robots协议

5.1 概要

作用：网站告知网站爬虫哪些可以抓取，哪些不行。
形式：在网站根目录下的robots.txt文件。
eg:京东的robots协议
https://www.jd.com/robots.txt
在这里插入图片描述

5.2 Robots遵守方式

网络爬虫：自动或人工识别robots.txt，再进行内容爬取
约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

五.实例

5.1 京东商品页面的爬取

import requests
ur1 = "https://item.jd.com/10033678062668.html"
try:r = requests.get(ur1)r.raise_for_status()//返回值200 不产生异常  非200 产生异常r.encoding = r.apparent_encodingprint(r.texe[:1000])
except:print("爬取失败")

5.2 亚马逊商品页面的爬取

import requests
ur1 = "https://www.amazon.cn/dp/B00AA7KHPQ/ref=sr_1_6?crid=3HYPWFC7SA5K7&keywords=%E4%B9%A6&qid=1662801515&sprefix=%E4%B9%A6%2Caps%2C109&sr=8-6"
try:kv = {'user-agent':'Mozilla/5.0'}#模拟浏览器进入网站r = requests.get(ur1,headers=kv)r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[:1000])
except:print("爬取失败")

5.3 百度360搜索关键词提交

百度的关键词接口：
http: // www.baidu.com/ s?wd=keyword
360的关键词接口:
http: //www. so.com/s?q=keyword

#百度
import requests
keyword = "python"
try:kv = {'wd':keyword}r = requests.get("http://www.baidu.com/s",params=kv)print(r.request.url)r.raise_for_status()print(len(r.text))
except:print("爬取失败")#360
import requests
keyword = "python"
try:kv = {'q':keyword}r = requests.get("http://www.so.com/s",params=kv)print(r.request.url)r.raise_for_status()print(len(r.text))
except:print("爬取失败")

5.4 网络图片的爬取和存储

网络图片链接的格式∶http: // www. example.com/picture.jpg
选择一个图片web页面：https://img9.51tietu.net/pic/2019-091317/dia2fh1uhj5dia2fh1uhj5.jpg

import requests
import os
url = "https://img9.51tietu.net/pic/2019-091317/dia2fh1uhj5dia2fh1uhj5.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:if not os.path.exists(root):os.mkdir(root)if not os.path.exists(path):r = requests.get(url)with open(path,'wb') as f:f.write(r.content)#返回的内容写到文件中，r.content表示返回内容的二进制形式f.close()print("文件保存成功")else:print("文件已存在")
except:print("爬取失败")

5.5 IP地址归属地的自动查询

import requests
url = "https://www.ipshudi.com/"
try:r = requests.get(url+'xxxxxx.htm')r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[2000:3000])
except:print("爬取失败")

http://chatgpt.dhexx.cn/article/9qRKuG5r.shtml

相关文章

网络爬虫入门学习

网络爬虫入门学习

文章目录 一、初识网络爬虫1.1 网络爬虫定义1.2 爬虫原理1.3 爬虫工作的过程 二、示例一2.1 需要的内置库以及第三方库2.2 具体代码2.3 结果展示： 三、示例二3.1 确定要爬取信息的位置3.2 具体代码3.3 结果展示 四、总结五、参考文献 一、初识网络爬虫 1.1 网络爬虫…
阅读更多...
爬虫-Python编程入门

爬虫-Python编程入门

文章目录 一.爬虫1.初识网络爬虫2.网络爬虫的分类2.1 通用网络爬虫2.2 增量爬虫2.3 垂直爬虫2.4 Deep Web爬虫 3.Robots协议 二.创建anaconda虚拟环境三.爬取网站 http://www.51mxd.cn/练习题目数据并保存四.爬取网站http://news.cqjtu.edu.cn/xxtz.html中近几年的消息通知的发…
阅读更多...
python爬虫提取人名_python爬虫—爬取英文名以及正则表达式的介绍

python爬虫提取人名_python爬虫—爬取英文名以及正则表达式的介绍

python爬虫—爬取英文名以及正则表达式的介绍 爬取英文名： 一. 爬虫模块详细设计 (1)整体思路 对于本次爬取英文名数据的爬虫实现，我的思路是先将A-Z所有英文名的连接爬取出来，保存在一个csv文件中；再读取csv文件当中的每个英文名链接，采用循环的方法读取每一个英文名…
阅读更多...
python爬虫什么意思-python的爬虫是什么意思

python爬虫什么意思-python的爬虫是什么意思

Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取 web 页面上自己想要的数据，也就是自动抓取数…
阅读更多...
python爬虫英文单词_Python_爬虫百度英文学习词典

python爬虫英文单词_Python_爬虫百度英文学习词典

主方法main 定义主函数main，程序的入口，首先导入io包，用os.path.exists判断字典文件是否存在，如果不存在则新建一个，然后进入循环中，让用户输入相应的数字，执行相应的功能。 def main(): fla…
阅读更多...
爬虫基础知识

爬虫基础知识

一、Scrapy 1、cookie设置 目前cookie的设置不支持在headers进行设置， 需要通过以下三种方式进行设置: 第一种：setting文件中设置cookie 当COOKIES_ENABLED是注释的时候，scrapy默认没有开启cookie。当COOKIES_ENABLED没有注释设置为False的…
阅读更多...
爬虫介绍

爬虫介绍

这里写目录标题 1 爬虫介绍1.1 什么是爬虫1.2 爬虫的作用1.3 业界情况1.4 合法性1.5 反爬1.6 爬虫的本质1.7 爬虫的基本流程1.8 爬虫的基本手段1.9 为什么是python 1 爬虫介绍 1.1 什么是爬虫 爬虫更官方点的名字叫数据采集，英文一般称作spider 网络爬虫也叫网络蜘…
阅读更多...
pythonrequests爬虫外文文献_Python爬虫（一）：爬虫介绍、Requests库介绍及实例-Go语言中文社区...

pythonrequests爬虫外文文献_Python爬虫（一）：爬虫介绍、Requests库介绍及实例-Go语言中文社区...

本文主要内容： 1.爬虫的相关概念。 2.Requsets库安装。 3.Requests库介绍。 4.爬取网页的通用代码框架。 1.爬虫相关概念。 网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照…
阅读更多...
Python网络爬虫（一）---urllib

Python网络爬虫（一）---urllib

什么是网络爬虫 网络爬虫英文可以叫crawler，也可以叫spider，简而言之就是利用计算机从网上抓取你所感兴趣的文件、图片、视频等。其实在大多数情况下，没有什么网络爬虫，我们也可以根据自己所需要的，通过浏览器从网上下…
阅读更多...
python爬虫爬取英文考研词汇

python爬虫爬取英文考研词汇

这几天开始背诵考研单词，在网上查找英语考研必备词汇，发现都是长这样的： 每一页的点击太费时费力了。因此萌生了为什么不能用爬虫把单词爬下来保存在本地呢？说干咱就干。首先点开搜索中的某个网页，分析网页的结构，找到其中的规律。例如，我找的是跨考考研的网站: 这是…
阅读更多...
python爬虫: 爬一个英语学习网站

python爬虫: 爬一个英语学习网站

爬虫的基本概念 关于爬虫的基本概念, 推荐博客https://xlzd.me/ 里面关于爬虫的介绍非常通俗易懂. 简单地说,在我们输入网址后到可以浏览网页,中间浏览器做了很多工作, 这里面涉及到两个概念： IP地址： IP地址是你在网络上的地址，大部分情况下…
阅读更多...
可视化数据分析-基于JavaScript的d3实践学习

可视化数据分析-基于JavaScript的d3实践学习

目录 一.svg简介 二.D3简介 D3功能来源 常用语法说明 三.d3可视化访问MySQL数据库 实现方法 四.具体用例实现 svg绘制直方图 svg绘制二叉树（以电影票房为例） D3进行数据可视化（链接数据库） D3绘制直方图​ D3绘制饼图…
阅读更多...
Kindle产品评论数据分析---基于excel的分析过程

Kindle产品评论数据分析---基于excel的分析过程

目录 业务背景 一）明确分析目的 二）数据采集 三）数据清洗 四）数据分析与构建模型 1、相关产品的评论数排名和平均评分反映的问题 2、各评论占比，推荐评论中好评占比 3、kindle相关产品随时间变化其评论数的变化…
阅读更多...
数据挖掘HeartbeatClassification——数据分析

数据挖掘HeartbeatClassification——数据分析

如同计算机视觉中一样，在训练目标识别的网络之前，会对图片进行预处理，如 裁切，旋转、放大缩小，以加强网络的泛化能力。在数据挖掘中，我们首先要做的就是对拥有的数据进行分析( 涉及到《概率论与数理分析》的…
阅读更多...
javaScript数据可视化

javaScript数据可视化

文章目录 canvas画布介绍绘制线段起始点设置其他点设置（可以有多个）划线方法 属性填充线段颜色线段宽度线段例子 绘制矩形第一种方式：第二种方式矩形例子 绘制圆形圆形例子 清除画布清除例子 绘制文字属性 svg介绍：基本的svg元素例…
阅读更多...
Python交互式数据分析报告框架：Dash

Python交互式数据分析报告框架：Dash

译者序 原文于2017年6月21日发布，时过半载，将这篇既不是教程，也不是新闻的产品发布稿做了一番翻译，为何？只因去年下半年的时候，用R语言的博哥和龙少有Shiny这样的框架可以开发交互式整合Web数据分析报告&am…
阅读更多...
【数据可视化】免费开源BI工具 DataEase 之血缘关系分析

【数据可视化】免费开源BI工具 DataEase 之血缘关系分析

近期，DataEase 发布的版本 V1.8 版本中，在系统管理模块新增了血缘分析功能，可以支持对数据源、数据集、仪表板做关联分析，支持按表格查看和按关系图查看，并且在删除数据源、数据集时，也支持查看对应的血缘分…
阅读更多...
数据分析与数据可视化的完成，需要了解一下这四款JS库

数据分析与数据可视化的完成，需要了解一下这四款JS库

四款出色的JavaScript库，帮助大家更为轻松地完成数据分析与可视化工作，具体如下： Data-Driven-Documents (D3.js) 在讨论JavaScript数据分析时忽略掉Data-Driven-Documents (D3)，就如同在谈论微软时忽略掉其操作系统 样。 Data-D…
阅读更多...
数据挖掘之关联分析（实验展示以及源代码）

数据挖掘之关联分析（实验展示以及源代码）

数据挖掘之关联分析 算法实现：Apriori算法和FP-growth 算法源代码 简单描述下，关联分析概念 关联分析概念主要参考下面的博文 原文：https://blog.csdn.net/qq_40587575/article/details/81022350 关联分析是从大量数据中发现项集之间有趣的…
阅读更多...
【数据分析入门】python数据分析-探索性数据分析之多因子与对比分析可视化

【数据分析入门】python数据分析-探索性数据分析之多因子与对比分析可视化

文章目录 多因子与对比分析可视化理论基础假设检验与方差检验假设检验方差检验 相关系数:皮尔逊、斯皮尔曼回归:线性回归PCA与奇异值分解 代码实践交叉分析分组分析相关分析因子分析 总结代码实现 相关性线性回归PCA注意：sklearn中pca用的方法是奇异值分解的方法&am…
阅读更多...
推荐文章

Copyright @ 2022~2023