爬虫基本思路<通用>
Response 服务器返回响应数据
Preview 预览
Payload 请求参数
Headers 头部信息:请求url地址、请求方式、响应头、请求头
一、数据来源分析
-抓包分析我们想要的数据内容,请求的那个网页 url地址得到。
-选中xhr 找到想要的内容所在的数据包(找不到可以按下列方式查找:1.复制想要的数据内容 2.在开发者工具点击搜索 3.输入搜索内容 点击回车)

二、代码实现步骤过程:固定四大步骤
发送请求:对于分析得到的url地址发送请求
获取数据:获取服务器返回响应数据 --->开发者工具里面response
解析数据:提取想要的数据内容 --->基本信息
保存数据:保存数据,保存到表格里面
多页数据采集
代码部分:
#导入数据请求模块
发送请求,模拟浏览器发送请求
#确定请求url地址
#(长链接分段写入)问好后面用请求参数代替---->字典数据类型,构建完整键值对
#发送请求 response
被反爬时:最简单手段:用headers请求头伪装成浏览器去发送请求
获取数据
解析数据----->字典提取:键值对取值<根据冒号左边的内容[键],提取冒号右边的内容[值]>
保存数据
5.多页数据采集------->循环for<目的:分析请求url地址参数变化>
模块安装

初学者记笔记账号