python超简单爬虫教程
- python超简单爬虫教程
- 七大步骤：
- 1发送数据请求
- 2请求网站源码
- 3数据筛选
- 4存储数据
- 5数据可视化
- 6数据分析
- 7公司决策
python超简单爬虫教程
大家好！在这里给大家交流一下小编总结得python超简单爬虫教程，废话不多说，直接上代码
七大步骤：
1发送数据请求
2请求网站源码
3数据筛选
4存储数据
5数据可视化
6数据分析
7公司决策
完整代码如下：
import request
import re
import xlwt
#获取源码
def get_content(page):url = 'https://www.zhipin.com/c101010100-p100109/?page='+str(page)+'&ka=page-'+str(page)+''headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2727.400"}req = request.get(url,headers=headers)req.encoding = 'utf-8'html = req.textreturn html
#筛选数据 获取满足正则表达式所爬去的目标
def get(html):reg = re.compile(r'class="job-tab".*?<div class="job-title">(.*?)</div>.*?<span class="red">(.*?)</span>.*?target="_blank">(.*?)</a>',re.S)item = re.findall(reg,html)return items
datalist = []
def saveDataToDatalist():for j in range(1,6)print('正在爬取第'+str(j)+'页数据内容。。。')html get_content(j)for i in get(html)data = []for j in range(0,5):data.append(i[j])datalist.append(data)return
#创建方法将datalist内容写入excel文件
def saveDataToExcel(savePath):book = xlwt.Workbook(encoding='utf-8',style_compression=0)sheet = book.add_sheet('boss',cell_overwrite_ok=Ture)col = ('职位','薪资','公司名称')for i in range(0,5)sheet.wirte(0,i,col[i])for i in range(0,len(0,len(datalist)):data = datalist[i]for j in range(0,5):sheet.wirte(i+1,j,data[j])book.save(savePath)
saveDataToDatalist()
saveDataToExcel('boss.xls')就这样了，都看到这里了，点赞关注走一走吧，谢谢大家！
