文章目录
- 1. 引言
- 2. 页面分析
- 2.1 页面元素分析
- 2.2 分页分析
- 2.3 页面详情页面
- 2.4 下载链接
- 3. 代码
- 3.1 数据库结构
- 3.2 步骤
- 3.2.1 根据url获取页面结构
- 3.2.2 解析页面数据
- 3.2.3 数据存入数据库
- 4. 测试结果
- 5. 完整代码
1. 引言
注：勿用于非法用途。
之前学习过Python的基础知识，目前需要做语音识别和语义分析相关工作，所有又得继续学习Python。
下面就学习下如何使用Python进行爬虫，就当练练手吧。
Python 特点：
-
Python是一种面向对象的脚本语言，使用时无需编译，因此也称作解释性语言，其结构简单，语法规则明确，关键词定义较少，非常适合初学者。 -
Python拥有丰富的内置库函数，对于处理网络、文件、GUI、数据库、文本等十分便捷，同时支持大量第三方库，比如最常用的用于科学计算的Numpy、SciPy等库，提供了非常简洁、高效的开发平台。
2. 页面分析
2.1 页面元素分析
下面要爬虫的是一个电影网站。本人平时看电影，都是用这个网站，想把爬完的数据存入mysql数据库，再用RUOYI开源项目做一个后台管理系统。
这个电影网站的分类共有20个，动作片、剧情片、爱情片、喜剧片……但它们都很有规律，查看网页源码，可以发现：
<a href="/0/">剧情片</a>
<a href="/1/">喜剧片</a>
<a href="/2/">动作片</a>
<a href="/3/">爱情片</a>
<a href="/4/">科幻片</a>
<a href="/5/">动画片</a>
<a href="/6/">悬疑片</a>
<a href="/7/">惊悚片</a>
<a href="/8/">恐怖片</a>
<a href="/9/">纪录片</a>
<a href="/11/">音乐歌舞题材电影</a>
<a href="/12/">传记片</a>
<a href="/13/">历史片</a>
<a href="/14/">战争片</a>
<a href="/15/">犯罪片</a>
<a href="/16/">奇幻电影</a>
<a href="/17/">冒险电影</a>
<a href="/18/">灾难片</a>
<a href="/19/">武侠片</a>
<a href="/20/">古装片</a>
对于每个分类的完整地址，前面都会加上网站域名。自己加上吧。
2.2 分页分析
对于每个电影类别的首页，地址都是：
域名 + /2/index.html
对于每个的电影院类别，从第二页开始，地址都是：
域名 + /2/index_2.html # 第二页
域名 + /2/index_3.html # 第三页
域名 + /2/index_4.html # 第四页
可以看出规律了吧。
2.3 页面详情页面
对于进入页面详情页，要观察页面列表的结构，入下图：
a标签指定了跳转的具体路径和电影的名称，还有评分，这几个信息可以获取到。
2.4 下载链接
进入得到电影详情页后，可以看到如下页面结构：
这样就可以获取到电影额下地址啦。
注意：此处的下载地址可能不止一个。
3. 代码
3.1 数据库结构
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;-- ----------------------------
-- Table structure for t_video_film
-- ----------------------------
DROP TABLE IF EXISTS `t_video_film`;
CREATE TABLE `t_video_film` (`film_type` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_type_name` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_score` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_link` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_magnet_1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_magnet_2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,`film_magnet_3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;SET FOREIGN_KEY_CHECKS = 1;
需要安装pymysql
pip installl pymysql
3.2 步骤
3.2.1 根据url获取页面结构
'''功能：访问 url 的网页，获取网页内容并返回参数：url ：目标网页的 url返回：目标网页的 html 内容
'''
def get_data(url):headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',}try:r = requests.get(url, headers=headers)r.encoding="GBK"r.raise_for_status()return r.textexcept requests.HTTPError as e:print(e)print("HTTPError")except requests.RequestException as e:print(e)except:print("Unknown Error !")
此处要注意的是，要查看爬虫网站的编码，不然会乱码，具体如下：
3.2.2 解析页面数据
使用BeautifulSoup进行页面解析，具体可以参考另一篇文章：
https://blog.csdn.net/zxd1435513775/article/details/120280335
'''功能：提取 html 页面信息中的关键信息，并整合一个数组并返回参数：html 根据 url 获取到的网页内容返回：存储有 html 中提取出的关键信息的数组
'''
def parse_data(html):bsobj = bs4.BeautifulSoup(html, 'html.parser')info = []# 获取电影列表tbList = bsobj.find_all('table', attrs={'class': 'tbspan'})# 对电影列表中的每一部电影单独处理for item in tbList:movie = []score = item.find_all('tr')[2].find_all('td')[1].find_all('font')[1].textlink = item.b.find_all('a')[1]# 获取电影的名称name = link["title"]# 获取详情页面的 urlurl = 域名 + link["href"]# 将数据存放到电影信息列表里movie.append('20')movie.append('古装片')movie.append(name)movie.append(score)movie.append(url)try:# 访问电影的详情页面，查找电影下载的磁力链接temp = bs4.BeautifulSoup(get_data(url), 'html.parser')tbody = temp.find_all('tbody')# 下载链接有多个（也可能没有），这里将所有链接都放进来for i in tbody:download = i.a.textmovie.append(download)# print(movie)# 将此电影的信息加入到电影列表中info.append(movie)except Exception as e:print(e)return info
3.2.3 数据存入数据库
def save_data(data):db = pymysql.connect(host='localhost', user='root', password='', port=3306, db = 'film')cur = db.cursor() ##获取游标sql3 = 'insert into t_video_film(film_type,film_type_name,film_name) values(%s,%s,%s)'sql4 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score) values(%s,%s,%s,%s)'sql5 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link) values(%s,%s,%s,%s,%s)'sql6 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1) values(%s,%s,%s,%s,%s,%s)'sql7 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2) values(%s,%s,%s,%s,%s,%s,%s)'sql8 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2,film_magnet_3) values(%s,%s,%s,%s,%s,%s,%s,%s)'for i in data:print(i)if len(i) == 3:cur.execute(sql3, (i[0], i[1], i[2]))elif len(i) == 4:cur.execute(sql4, (i[0], i[1], i[2], i[3]))elif len(i) == 5:cur.execute(sql5, (i[0], i[1], i[2], i[3], i[4]))elif len(i) == 6:cur.execute(sql6, (i[0], i[1], i[2], i[3], i[4], i[5]))elif len(i) == 7:cur.execute(sql7, (i[0], i[1], i[2], i[3], i[4], i[5], i[6]))else:cur.execute(sql8, (i[0], i[1], i[2], i[3], i[4], i[5], i[6], i[7]))db.commit()
对于有多个下载链接的电影，要单独处理。
4. 测试结果
5. 完整代码
代码仅供参考，有很多可以优化的地方。
import requests
import bs4
import pymysqldef get_data(url):'''功能：访问 url 的网页，获取网页内容并返回参数：url ：目标网页的 url返回：目标网页的 html 内容'''headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',}try:r = requests.get(url, headers=headers)r.encoding="GBK"r.raise_for_status()return r.textexcept requests.HTTPError as e:print(e)print("HTTPError")except requests.RequestException as e:print(e)except:print("Unknown Error !")def parse_data(html):'''功能：提取 html 页面信息中的关键信息，并整合一个数组并返回参数：html 根据 url 获取到的网页内容返回：存储有 html 中提取出的关键信息的数组'''bsobj = bs4.BeautifulSoup(html, 'html.parser')info = []# 获取电影列表tbList = bsobj.find_all('table', attrs={'class': 'tbspan'})# 对电影列表中的每一部电影单独处理for item in tbList:movie = []score = item.find_all('tr')[2].find_all('td')[1].find_all('font')[1].textlink = item.b.find_all('a')[1]# 获取电影的名称name = link["title"]# 获取详情页面的 urlurl = 域名 + link["href"]# 将数据存放到电影信息列表里movie.append('20')movie.append('古装片')movie.append(name)movie.append(score)movie.append(url)try:# 访问电影的详情页面，查找电影下载的磁力链接temp = bs4.BeautifulSoup(get_data(url), 'html.parser')tbody = temp.find_all('tbody')# 下载链接有多个（也可能没有），这里将所有链接都放进来for i in tbody:download = i.a.textmovie.append(download)# print(movie)# 将此电影的信息加入到电影列表中info.append(movie)except Exception as e:print(e)return infodef save_data(data):'''功能：将 data 中的信息输出到文件中/或数据库中。参数：data 将要保存的数据'''# print(data)db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db = 'film')cur = db.cursor() ##获取游标sql3 = 'insert into t_video_film(film_type,film_type_name,film_name) values(%s,%s,%s)'sql4 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score) values(%s,%s,%s,%s)'sql5 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link) values(%s,%s,%s,%s,%s)'sql6 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1) values(%s,%s,%s,%s,%s,%s)'sql7 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2) values(%s,%s,%s,%s,%s,%s,%s)'sql8 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2,film_magnet_3) values(%s,%s,%s,%s,%s,%s,%s,%s)'for i in data:print(i)if len(i) == 3:cur.execute(sql3, (i[0], i[1], i[2]))elif len(i) == 4:cur.execute(sql4, (i[0], i[1], i[2], i[3]))elif len(i) == 5:cur.execute(sql5, (i[0], i[1], i[2], i[3], i[4]))elif len(i) == 6:cur.execute(sql6, (i[0], i[1], i[2], i[3], i[4], i[5]))elif len(i) == 7:cur.execute(sql7, (i[0], i[1], i[2], i[3], i[4], i[5], i[6]))else:cur.execute(sql8, (i[0], i[1], i[2], i[3], i[4], i[5], i[6], i[7]))db.commit()'''
<a href="/0/">剧情片</a> 6687/6804
<a href="/1/">喜剧片</a> 4203/4263
<a href="/2/">动作片</a> 3698/3756
<a href="/3/">爱情片</a> 2518/2561
<a href="/4/">科幻片</a> 1256/1258
<a href="/5/">动画片</a> 936/988
<a href="/6/">悬疑片</a> 1424/1428
<a href="/7/">惊悚片</a> 3759/3792
<a href="/8/">恐怖片</a> 1547/1563
<a href="/9/">纪录片</a> 237/238
<a href="/11/">音乐歌舞题材电影</a> 289/289
<a href="/12/">传记片</a> 418/430
<a href="/13/">历史片</a> 568/572
<a href="/14/">战争片</a> 637/652
<a href="/15/">犯罪片</a> 2198/2227
<a href="/16/">奇幻电影</a> 1276/1279
<a href="/17/">冒险电影</a> /1727 58
<a href="/18/">灾难片</a> 81/81 3
<a href="/19/">武侠片</a> 75/75 3
<a href="/20/">古装片</a> 196/197 7
'''
def main():# 循环爬取多页数据for page in range(1, 8):print('正在爬取：第' + str(page) + '页......')# 根据之前分析的 URL 的组成结构，构造新的 urlif page == 1:index = 'index'else:index = 'index_' + str(page)url = 域名 + index + '.html'# 依次调用网络请求函数，网页解析函数，数据存储函数，爬取并保存该页数据html = get_data(url)movies = parse_data(html)save_data(movies)print('第' + str(page) + '页完成！')
if __name__ == '__main__':print('爬虫启动成功！')main()print('爬虫执行完毕！')
