爬取某小说榜单爬虫及可视化分析(仅用于学习)
gitee代码链接:https://gitee.com/huang_jia_son/duoduo.git
介绍
GUI界面+python爬虫+数据清洗与处理+pyecharts可视化展示
软件架构
(1)通过tkinter制作GUI界面,通过按钮触发爬虫事件,数据分析事件。(2)爬虫提取数据,并通过机器学习算法进行相关的计算求和,以及数据清洗和断句。(3)点击数据分析按钮自动跳转超链接,html页面中包括热门小说类型统计图,热点分析图(词云图),热门小说状态扇形图,作者字数天梯榜,字数-排名分析散点图
环境说明
计算机系统版本:Window10python版本:Python3.7.6编辑器:PyCharm2020.1.3
代码说明
(1)爬虫网站选取
确定要爬取的网站,通过“F12”查看前端源代码,分析爬取信息的可行性,然后找到需要爬取的标签,内容分别为"序号", "类型", "小说名称", "更新章节", "状态", "字数", "作者", "更新时间"。
(2)爬虫方法getList()编写
首先通过etree.HTML获得网站源码,然后通过xpath方法通过途径查找想要爬取的标签文本。然后将它们通过遍历添加到一个数组中,并且返回数组,同时将他们写入bangdan.csv文件当中。
(3)GUI界面设计
通过tkinter库设计窗体,依次添加容器和需要的组件。
(4)数据清洗及处理
通过机器学习算法,例如Pandas库,对文件中的数据进行处理,如求和以及分组等。
(5)数据可视化
将处理以后的数据通过pyecharts工具生成直观可视的图表,我们可能从中得到我们想要的信息。
相关截图
(1)GUI页面
(2)点击“更新榜单”,开始爬取数据
(3)爬取数据结束,显示榜单全部数据
(4)点击数据分析按钮,显示生成的可视化图表页面