爬虫案例：中国高校排名（2021.1.3可爬代码）

article/2025/8/18 17:52:50

案例来源：北京理工大学网络课程《python网络爬虫与信息获取》
在实际上手操作中，发现视频中演示的代码无法完整运行，经个人探索后，记录如下
首先附上课程演示中提供的代码：

import requests
from bs4 import BeautifulSoup
import bs4def getHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ""; def fillUnivList(ulist,html):soup=BeautifulSoup(html,"html.parser")for tr in soup.find('tbody').children:if isinstance(tr,bs4.element.Tag):tds=tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string])def printUnivList(ulist,num):print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))for i in range(num):u=ulist[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))def main():uinfo=[];url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'html=getHTMLText(url)fillUnivList(uinfo,html)printUnivList(uinfo,20)main()

首先案例中的网址已经有些变更，打开后实际跳转至https://www.shanghairanking.cn/rankings/bcur/2020
另外如果完全复制上述代码运行，会发现变量命名错误，其uinfo和ulist应该统一成一个变量
在这里插入图片描述
修改上述问题后，执行代码会发现提取关键信息的语句也失效了，抓取不到信息

重新分析网页源码，可以看到所有学校信息放在tbody下

抽取其中的一个信息看一下：

我们需要的信息现在在第1、2、5的位置，其中清华大学在子节点a中，直接tr('td')[1].string无法获取，要改成tr('td')[1].a.string

排名和总分直接string也是获取不到的，这里我想到的办法是用手动转化成字符串
在这里插入图片描述
综上，获取信息的关键代码我修改成了：

ulist.append([str(tr('td')[0].contents[0]).strip(), tds[1].a.string, str(tr('td')[4].contents[0]).strip()])

完整代码如下

"""实例1，中国大学排名"""
def getHTMLText(url):try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def fillUnivLIst(ulist, html):soup = bs4.BeautifulSoup(html, "html.parser")for tr in soup.find('tbody').children:#检测tag类型，过滤非tag类型标签if isinstance(tr, bs4.element.Tag):tds = tr('td')ulist.append([str(tr('td')[0].contents[0]).strip(), tds[1].a.string, str(tr('td')[4].contents[0]).strip()])return ulistdef printUnivList(ulist, num):#tplt = "{0:^10}\t{1:{3}^6}\t{2:^10}"print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
#     print(tplt.format("排名","学校名称","总分",chr=(12288)))for i in range(num):u=ulist[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
#         print(tplt.format(u[0],u[1],u[2],chr=(12288)))def main():ulist = []url = 'https://www.shanghairanking.cn/rankings/bcur/2020'html = getHTMLText(url)ulist = fillUnivLIst(ulist, html)printUnivList(ulist, 20)main()