python3爬取网易云音乐《我们》全部评论

伴随着《后来的我们》的上映，这首歌的评论也是一路暴涨。如今让我们趁着这波秋风（虽然已经有点晚了），把这首歌的评论爬下来。虽然之前还打算做出词云可视化出来······然而，还是太懒了
之前爬过豆瓣《霸王别姬》的影评做过这个了，就不想做了QAQ

首先非常感谢之前大佬们贡献，没有他们，我肯定爬不下来这个的。其次这首歌一共12万条评论，但是实际上这部分代码只爬到630页也就是1万多条评论就报了一个错误，但是可以进行改进以得到所有评论。

参考文章链接：https://www.jianshu.com/p/87c022b19669
https://www.zhihu.com/question/36081767
https://blog.csdn.net/qq_28304687/article/details/78678851

分析网页
打开PC端，搜索《我们》这首歌，打开开发者模式，选择Network

接下来我们来看一下返回正文，也就是Preview内容都包含了什么

事先声明一下：作者本次程序直接拿到了json格式的Comment的全部内容，并未对其进行进一步的解析。
接下来我们看一下此次post请求所需要的各种参数：

parmas和encSecKey是经过加密算法产生的两个参数，幸运的是我们并不是很需要懂它的加密原理，已经有不少的大佬解析过网易云音乐的加密原理了。我们直接拿过来用就可以了。

#如果想要详细了解这部分内容的话，请参考https://www.zhihu.com/question/36081767

也可以参照这个完整的项目，不过是python2写的:https://blog.csdn.net/qq_28304687/article/details/78678851

这里贴一下得到这两个参数的代码：

# 首先生成长度为16的随机字符串作为密钥secKeydef createSecretKey(self,size):return (''.join(map(lambda xx: (hex(ord(xx))[2:]), str(os.urandom(size)))))[0:16]

 # 然后进行aes加密def aesEncrypt(self,text, secKey):pad = 16 - len(text) % 16#print("leix")#print(type(text))#print(type(pad * chr(pad)))if isinstance(text,bytes):#print("type(text)=='bytes'")text=text.decode('utf-8')text = text + str(pad * chr(pad))encryptor = AES.new(secKey, AES.MODE_CBC, '0102030405060708')ciphertext = encryptor.encrypt(text)ciphertext = base64.b64encode(ciphertext)return ciphertext

# 再进行rsa加密def rsaEncrypt(self,text, pubKey, modulus):text = text[::-1]#rs = int(text.encode('hex'), 16) ** int(pubKey, 16) % int(modulus, 16)rs = int(codecs.encode(text.encode('utf-8'),'hex_codec'), 16) ** int(pubKey, 16) % int(modulus, 16)return format(rs, 'x').zfill(256)

# 将明文text进行两次aes加密获得密文encText，因为secKey是在客户端上生成的，所以还需要对其进行RSA加密再传给服务端def encrypted_request(self,text):modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'nonce = '0CoJUm6Qyw8W8jud'pubKey = '010001'text = json.dumps(text)secKey = self.createSecretKey(16)encText = self.aesEncrypt(self.aesEncrypt(text, nonce), secKey)encSecKey = self.rsaEncrypt(secKey, pubKey, modulus)data = {'params': encText,'encSecKey': encSecKey}return data

到这里我们需要的最难拿到的的参数就已经得到了
其他需要的参数还有headers，这个直接赋值headers里的就行了，还有一个offset偏移量的参数，来限制显示不同页的评论。参数可以这样得到

    # 偏移量def get_offset(self, offset):if offset == 0:text = {'rid': '', 'offset': '0', 'total': 'true', 'limit': '20', 'csrf_token': ''}else:text = {'rid': '', 'offset': '%s' % offset, 'total': 'false', 'limit': '20', 'csrf_token': ''}return text

这次我们是真的拿到了所有参数，可以向网页发出request请求，然后拿到我们想要的网页内容了。
请求是这样发出的：

    def get_post_req(self, url, data):try:req = requests.post(url, headers=self.headers, data=data)print("已连接上网易云音乐")except Exception as e:print (url)print(e)if(req==""):print("什么都没有抓取到")else:#print(req.json())#这里我们就得到了所有的json格式的评论了，并把它写进了txt文本with codecs.open(filename, 'a', encoding='utf-8') as f:f.writelines(req.text)print("----------------")return req.json()

接下来只需要把得到的json格式的网页源码进行解析就可以了，用re正则表达式匹配也好，用beautifulsoup解析也行，都不是很难。

下面就贴出本次的全部代码吧：

# -*-coding:utf-8-*-
'author:guoya'
import os
import time
import json
import base64import requestsimport codecs
from Crypto.Cipher import AES
class CommentCrawl(object):'''评论的API封装成一个类，直接传入评论的API，再调用函数get_song_comment()和get_album_comment()即可分别获取歌曲和专辑的评论信息 '''def __init__(self,comment_url):self.comment_url = comment_urlself.headers = {"Referer":"http://music.163.com/song?id=551816010","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36",}# 生成长度为16的随机字符串作为密钥secKeydef createSecretKey(self,size):return (''.join(map(lambda xx: (hex(ord(xx))[2:]), str(os.urandom(size)))))[0:16]# 进行aes加密def aesEncrypt(self,text, secKey):pad = 16 - len(text) % 16#print("leix")#print(type(text))#print(type(pad * chr(pad)))if isinstance(text,bytes):#print("type(text)=='bytes'")text=text.decode('utf-8')text = text + str(pad * chr(pad))encryptor = AES.new(secKey, AES.MODE_CBC, '0102030405060708')ciphertext = encryptor.encrypt(text)ciphertext = base64.b64encode(ciphertext)return ciphertext# 进行rsa加密def rsaEncrypt(self,text, pubKey, modulus):text = text[::-1]#rs = int(text.encode('hex'), 16) ** int(pubKey, 16) % int(modulus, 16)rs = int(codecs.encode(text.encode('utf-8'),'hex_codec'), 16) ** int(pubKey, 16) % int(modulus, 16)return format(rs, 'x').zfill(256)# 将明文text进行两次aes加密获得密文encText，因为secKey是在客户端上生成的，所以还需要对其进行RSA加密再传给服务端def encrypted_request(self,text):modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'nonce = '0CoJUm6Qyw8W8jud'pubKey = '010001'text = json.dumps(text)secKey = self.createSecretKey(16)encText = self.aesEncrypt(self.aesEncrypt(text, nonce), secKey)encSecKey = self.rsaEncrypt(secKey, pubKey, modulus)data = {'params': encText,'encSecKey': encSecKey}return datadef get_post_req(self, url, data):try:req = requests.post(url, headers=self.headers, data=data)print("已连接上网易云音乐")except Exception as e:print (url)print(e)if(req==""):print("什么都没有抓取到")else:#print(req.json())#这里我们就得到了所有的json格式的评论了，并把它写进了txt文本with codecs.open(filename, 'a', encoding='utf-8') as f:f.writelines(req.text)print("----------------")return req.json()# 偏移量def get_offset(self, offset):if offset == 0:text = {'rid': '', 'offset': '0', 'total': 'true', 'limit': '20', 'csrf_token': ''}else:text = {'rid': '', 'offset': '%s' % offset, 'total': 'false', 'limit': '20', 'csrf_token': ''}return text# 得到json格式的评论def get_json_data(self,url,offset):text = self.get_offset(offset)data = self.encrypted_request(text)json_text = self.get_post_req(url, data)return json_textdef get_song_comment(self):'''某首歌下全部评论 '''comment_info = []data = self.get_json_data(self.comment_url, offset=0)comment_count = data['total']#comment_count = 3if comment_count:comment_info.append(data)if comment_count > 20:for offset in range(20, int(comment_count), 20):print("开始爬取第{}页".format(offset/20))comment = self.get_json_data(self.comment_url, offset=offset)comment_info.append(comment)return comment_infodef get_album_comment(self, comment_count):'''某专辑下全部评论 '''album_comment_info = []if comment_count:for offset in range(0, int(comment_count), 20):comment = self.get_json_data(self.comment_url, offset=offset)album_comment_info.append(comment)return album_comment_infodef save_to_file(list, filname):with codecs.open(filename, 'a', encoding='utf-8') as f:f.writelines(list)print("写入文件成功!")start_time = time.time()
filename = "后来的我们.txt"
comment_url='http://music.163.com/weapi/v1/resource/comments/R_SO_4_551816010?csrf_token='
all_coment=[]
craw_song_pinglun=CommentCrawl(comment_url)
print("开始")
all_coment=craw_song_pinglun.get_song_comment()
print("--------------")end_time = time.time()  # 结束时间
print("程序耗时%f秒." % (end_time - start_time))
print("已完成")