试图爬取京东中差评

article/2025/10/13 15:17:37

京东两个商品的中差评爬下来，因为评价太多了总共1万评价爬虫软件最多爬到前1000条，所以全是好评，但是想要分析的是中差评数据

商品链接

https://item.jd.com/100013315046.html

https://item.jd.com/100011977026.html#none

一、visual studio安装python开发插件，按照网上的爬虫教程：https://www.cnblogs.com/onemorepoint/p/7203465.html?utm_source=itdadao&utm_medium=referral

一点一点的编写代码

二、导入的库全都带着下划线，开始一个个安装

我使用的是python2.7版本，安装时候都是用的pip install --user 库名 scipy matplotlib，竟然全部适用，解决了代码中所有的绿色警告线

安装numpy库

安装jieba库

然后重启vs

三、编译时候有报错visual studio SyntaxError: Non-ASCII character，查了是编码错误，于是将.py文件以NotePad++打开并设置编码为

编码-》使用UTF-8-BOM编码,重新加载文件，就可以正确编译了

四、正确编译后发现printf中文解析错误

于是我改成了这样，我在逃避问题

五、报错Backend TkAgg is interactive backend. Turning interactive mode on.解决办法：https://www.icode9.com/content-4-32530.html

做了几个小时只得到了下面这样，没有处理换行没有做表

过程代码

#导入requests库(请求和页面抓取)
import requests
#导入time库(设置抓取Sleep时间)
import time
#导入random库(生成乱序随机数)
import random
#导入正则库(从页面代码中提取信息)
import re
#导入数值计算库(常规计算)
import numpy as np
#导入科学计算库(拼表及各种分析汇总)
import pandas as pd
#导入绘制图表库(数据可视化)
import matplotlib.pyplot as plt
#导入结巴分词库(分词)
import jieba as jb
#导入结巴分词(关键词提取)
import jieba.analyse#设置请求中头文件的信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
'Accept':'*/*',
'Connection':'close',
'Referer':'https://item.jd.com/'
}#设置Cookie的内容
cookie={'__jda':'122270672.16174285433021660352364.1617428543.1617428543.1617431374.2',
'__jdb':'122270672.3.16174285433021660352364|2.1617431374',
'__jdc':'122270672',
'__jdu':'16174285433021660352364',
'__jdv':'122270672|direct|-|none|-|1617428543303',
'areaId':'2',
'ipLoc-djd':'2-2830-51803-0',
'mx':'0_X',
'rkv':'V0800',
'user-key':'216123d5-4ed3-47b0-9289-12345',
'xtest':'4657.553.d9798cdf31c02d86b8b81cc119d94836.b7a782741f667201b54880c925faec4b'}#设置URL的第一部分
url1='https://club.jd.com/comment/productPageComments.action?&productId=100013315046&score=0&sortType=5&page=pageSize=10&'
#设置URL的第二部分
url2='&pageSize=10&isShadowSku=0&fold=1&callback=fetchJSON_comment98'
#乱序输出0-80的唯一随机数
ran_num=random.sample(range(100), 100)#拼接URL并乱序循环抓取页面
for i in ran_num:a = ran_num[0]if i == a:i=str(i)url=(url1+i+url2)r=requests.get(url=url,headers=headers,cookies=cookie)html=r.contentelse:i=str(i)url=(url1+i+url2)r=requests.get(url=url,headers=headers,cookies=cookie)html2=r.contenthtml = html + html2time.sleep(5)print("当前抓取页面:",url,"状态:",r)
  • Cookie
    • 理解：存储在浏览器的文本文件，可以设置和读取。用户在其他网页买东西后，跳转到支付页面时Http会附着已购买商品信息的cookie，于是支付页面就知道用户之前挑选了什么。同一域名下的每个请求都会携带cookie
    • 使用场景：记住密码下次登录，购物车，记录浏览数据来广告推荐
    • 原理：浏览器第一次向服务器发送请求，服务器响应后会在响应头中添加Set-Cookie选项。浏览器第二次向服务器发送请求时会将Cookie从Cookie请求头部发送给服务器，服务器会判断用户身份。另外，Cookie的过期时间、域、路径、有效期、适用站点都可以根据需要来定。
    • 缺陷：
      • 不够大：Cookie大小限制为4kb，否则被裁切，部分浏览器对同一站点的Cookie个数也有限制。各浏览器的Cookie每一个name=value,value的大小是4kb，并不是每个域名下的所有cookie一共4k，是一个name的大小。
      • 过多cookie会带来巨大的性能浪费：同一域名下的所有请求都会携带cookie，带着cookie跑来跑去，带来的开销无法想象
      • 安全性：HTTP请求中Cookie是明文传递的，除非用HTTPS
    • cookie与安全：
  • LocalStorage
    • 理解：网页保存在本地的缓存数据，不与服务端通信，接口封装较好，大小在5M左右
    • 使用场景：可作为浏览器本地缓存方案，用来提升网页首屏渲染速度
  • sessionStorage
    • 理解：保存浏览器中的一次会话数据，浏览器关闭数据就被清空。两个浏览器窗口的sessionStorage数据不共享，大小5M左右，是会话级别的浏览器存储，不与服务端通信，接口封装较好
    • 使用场景：有效对表单信息进行维护，刷新时，表单信息不丢失
  • IndexedDB
    • 理解：非关系型数据库，没有存储上限，一般小于250M，可以储存字符串和二进制数据
    • 特点：
      • 键值对存储
      • 异步
      • 支持事务：一步失败，整个事务被取消
      • 同源限制：只能访问自身域名下的数据，无法跨域
      • 储存空间大
      • 支持二进制储存
  • cookie，localStorage，sessionStorage区别
    • 共同点：
      • 都保存在浏览器端，都遵循同源策略
      • 只能存储字符串
    • 不同点：
      • 生命周期：
        • localStorage是持久化的本地存储，永不过期
        • sessionStorage是临时性的本地存储，会话结束内容随之释放
      • 作用域：
        • localStorage只要在相同协议相同主机名，相同端口，就能读写同一份localStorage数据
        • sessionStorage更苛刻，除了上述条件，还要在同一窗口下
  • 总结：
    • cookie本职工作并非本地存储而是维持状态
    • Web Storage 是 HTML5 专门为浏览器存储而提供的数据存储机制，不与服务端发生通信
    • IndexedDB 用于客户端存储大量结构化数据
  •  

http://chatgpt.dhexx.cn/article/LQ5MNsow.shtml

相关文章

利用在京东上爬取的商品评论做分析

利用在京东上爬取的商品评论做分析

利用在京东上爬取的商品评论做分析 1.读入数据 Python中读入数据，查看数据 import pandas as pd import re import os os.chdir("C:/Users/Administrator/Desktop") base_data pd.read_excel(A.xls) base_data.head()2.对数据进行处理 base_data.drop_…
阅读更多...
uniapp实现一个订单下多个商品的评论

uniapp实现一个订单下多个商品的评论

1.先来看需求分析，一个订单下的多个商品的评论说明了在一个订单中点击评论按钮直接跳转到评论页面中，同时渲染订单下的三个商品，如下图所示： 并且要实现在不同的商品评论下输入的评论内容互不影响，这就对第一次做该业务…
阅读更多...
【京东API】京东app获得JD商品详情原数据接口

【京东API】京东app获得JD商品详情原数据接口

京东是中国最大的综合型电商网站之一，其app端是用户购买商品的主要途径之一。为了更好地满足用户的需求，开发人员提供了商品原数据接口，让第三方开发者可以获取京东商品的详细信息。 开发背景： 随着移动设备用户数量的不断增加&a…
阅读更多...
bilstm+attention机制对京东评论数据进行数据处理加情感分类（能跑通）

bilstm+attention机制对京东评论数据进行数据处理加情感分类（能跑通）

#此数据为京东评论数据分为两列一列为text，一列为target分数需要数据集私信 #1.处理数据 #导入数据处理的基础包 import numpy as np import pandas as pd #导入用于计数的包 from collections import Counter import os import requests#这里label的评分有1-5有5类…
阅读更多...
爬取京东一万条评论-python

爬取京东一万条评论-python

要求： 1 万条以上的京东手机评论爬取（爬取内容为评论 score） 浏览器部分 为了一次爬取评论更多的手机所以在选取url的时候优先筛选相应品牌评论更多的款，以我爬取的vivo品牌为例： 1.筛选评论 2.选择一款商品后点击对应…
阅读更多...
用户评论观点抽取

用户评论观点抽取

1.目的：从用户的订单评论里，抽取观点，进行标签化，此标签可以用来作一些辅助决策或者填充到用户画像体系里。 其实评论挖掘的主要有两个部分，观点抽取和情感判断，主要的作用还是间接或直接引导用户购买意向…
阅读更多...
京东API分享：获取京东商品评论接口

京东API分享：获取京东商品评论接口

接口名称：item_review-获得JD商品评论 接口背景介绍： 京东是一家中国知名的综合性电商平台，成立于1998年。作为中国最大的B2C在线零售商之一，京东提供了包括电子产品、家居用品、服装配饰、食品饮料等在内的广泛商品选择。为了…
阅读更多...
京东用户行为分析

京东用户行为分析

京东用户行为分析 项目背景 京东作为传统电商巨头，京东商城与京东物流的发展相得益彰，然而各种新兴的电商模式，带来了千人千面的购物方式和电商平台更加激烈的竞争，电商平台发展初期的粗放式经营也转向了利用大数据和算法&#…
阅读更多...
京东商城评论爬虫

京东商城评论爬虫

一、前言 基于评论信息做情感分析模型第一步，收集数据。这里准备抓取京东商城的物品评论，大致可以分为两步。 1、获取商品id 2、获取商品评论 二、实战 接下来的代码都基于scrapy框架编写，请确保已经了解scrapy基础知识。 1、获取商品i…
阅读更多...
京东商品及评论 数据采集

京东商品及评论 数据采集

好吧，下面的爬虫是同步的，其实可以用协程来写，效率会增加很多！ 对京东的商品基本信息，产品参数，商品评论进行采集 使用BeautifulSoup解析 注意：由于每个产品的评论只能采集100页，为…
阅读更多...
爬虫京东评论+可视化

爬虫京东评论+可视化

前期工作 选取一个网站，最好是教育网站，因为教育网站很少有反爬虫机制。 在网站内打开开发者工具，不同的浏览器开发者工具也不同，但都大同小异(这里使用的是谷歌)。 在开发者工具中确定你要爬虫的部分，找到我们爬取数…
阅读更多...
京东手机评论的爬取

京东手机评论的爬取

开篇 做论文的时候，最多接触的就是标准的数据集，几乎不需要太多的结构化处理，下载下来就是可以直接加载使用的数据，课题是有关评论分析的，但是论文针对的都是英文数据，而国内电商平台其实积累了大量的评论…
阅读更多...
京东也做社交电商了

京东也做社交电商了

不知道大家有没有注意到，这两天朋友圈好像被京东商品给刷屏了， 身边不少大佬朋友都通过【芬香】在朋友圈带货。 我作为一个IT技术男，对于新出现的事物，自然也去研究了一番。下面就把我了解的信息分享给大家。 1、什么是「芬香」&a…
阅读更多...
主存与内存

主存与内存

计算器内存条采用的是DRAM(动态随机存储器)，即计算机的主存。我们通常所说的内存容量即指内存条DRAM的大小。 但是，严格地说，内存是包括主存与高速缓存(Cache，基于SRAM)的。可能是由于Cache相较内存条容量很小，毕竟内…
阅读更多...
CPU/内存分析

CPU/内存分析

一、概念理解 程序运作原理：一个请求发送到服务器，首先经过网卡，然后通知cpu有待处理任务，CPU去运行操作系统指令，根据请求的端口号，找到对应的应用程序代码，安排线程去处理；由于程…
阅读更多...
linux服务器查看cpu和内存

linux服务器查看cpu和内存

一、服务器CPU情况 1 查看物理CPU个数 cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l 2 查看服务器CPU内核个数 cat /proc/cpuinfo | grep "cpu cores" | uniq 3 查看虚拟机查看核数 grep processor /proc/cpuinfo|wc -l 4 查看cpu内核频…
阅读更多...
计算机中CPU是如何与内存交互的

计算机中CPU是如何与内存交互的

这篇文章主要整理了一下计算机中的内存结构，以及 CPU 是如何读写内存中的数据的，如何维护 CPU 缓存中的数据一致性。什么是虚拟内存，以及它存在的必要性。如有不对请多多指教。 概述 目前在计算机中，主要有两大存储器 SRAM 和 D…
阅读更多...
CPU访问内存

CPU访问内存

首先我们需要一个引子，引子如下： 作为一个计算机领域的工程师，这里有一个问题：有一个10米深的水池需要测量其水深，并在计算机（或者微机）上显示测量结果，保留小数点后一位。请概要的设…
阅读更多...
计算机cpu、寄存器、内存区别

计算机cpu、寄存器、内存区别

1、寄存器是中央处理器内的组成部分。它跟CPU有关。寄存器是有限存贮容量的高速存贮部件，它们可用来暂存指令、数据和位址。在中央处理器的控制部件中，包含的寄存器有指令寄存器(IR)和程序计数器(PC)。在中央处理器的算术及逻辑部件中，包含的…
阅读更多...
CPU、内存、磁盘性能监控

CPU、内存、磁盘性能监控

CPU监控 网络由设备、服务器、路由器、交换机和其他网络组件组成。CPU 是网络中所有硬件设备的组成部分。它负责设备的稳定性和性能。企业严重依赖网络，企业硬件的处理能力决定了网络的容量。随着 CPU 功能和硬件的快速发展，组织必须规划其容量并监控其…
阅读更多...
推荐文章

Copyright @ 2022~2023