python抓取微博数据_技术入门 | python利用微博api获取数据

article/2025/10/19 21:59:13

技术入门 | python利用微博api获取数据

文 | thewords

这也是跳票许久的分享。在写之前发现目前比较少公开的第三方api,有些还停止维护,所以在一轮筛选后选择了微博api进行实践。

01 申请开发者权限

1) 进入微博开放平台,完成开发者认证

具体链接:

http://open.weibo.com/index.php

完成示意:

1

2) 获取App Key、AppSecret

进入微连接中的移动应用,申请新应用;在应用信息中的基本信息获取App Key、AppSecret

具体链接:

http://open.weibo.com/development/mobile

完成示意:

1

02 获取access_token

1) 下载并安装微博python sdk(sinaweibopy)

安装说明:

http://github.liaoxuefeng.com/sinaweibopy/

2) 利用sinaweibopy获取access_token

示例代码:

from weibo import APIClient

import webbrowser

APP_KEY = '0123456789‘ #获取的App Key

APP_SECRET = '9e3484b8fb24f9260af0e47b097f18b7' #获取的AppSecret

CALLBACK_URL = 'https://api.weibo.com/oauth2/default.html' #回调链接

client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)

url = client.get_authorize_url()

webbrowser.open_new(url) #打开默认浏览器获取code参数

print '输入url中code后面的内容后按回车键:'

code = raw_input()

浏览器打开的链接示意:

https://api.weibo.com/oauth2/default.html?code=61e30dfb3568d66e418b4c418bf9d750

输入参数code的值 r = client.request_access_token(code)

access_token = r.access_token

expires_in = r.expires_in

client.set_access_token(access_token, expires_in)

03 通过api 文档进行数据获取

api文档链接

http://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI

1) 以statuses/home_timeline 接口作为例子进行数据获取

了解获取数据需要的请求参数

1

2) 授权用户uid可在用户首页的链接获取,".com/"之后就是uid

示意链接:

http://weibo.com/0123456789/profile

3) 每个接口的“/”换成“.”,用get方法传递参数 r = client.statuses.home_timeline.get(uid = 0123456789)

4) 阅读返回json数据的结构,进行输出结果处理

1

示意代码: for st in r.statuses:

print st.text

最后返回的数据示意如下:

1

需要说明的是,本文使用的App Key、AppSecret为测试使用,对于使用时长、使用频率都有所限制。实际用于生产环境,建议进行认证。

在成功利用api获取数据后,接下来就应该存放到数据库,然后设置定时机制,在一定的api限制条件下进行数据获取。或者直接存储到相应的文件(txt,csv)便于进一步分析。这些都取决于数据的使用场景。

题图来源:@Free-Photos

图片授权基于:CC0协议

1

本文来源于网络,版权归作者所有


http://chatgpt.dhexx.cn/article/KHQmvkyu.shtml

相关文章

调用微博API获取微博内容

调用微博API获取微博内容 在采集微博数据的时候,可以利用微博的API来进行调用。在调用微博APi的时候需要做两项工作,第一步是创建应用,第二步是安装微博SDK. 一.创建应用 创建应用的目的是获取app-key和app-secret,并设置授权回…

java 微博 api_Java使用新浪微博API开发微博应用的基本方法

新浪微博API现在运用比较广泛,做一个完整的开发流程Demo 1、第一步注册,就不多说了,注册帐号以及成为开发者帐号,这步操作不会的话请你马上砸掉电脑拔掉网线回家种田。 2、第二步创建应用,开发者帐号创建好了&#xff…

新浪微博api的使用

在采集微博数据的时候,可以利用微博的API来进行调用。在调用微博APi的时候需要做两项工作,第一步是创建应用,第二步是安装微博SDK. 创建应用 创建应用的目的是获取app-key和app-secret,并设置授权回调页。 登陆微博开放平台创…

微博开放平台api使用

前言:微博开放平台提供了微博数据的api接口,不仅可以直接通过api调用微博服务发布微博查询微博,更重要的是,可以在自己的网站上获得新浪微博api的授权,调用微博的某些内容,就好像我们再网站中看到好文章要分…

【转载】使用微博API接口获取数据

巧妇难为无米之炊。 数据获取是数据分析的前提。许多网站会通过API接口向第三方开放网站的部分数据。新浪微博也不例外。你可以查看微博API列表。 商业数据API为(如place/nearby_timeline/biz)为收费接口,若想要调用这一类接口,…

微博官方API使用方法【全流程教学】

微博官方API使用方法【全流程教学】 微博开发者身份认证创建自己的应用新应用的相关配置基本信息高级信息 微博认证流程OAuth2.0认证(核心步骤)Access Token授权有效期接口调用Demo(以评论接口为例) 微博开发者身份认证 访问微博开放平台,登录自己微博账…

一文教会你JDK8的函数式编程

JDK8的1个新特性就是支持函数式接口(Functional Interface)。 函数式接口就是一个有且仅有一个抽象方法,但是可以有多个非抽象方法的接口。 函数式接口可以被隐式转换为Lambda表达式。 我们也可以自行定义函数式接口,如: FunctionalInterface interf…

Modern C++ 学习笔记——C++函数式编程

往期精彩: Modern C 学习笔记——易用性改进篇Modern C 学习笔记 —— 右值、移动篇Modern C 学习笔记 —— 智能指针篇Modern C 学习笔记 —— lambda表达式篇Modern C 学习笔记 —— C面向对象编程Modern C 学习笔记 —— C函数式编程 Modern C 学习笔记——C函数…

java8函数式编程实例

什么是函数式编程 函数式编程是java8的一大特色,也就是将函数作为一个参数传递给指定方法。别人传的要么是基本数据类型,要么就是地址引用 ,我们要穿一个“动作”。 Stream 说到函数式编程,就不得不提及Stream,Stre…

Scala函数式编程

一、函数式编程定义: Scala是一门既面向对象,又面向过程的语言。在Scala中,函数与类、对象地位是一样,所以说scala的面向过程其实就重在针对函数的编程 了,所以称之为函数式编程 在Scala中定义函数需要使用 def 关键…

什么是函数式编程?

当我们说起函数式编程来说,我们会看到如下函数式编程的长相: 函数式编程的三大特性: immutable data 不可变数据:像Clojure一样,默认上变量是不可变的,如果你要改变变量,你需要把变量copy出去修…

python函数式编程

大家好 这里还还还是长弓 今天我们来讲讲python中的函数式编程 目录 函数式编程 高阶函数 map reduce filter sorted 返回函数 闭包 nonlocal使用 匿名函数lambda 装饰器 偏函数 函数式编程 有些同学疑惑了,我们已经学了函数,为什么还要学这…

函数式编程

Functional Programming 什么是函数式编程 函数式编程的思维方式:把显示世界的事务和事物之间的联系抽象到程序世界(对运算过程进行抽象) 函数式编程中的函数指的数学中的函数即映射关系,输入的值对应一个输出的值,…

appium环境搭建python_appium环境搭建python

1,appium是开源的移动端自动化测试框架;2,appium可以测试原生的、混合的、以及移动端的web项目;3,appium可以测试ios,android应用(当然了,还有firefox os);4,appium是跨平…

Windows下Appium环境搭建小结

文章目录 Windows下Appium环境搭建小结需要安装的软件1. JDK下载安装/配置 2. Android SDK3. Maven下载安装/配置 4. Appium下载安装/配置 5. Eclipse TestNG 和 ADT 插件下载安装一条龙配置1、先配置Maven 创建一个项目 Windows下Appium环境搭建小结 本文需要读者已安装了Ec…

Mac端Python+Appium环境搭建

一、安装java sdk java安装:下载完直接安装jdk1.8 二、 安装Android Studio 1.下载安装 下载地址:https://www.androiddevtools.cn/# 2.安装完成后,打开SDK Manager 三、JAVA SDK和Android SDK环境变量配置 1.终端输入:ls…

安卓移动端appium环境搭建流程

安卓移动端appium环境搭建流程 基本步骤: 安装Node.js 安装JDK,及配置环境变量 安装SDK,及配置环境变量 安装Appium桌面版本(建议安装GitHub的最新版) python中pip下载Appium-Python-Client 下载allure-2.13.8并加入环境变量 管理员身份运行appiu…

pythonappium环境搭建_python+appium 环境搭建

最近学习了一下python语言,听说appium是做app的ui层的自动化的一个很好的框架,也是很多人在学习的框架,所以很感兴趣,也特意来学习一下,下面是我学习过程的一些心得和总结,希望对大家有所帮助。 一、环境搭…

Appium环境搭建(集齐Windows和MacOS的宝藏内容)

Appium环境搭建目录 Windows系统环境下安装Node.js安装JDK及环境变量配置添加环境变量 安装SDK添加环境变量 安装Appium可通过三种方法安装安装 **appium-doctor** MacOS系统环境下安装xcode安装依赖安装WebDriverAgent运行WebDriverAgent windows 安装 tidevice常用的tidevice…

mac appium环境搭建

appium环境的搭建其实也不复杂,主要是配置的比较多,只是在配置的过程中,根据当时的机器配置会遇到一些具体问题,一个个解决就可以了。 安装下面这篇文章搭建就可以了 超详细的Mac下appium环境搭建 配置java环境有问题,…