搜狗微信文章采集php,[造轮子]爬取搜狗微信公众号文章

article/2025/6/24 12:36:43

背景:想做一个公众号文章资源APP,发现搜狗有搜索公众号文章功能,果断开撸。http://wxiread.com (用CMS搭了个简易的站)。

Step1.分析栏目及接口

6bd1b08bd903

搜狗分了20个栏目,分别是 热门,推荐,段子手,养生堂,私房话… 对应地址从 /pcindex/pc/pc_0 到 /pcindex/pc/pc_19 , 如:http://weixin.sogou.com/pcindex/pc/pc_0/1.html [1.html为分页号]。 整理栏目对应关系见表如下:

6bd1b08bd903

Step2.分析列表结构

6bd1b08bd903

文章列表页由 li 节点构成,li 的ID可看做文章ID,li子节点包括文章标题,描述信息,作者,作者头像等。

Step3.使用QueryList采集文章基本信息

QueryList 是一个基于PHP的DOM解析工具,功能强大,语法类似于JQuery;详细使用可查看官方文档

代码如下:

protected function get_article_list($url)

{

//获取文章LI ID规则

$rules = array(

'article_id' => array('li', 'id'),//文章ID

'inner_html' => array('li', 'html')

);

//递归获取LI节点内容

$data = QueryList::Query($url, $rules)->getData(function($li) {

$id = $li['article_id'];

$info = QueryList::Query($li['inner_html'], array(

'article_url' => array(".wx-img-box > a", "href"), //文章地址

'author_url' => array(".pos-wxrw > a", "href"), //作者地址

'author_avatar' => array(".pos-wxrw > a > p > img", "src"), //作者头像

'article_thumb' => array(".wx-img-box > a > img", "src"), //文章缩略图

'author_name' => array(".pos-wxrw > a > p:eq(1)", "text"), //作者名称

'article_title' => array(".wx-news-info2 > h4", "text"), //文章标题

'article_des' => array(".wx-news-info", "text"), //文章简介

'article_create_at' => array(".wx-news-info2 [v]", "v"), //文章标题

'article_hits' => array(".wx-news-info2 > .s-p", "text", "", function($i){ preg_match('/\d+/', $i, $ms); return (int)$ms[0];}), //文章标题

))->data;

unset($info['inner_html']);

$info[0]['article_id'] = $id;

$info[0]['article_hits'] = intval($info[0]['article_hits']);

return $info[0];

});

return $data;

}

Step4.获取文章详情


http://chatgpt.dhexx.cn/article/8s9vfI7U.shtml

相关文章

微信公众号的“温柔一刀”,搜狗微信搜索部分功能将被下线

作为搜狗的单一最大股东,腾讯与搜狗之间的联系向来就很紧密,其中包括搜搜被并入搜狗、微信公众号的搜索功能划分给搜狗、腾讯新闻、QQ浏览器等腾讯系产品的搜索功能全部换成搜狗。腾讯对搜狗的支持是显而易见的,但若有利益冲突的情况下&#…

【scrapy爬虫】最新sogou搜狗搜索 机智操作绕过反爬验证码(搜狗微信公众号文章同理)

前情提要 此代码使用scrapy框架爬取特定“关键词”下的搜狗常规搜索结果,保存到同级目录下csv文件。并非爬取微信公众号文章,但是绕过验证码的原理相同。如有错误,希望大家指正。 URL结构 https://www.sogou.com/web?query{关键词}&p…

利用搜狗抓取微信公众号文章

微信一直是一个自己玩的小圈子,前段时间搜狗推出的微信搜索带来了一丝曙光。搜狗搜索推出了内容搜索和公众号搜索两种,利用后者可以抓取微信公众号的最新内容,看了下还是比较及时的。 每个公众号都有一个openid,最早可以直接利用…

html语言判断水仙花数,水仙花数判断讲解

今天要讲解的这道题是 水仙花数判断 题目要求 本题要求实现一个函数,判断任一整数是否为水仙花数(必须是三位数,且数的每一位上数字的立方和与数本身相等)。例如1531^35^33^3112527153,而1或155则不是水仙花数。如果是水仙花数,则…

水仙花数的求解思路

目录 水仙花数输入一个数,求解从0到这个数的所有水仙花数 解题思路源代码:注意事项 水仙花数 在以前的博客之中写过求解水仙花数的博客 详情见下面链接: 求解水仙花数 在这里就主要写求解水仙花数的思路 输入一个数,求解从0到这…

计算水仙花数有哪些

计算水仙花数有哪些 一、介绍水仙花数二、使用while循环计算水仙花数1.源代码2.运行结果 三、使用for循环计算水仙花数1.执行代码部分2.运行结果3.源代码 一、介绍水仙花数 水仙花数指的是三位整数中每个数的立方之和等于本身的数 二、使用while循环计算水仙花数 1.源代码 …

水仙花数

一、描述: 所谓的“水仙花数”是指一个三位数其各位数字的立方和等于该数本身。 例如153是“水仙花数”,因为:153 13 53 33。 在数论中,水仙花数(Narcissistic number)也称为自恋数、自幂数、阿姆斯壮…

prgrmz的作品集

符号化执行(基于klee)生成测试用例初探 lstm广告点击量预测案例 一般蔬菜类果实无人采摘方案(算法) 分页页面通用爬虫建模(一般优化问题) 机器学习练习 概率图模型应用例子:图像分割 概率图模型应用例子:立体视觉 概率图模型…

全干工程师的自我修养---vue第一部分

全干工程师的自我修养—vue第一部分 1、环境搭建 主要是搭建nodejs环境,设置淘宝源及安装cnpm,在之前的文章中有提到过,就不再赘述。 接下来全局安装vue脚手架: cnpm install vue-cli -g这样就可以成功安装了,安装…

从业两年时间,我被一个女前端鄙视了!

学测试一定要找准方向,避免做无用功,可以看看现在的测试行业市场行情:测试行业现状分析及测试人员能力标准 早在四年前在深圳打拼的日子,第一家企业我就被一个女前端深深上了一课! 看似很平常的几句话,其实…

职场摸爬滚打的卑微软件测试工!外包干了三年后,我废了...

去年国庆,我分享了一次一位阿里朋友的技术生涯,大家反响爆蓬,感觉十分有意思,今天我来分享一下我另一位朋友的真实经历,是不是很想听? 没错,我这位朋友是曾经外包公司的测试开发,而…

从哪一刻开始,我成了资深工程师

“ 我成了资深工程师!” 当说这句话时,我们可能同时表达了两层含义:我在能力素质上是一位资深工程师了;我的 Title 更新为资深工程师了。 这两者之间有着必然联系。虽然 Title 的更新是一瞬间的事儿,但在其背后&…

一名测试开发工程师的内心自白,被裁员之前,没得到任何风声,措手不及......

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结 前言 一个码农(测试开发)的自白 小…

前端小白奋斗史07

em 倾斜标签 ins 下划线标签 alter 替换文本 title 提示文本 target 目标窗口弹出方式 _blank _self 锚点链接 快速定位页面位置 特殊标签 空格 &nbsp 你不是胖 < &it > &gt element语法 父子记关系标签 ul&#xff1…

学艺不精,总是掉坑!前后端分离历险记

Spring Boot Vue 这一对技术栈目前看来可以说是非常的火热,关于 Spring Boot 松哥已经写过多篇教程,如: 40 篇原创干货,带你进入 Spring Boot 殿堂! 前后端分离的文章也写过好几篇了,例如: 一个…

测试4年裸辞失业,面试17k的测试岗被按在地上摩擦,结局让我崩溃大哭...

作为IT行业的大热岗位——软件测试,只要你付出了,就会有回报。说它作为IT热门岗位之一是完全不虚的。可能很多人回说软件测试是吃青春饭的,但放眼望去,哪个工作不是这样的呢?会有哪家公司愿意养一些闲人呢?…

一名【合格】前端工程师的自检清单,劝退指南 >_<

到现在为止,前端工程师已经成为研发体系中的重要岗位之一。可是,与此相对的是,我发现极少或者几乎没有大学的计算机专业愿意开设前端课程,更没有系统性的教学方案出现。大部分前端工程师的知识,其实都是来自于实践和工…

测试4年裸辞失业,面试17k的测试岗被按在地上摩擦,结局让我崩溃大哭....

作为IT行业的大热岗位——软件测试,只要你付出了,就会有回报。说它作为IT热门岗位之一是完全不虚的。可能很多人回说软件测试是吃青春饭的,但放眼望去,哪个工作不是这样的呢?会有哪家公司愿意养一些闲人呢?…

Linux文件导入gitee仓库中

文章目录 零.前言1.在gitee中建立仓库2.向Linux系统中导入仓库3..gitignore4.总结 零.前言 本文将介绍如何将Linux中的文件存入gitee的仓库中,由于github时常登不上去,所以国内推荐gitee。 1.在gitee中建立仓库 首先我们先注册一账号,这里…

年少成名的我并没有放弃自己,谁敢说她\他文章比我写的好?!,不服来战!

大家镇定一下情绪,文章要开始了。 不择手段是人杰,不改初衷是英雄! 年前读了老罗的这本书—— 《一个理想主义者的奋斗,The Adventures of an Idealist》回想起了我与新东方的故事 我与新东方的故事,大砥开始于高二…