PHP实现免费代理池
- 声明
- 背景
- 设计
- 源码
- 使用
声明
本项目所有代理IP均采集于网络,请勿用于非法途径,违者后果自负!
背景
最近疯狂爬虫,请求频繁经常触发网站的反爬策略,加代理是比较简单的方法,起初购买网上付费代理,用了段时间觉得便宜的代理质量也不咋样的,于是就自己实现了一个免费代理池。
设计
免费代理池流程图如下:
备注:
-
代理质量规则:
- 普通代理:检测成功次数小于20
- 稳定代理:检测成功次数大于20,小于50
- 优质代理:检测成功次数大于50
-
代理剔除规则:
- 普通代理:检测失败立即剔除
- 稳定代理:连续检测失败次数超过5次剔除
- 优质代理:连续检测失败次数超过10次剔除
选择几个相对稳定的免费代理作为目标站点:
- 西刺代理
- 无忧代理
- 云代理
- 快代理
- fatezero
源码
GitHub:https://github.com/GallopYD/proxy-pool (欢迎star!)
使用
免费代理池:https://proxy.357.im/
接口:https://proxy.357.im/api/doc
以上为个人开发总结,如有问题欢迎指出!