声明

本项目所有代理IP均采集于网络，请勿用于非法途径，违者后果自负！

背景

最近疯狂爬虫，请求频繁经常触发网站的反爬策略，加代理是比较简单的方法，起初购买网上付费代理，用了段时间觉得便宜的代理质量也不咋样的，于是就自己实现了一个免费代理池。

设计

免费代理池流程图如下：

备注：

• 代理质量规则：

  • 普通代理：检测成功次数小于20
  • 稳定代理：检测成功次数大于20，小于50
  • 优质代理：检测成功次数大于50

• 代理剔除规则：

  • 普通代理：检测失败立即剔除
  • 稳定代理：连续检测失败次数超过5次剔除
  • 优质代理：连续检测失败次数超过10次剔除

选择几个相对稳定的免费代理作为目标站点：

• 西刺代理
• 无忧代理
• 云代理
• 快代理
• fatezero

源码

GitHub：https://github.com/GallopYD/proxy-pool （欢迎star！）

使用

免费代理池：https://proxy.357.im/
接口：https://proxy.357.im/api/doc

---

以上为个人开发总结，如有问题欢迎指出！