教你创建一个免费的代理IP池（txt存储版本）

article/2025/10/24 7:31:29

教你创建一个免费的代理IP池（txt存储版本）

很多人可能会为爬虫被ban，IP被封等反爬机制苦恼，接下来我就教给大家如何白嫖做一个代理IP池。

准备工作

首先是准备工作，因为是第一个版本，因此我打算先用txt存储爬取到的ip，下面是用到的一些变量。

# UA池
user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60','Opera/8.0 (Windows NT 5.1; U; en)','Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0','Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11','Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36','Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0','Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ',]# 写入所有代理
proxyList = open('proxy.txt')
# 写入可用代理ip
validList= open('valid.txt')# 控制线程
lock = threading.Lock()

获取所有代理IP地址

肯定免费代理IP有很多是不能用的，但是我们依然需要获取到所有的代理IP，再做下一步的筛选。
本次作者选择了云代理，快代理，98代理三个网站的免费代理IP，进行了爬取，代码见下：

def getProxy():starttime = time.time()# 爬取云代理ip# http://www.ip3366.net/freegetCloudProxy()# 爬取98代理# https: // www.89ip.cn / index_10.htmlget89Proxy()# 爬取快代理# https://www.kuaidaili.com/free/inha/1/# https://www.kuaidaili.com/free/intr/1/getQuickProxy()endtime = time.time()print(f"爬取代理花费{endtime-starttime}s")def getCloudProxy():print("爬取云代理IP中--------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 8):for stype in range(1, 3):time.sleep(random.randint(1, 3))print(f"正在抓取{stype}的第{page}页数据")# 数据地址url = f'http://www.ip3366.net/free/?stype={stype}&page={page}'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get()  # ipport = tr.xpath('./td[2]/text()').get()  # 端口protocol = tr.xpath('./td[4]/text()').get()  # 协议# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取云代理IP{num}条")def getQuickProxy():print("爬取快代理中------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 3):for type in ['inha', 'intr']:time.sleep(random.randint(1, 3))print(f"正在抓取类型{type}第{page}页数据")# 数据地址url = f'https://www.kuaidaili.com/free/{type}/{page}/'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get().strip()  # ipport = tr.xpath('./td[2]/text()').get().strip()  # 端口protocol = tr.xpath('./td[4]/text()').get().strip()  #协议# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取快代理IP{num}条")def get89Proxy():print("爬取89代理IP中--------")num = 0import time# 打开我们创建的txt文件proxyFile = open('proxy.txt', 'a')for page in range(1, 156):time.sleep(random.randint(1, 3))print(f"正在抓取第{page}页数据")# 数据地址url = f'https://www.89ip.cn/index_{page}.html'# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}# 发送请求response = requests.get(url=url, headers=headers)# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.text# 解析数据selector = parsel.Selector(html_data)trs = selector.xpath('//table/tbody/tr')for tr in trs:ip = tr.xpath('./td[1]/text()').get().strip()  # ipport = tr.xpath('./td[2]/text()').get().strip()  # 端口protocol = 'HTTP' # 默认协议HTTP# 将获取到的数据按照规定格式写入txt文本中1proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))num += 1print(f"爬取89代理IP{num}条")

验证ip有效性

对于获得的所有免费代理IP，对他们进行验证，方法就是使用requests对百度网站进行访问，如何得到的返回码code为200，说明访问成功，即为可用有效IP，代码见下：

def verifyProxyList():'''验证ip有效性并存入valid.txt:return:'''valid = open('valid.txt', 'a')while True:lock.acquire()# 读取存放ip的文件ipinfo = proxyList.readline().strip()lock.release()# 读到最后一行if len(ipinfo) == 0:breakline = ipinfo.strip().split('|')ip = line[0]port = line[1]realip = ip + ':' + port# print(realip)# 得到验证码code = verifyProxy(realip)# 验证通过if code == 200:lock.acquire()print("---Success:" + ip + ":" + port)valid.write(ipinfo + "\n")lock.release()else:pass# print("---Failure:" + ip + ":" + port)
def verifyProxy(ip):'''验证代理的有效性'''# 设置随机请求头headers = {'User-Agent': random.choice(user_agents)}url = "http://www.baidu.com"# 填写代理地址proxy = {'http': ip}try:code = requests.get(url=url, proxies=proxy, timeout=2, headers = headers).status_codeprint(code)return codeexcept Exception as e:return e

测试有效IP

最后当然是测试板块啦，使用我们的有效代理IP池对目标网站进行访问，得到网站的内容，但是免费代理IP时效很短，需要控制好获取IP和使用IP的时间间隔，代码见下：


def useProxy():lock.acquire()ips = []# 获取可用ip池# 获取IP列表valid = open('/Users/shangyuhu/PycharmProjects/recruitProject/ProxyIP/valid.txt')while True:# 读取存放ip的文件ipinfo = valid.readline().strip()# 读到最后一行if len(ipinfo) == 0:breakline = ipinfo.strip().split('|')ip = line[0]port = line[1]realip = ip + ':' + portips.append(realip)print(ips)# 要抓取的目标网站地址targetUrl = "https://news.qq.com/"for i in range(10):# 随机使用ip爬虫proxyip = random.choice(ips)# print(proxyip)try:response = requests.get(url=targetUrl, proxies={"http": proxyip, "https": proxyip},verify=False, timeout=15)except Exception as e:continue# 自适应编码response.encoding = response.apparent_encodinghtml_data = response.textprint(html_data)# 用完了lock.release()

函数调用


if __name__ == '__main__':# 清空代理列表和有效代理列表proxy = open('proxy.txt', 'w')proxy.write("")proxy.close()valid = open('valid.txt', 'w')valid.write("")valid.close()# 获取代理IPgetProxy()starttime = time.time()# 验证ip有效性all_thread = []for i in range(30):t = threading.Thread(target=verifyProxyList)all_thread.append(t)t.start()for t in all_thread:t.join()endtime = time.time()print(f"验证代理IP花费时间{endtime-starttime}s")useProxy()proxy.close()valid.close()

总结

1.白嫖的肯定不如花钱的，使用效果肯定没有花钱来的舒服。
2.可以使用缓存或者数据库进行存储
3.线程的调用需要控制好

全部代码

全部代码
在这里插入图片描述


http://chatgpt.dhexx.cn/article/QRtjHw5W.shtml

相关文章

什么是代理IP池，如何构建？

什么是代理IP池，如何构建？

什么是代理ip池？ 通俗地比喻一下，它就是一个池子，里面装了很多代理ip。它有如下的行为特征： 1.池子里的ip是有生命周期的，它们将被定期验证，其中失效的将被从池子里面剔除。 2.池子里的ip是有补充渠道的&…
阅读更多...
Python爬虫——怎么搭建和维护一个本地IP池

Python爬虫——怎么搭建和维护一个本地IP池

目录 背景 一、什么是本地代理IP池 二、代理IP池功能架构图 三、各个组件功能说明及示例代码 1. IP池管理器 2. 代理IP获取器 3. IP质量检测器 4、数据存储器 5、API接口层 6、应用程序 总结 背景 在我们进行爬虫工作时，经常需要使用代理IP。大多数代理…
阅读更多...
搭建代理IP池的方法

搭建代理IP池的方法

突破次数的限制就可以使爬虫更高效的工作，代理IP是突破次数限制，提高爬虫高效工作的最好的工具。所以，很多人都想通过建立IP池的方法，实现换IP突破限制，那么这IP池如何进行搭建呢？ 一，免费搭建代理IP池的方法 1.主要用途 当进行数据爬取的时候，有一部分网站是设置了一些…
阅读更多...
scrapy中添加ip池的方法

scrapy中添加ip池的方法

scrapy中添加ip池的方法 我使用的是scrapy2.2 setting 中写下ip池 IPPOOL [{ipaddr:221.230.72.165:80}, {ipaddr:175.154.50.162:8118}, {ipaddr:111.155.116.212:8123},]在在中间件midllewares添加代码 from mypython.settings import IPPOOLfrom scrapy import signals …
阅读更多...
Python爬虫 教程：IP池的使用

Python爬虫 教程：IP池的使用

一、简介 爬虫中为什么需要使用代理 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一…
阅读更多...
如何建立爬虫代理ip池

如何建立爬虫代理ip池

目录 一、为什么需要建立爬虫代理ip池 二、如何建立一个爬虫代理ip池 原文地址：https://www.cnblogs.com/TurboWay/p/8172246.html 一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制的，在…
阅读更多...
requests模块代理IP池搭建视频爬取

requests模块代理IP池搭建视频爬取

requests模块&代理IP池搭建 一 requests模块使用1.1 get请求1.2 url编码和解码1.3 携带请求头1.4 携带cookie1.5 发送post请求1.6 requests.session1.7 Response1.8 获取二进制数据1.9 解析json 二 使用代理三 django后端获取客户端ip地址四 爬取视频网站五 爬取新闻六 Bau…
阅读更多...
Python之爬虫 搭建代理ip池

Python之爬虫 搭建代理ip池

文章目录 前言一、User-Agent二、发送请求三、解析数据四、构建ip代理池，检测ip是否可用五、完整代码总结 前言 在使用爬虫的时候，很多网站都有一定的反爬措施，甚至在爬取大量的数据或者频繁地访问该网站多次时还可能面临ip被禁，…
阅读更多...
如何构建一个自己的代理ip池

如何构建一个自己的代理ip池

一、默认自动切换IP 登录线程IP池客户端时，默认情况下会自动切换IP。 如果不想自动切换IP，或者还没有准备开始使用，请在客户端右侧将“在IP过期前几秒自动申请切换”设置为“0”。 0无效。 二.默认情况下不需要授权 默认情况下&#xff0c…
阅读更多...
搭建代理IP池

搭建代理IP池

目录 爬取前的准备 爬取有IP内容 检查IP的可用性 上一期讲到在爬取豆瓣电影Top250时，出现ip被封的情况，解决方案给出了两种： 1. 换个WiFi或者热点； 2. 搭建代理IP池。 那么这期就来搭建代理IP池。通常来说，搭建代理…
阅读更多...
python搭建ip池

python搭建ip池

在爬取网站的时候我们有时候会遭受封ip等显现，因此我们需要搭建自己的ip池用于爬虫。 代码过程简述： 1、爬取代理ip网站信息 2、将获取的信息处理得到ip等关键信息 3、保存首次获取的ip信息并检测其是否可用 4、检测完毕将可用ip保存，搭…
阅读更多...
搭建免费代理IP池

搭建免费代理IP池

👨‍💻博客主页：i新木优子👀 🎉欢迎关注🔍点赞👍收藏⭐留言📝 🧚‍♂️寄语:成功的秘诀就是每天都比别人多努力一点👣 ✨有任何疑问欢迎评论探讨 先声明一下&…
阅读更多...
python搭建ip池（多线程）

python搭建ip池（多线程）

之前有讲过怎么搭建ip池，但由于单线程的效率太低，于是我们升级改造一下，将单线程变成多线程来搭建ip池，之前的方法可以参考一下：python搭建ip池 （如果会简单的request和提取文字就可以直接不看）…
阅读更多...
教你自己搭建一个IP池(绝对超好用！！！！)

教你自己搭建一个IP池(绝对超好用！！！！)

随着我们爬虫的速度越来越快，很多时候，有人发现，数据爬不了啦，打印出来一看。 不返回数据，而且还甩一句话 是不是很熟悉啊？ 要想想看，人是怎么访问网站的？ 发请求，对…
阅读更多...
Python爬虫实战（二）：爬取快代理构建代理IP池

Python爬虫实战（二）：爬取快代理构建代理IP池

目录 🌹前言构建IP池的目的爬取目标准备工作代码分析第一步第二步第三步第四步第五步完整代码使用方法 🌹前言 博主开始更新爬虫实战教程了，期待你的关注！！！ 第一篇：Python爬虫实战（…
阅读更多...
ERROR 1062 (23000): Duplicate entry '%-root' for key 'PRIMARY'

ERROR 1062 (23000): Duplicate entry '%-root' for key 'PRIMARY'

MySQL> update user set host% where user root; ERROR 1062 (23000): Duplicate entry %-root for key PRIMARY 然后查看了下数据库的host信息如下： host已经有了%这个值，所以直接运行命令： 复制代码 代码如下: MySQL>flush priv…
阅读更多...
Mysql 报错 ERROR 1062 (23000): Duplicate entry ‘%-root‘ for key ‘PRIMARY‘

Mysql 报错 ERROR 1062 (23000): Duplicate entry ‘%-root‘ for key ‘PRIMARY‘

文章目录 错误详情错误原因解决方案最后 错误详情 今天在云主机上配置Hive时，设置远程连接的权限报错如下： 错误原因 之前电脑上已经有了%， 解决方案 查看一下电脑中是否已经具有% select host,user from user where userroot;如果已经存…
阅读更多...
ORA-20000

ORA-20000

exec dbms_stats.gather_database_stats(ESTIMATE_PERCENT>100, method_opt > FOR ALL INDEXED COLUMNS SIZE AUTO, cascade>true, degree>120);在12c和19c中，想要启用资源管理，必须先把并发收集统计信息禁用。 alter system set resource_…
阅读更多...
mysql一张表复制到另外一张表，报错[23000][1062] Duplicate entry ‘1‘ for key ‘big_2.PRIMARY‘

mysql一张表复制到另外一张表，报错[23000][1062] Duplicate entry ‘1‘ for key ‘big_2.PRIMARY‘

mysql一张表复制到另外一张表 insert into big_2 select * from big_4 报错 [23000][1062] Duplicate entry 1 for key big_2.PRIMARY 看报错，是big_2的主键已经有1了，不能再插入相同的值，我这边id是自增字段，指定插入字段就能解决…
阅读更多...
我32岁，花23000元从雕刻员转行程序员，承诺保底6K，选IT是成功了吧

我32岁，花23000元从雕刻员转行程序员，承诺保底6K，选IT是成功了吧

我从22岁起，就开始在县城一家雕刻厂做流水线工人，从厂房门口看过去，雕刻厂的一切都是灰色的，到处落满花岗岩的灰屑。 一边是师傅们趴在石料上无休止地劳作，一边是新安装的数控雕刻机发出尖刻的响声，我是这…
阅读更多...
推荐文章

Copyright @ 2022~2023