Python 爬虫中添加代理的步骤如下：导入代理库，例如 requests 中的 ProxyManager。创建一个包含可用代理列表的代理池。创建一个 ProxyManager 对象，并配置它使用指定的代理池。创建一个会话并配置它使用代理管理器。使用会话发送请求时将自动使用代理。可选地，可以旋转代理以避免被网站检测到。
如何为 Python 爬虫添加代理
在进行网络爬取任务时，使用代理可以隐藏爬虫的真实 IP 地址，从而绕过网站的访问限制或获取不同地区的地理位置数据。本文将详细介绍如何在 Python 爬虫中添加代理。
1. 导入代理库
首先，需要安装并导入一个 Python 代理库，例如 requests 中的 ProxyManager：
立即学习“Python免费学习笔记（深入）”；
import requests from requests.packages.urllib3.util.retry import Retry
2. 创建代理池
创建一个代理池，其中包含多个可用代理的列表。可以从代理提供商或免费代理网站获取代理。例如：
proxy_pool = [
{"http": "http://user:pass@127.0.0.1:8080"},
{"https": "https://user:pass@127.0.0.1:8080"},
]3. 设置代理管理器
创建 ProxyManager 对象，并将其配置为使用指定代理池：
retry_policy = Retry(connect=10, backoff_factor=1) proxy_manager = ProxyManager(proxy_pool, retry=retry_policy)
4. 设置请求会话
创建 Session 对象，并将其配置为使用代理管理器：
session = requests.Session() session.proxies = proxy_manager
5. 发送带代理的请求
使用 session 发送请求时，将自动使用代理。例如：
response = session.get("https://example.com")6. 旋转代理（可选）
在爬取过程中，可以旋转代理以避免被网站检测到。这可以通过更新 ProxyManager 中的 retry 策略来实现。例如，可以在每次重试时随机选择一个新的代理：
retry_policy = Retry(connect=10, backoff_factor=1, redirect=0, status_forcelist=[403]) proxy_manager = ProxyManager(proxy_pool, retry=retry_policy)
