Python爬虫入门：requests库使用-Python教程-PHP中文网

Python爬虫入门：requests库使用

爱谁谁

发布： 2025-06-29 23:25:01

原创

963人浏览过

python爬虫使用requests库发送请求、处理cookie和session、设置headers、处理异常及使用代理ip。1. 发送get请求用requests.get(url)获取网页内容；2. post请求通过requests.post(url, data=data)提交数据；3. 创建session对象自动管理cookie实现登录访问；4. 通过headers参数模拟浏览器标识防止被识别为爬虫；5. 使用timeout设置超时并结合try-except捕获异常；6. 利用proxies参数配置代理ip防止ip被封。

Python爬虫入门：requests库使用

Python爬虫，核心就是模拟浏览器行为，抓取网页上的数据。requests库，绝对是入门级的神器，用起来简单粗暴，效率还高。

利用requests库，我们可以轻松地向服务器发送HTTP请求，拿到网页的HTML源代码，然后就可以用BeautifulSoup或者XPath来解析提取数据了。

安装requests库很简单，直接pip install requests就搞定了。

立即学习“Python免费学习笔记（深入）”；

如何用requests发送GET和POST请求？

GET请求是最常用的，比如你想获取某个网页的内容：

import requests

url = 'https://www.example.com'
response = requests.get(url)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

登录后复制

POST请求一般用于提交数据，比如登录：

import requests

url = 'https://www.example.com/login'
data = {'username': 'your_username', 'password': 'your_password'}
response = requests.post(url, data=data)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

登录后复制

注意，response.status_code是HTTP状态码，200表示请求成功。response.text是网页的HTML源代码。

如何处理requests中的Cookie和Session？

有些网站需要登录才能访问，这就涉及到Cookie和Session。requests库可以自动处理Cookie，你只需要创建一个Session对象：

import requests

session = requests.Session()

# 先登录
url_login = 'https://www.example.com/login'
data_login = {'username': 'your_username', 'password': 'your_password'}
response_login = session.post(url_login, data=data_login)

# 登录后访问需要权限的页面
url_protected = 'https://www.example.com/protected'
response_protected = session.get(url_protected)

if response_protected.status_code == 200:
    print(response_protected.text)
else:
    print(f"请求失败，状态码：{response_protected.status_code}")

登录后复制

Session对象会自动保存Cookie，下次请求会自动带上。

requests库如何设置请求头（Headers）？

有些网站会检查请求头，防止爬虫。我们可以通过设置Headers来模拟浏览器：

import requests

url = 'https://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")

登录后复制

User-Agent是浏览器标识，可以从浏览器开发者工具中找到。

requests库如何处理超时和异常？

网络请求可能会超时或者出现其他异常，我们需要处理这些情况：

import requests

url = 'https://www.example.com'

try:
    response = requests.get(url, timeout=5)  # 设置超时时间为5秒
    response.raise_for_status()  # 检查HTTP状态码，如果不是200，抛出异常
    print(response.text)
except requests.exceptions.RequestException as e:
    print(f"请求出错：{e}")

登录后复制

timeout参数设置超时时间。response.raise_for_status()会检查HTTP状态码，如果不是200，会抛出异常。

如何使用代理IP防止被封？

频繁的爬取可能会被网站封IP，使用代理IP可以解决这个问题：

import requests

url = 'https://www.example.com'
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
try:
    response = requests.get(url, proxies=proxies, timeout=5)
    response.raise_for_status()
    print(response.text)
except requests.exceptions.RequestException as e:
    print(f"请求出错：{e}")

登录后复制

你需要替换http://10.10.1.10:3128和http://10.10.1.10:1080为你的代理IP地址。

以上就是Python爬虫入门：requests库使用的详细内容，更多请关注php中文网其它相关文章！