python爬虫使用requests库发送请求、处理cookie和session、设置headers、处理异常及使用代理ip。1. 发送get请求用requests.get(url)获取网页内容；2. post请求通过requests.post(url, data=data)提交数据；3. 创建session对象自动管理cookie实现登录访问；4. 通过headers参数模拟浏览器标识防止被识别为爬虫；5. 使用timeout设置超时并结合try-except捕获异常；6. 利用proxies参数配置代理ip防止ip被封。
Python爬虫，核心就是模拟浏览器行为，抓取网页上的数据。requests库，绝对是入门级的神器，用起来简单粗暴，效率还高。
利用requests库，我们可以轻松地向服务器发送HTTP请求，拿到网页的HTML源代码，然后就可以用BeautifulSoup或者XPath来解析提取数据了。
安装requests库很简单，直接pip install requests就搞定了。
立即学习“Python免费学习笔记（深入）”；
如何用requests发送GET和POST请求？
GET请求是最常用的，比如你想获取某个网页的内容：
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
print(response.text)
else:
print(f"请求失败，状态码：{response.status_code}")POST请求一般用于提交数据，比如登录：
import requests
url = 'https://www.example.com/login'
data = {'username': 'your_username', 'password': 'your_password'}
response = requests.post(url, data=data)
if response.status_code == 200:
print(response.text)
else:
print(f"请求失败，状态码：{response.status_code}")注意，response.status_code是HTTP状态码，200表示请求成功。response.text是网页的HTML源代码。
如何处理requests中的Cookie和Session？
有些网站需要登录才能访问，这就涉及到Cookie和Session。requests库可以自动处理Cookie，你只需要创建一个Session对象：
Python v2.4版chm格式的中文手册，内容丰富全面，不但是一本手册，你完全可以把她作为一本Python的入门教程，教你如何使用Python解释器、流程控制、数据结构、模板、输入和输出、错误和异常、类和标准库详解等方面的知识技巧。同时后附的手册可以方便你的查询。
import requests
session = requests.Session()
# 先登录
url_login = 'https://www.example.com/login'
data_login = {'username': 'your_username', 'password': 'your_password'}
response_login = session.post(url_login, data=data_login)
# 登录后访问需要权限的页面
url_protected = 'https://www.example.com/protected'
response_protected = session.get(url_protected)
if response_protected.status_code == 200:
print(response_protected.text)
else:
print(f"请求失败，状态码：{response_protected.status_code}")Session对象会自动保存Cookie，下次请求会自动带上。
requests库如何设置请求头（Headers）？
有些网站会检查请求头，防止爬虫。我们可以通过设置Headers来模拟浏览器：
import requests
url = 'https://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
print(response.text)
else:
print(f"请求失败，状态码：{response.status_code}")User-Agent是浏览器标识，可以从浏览器开发者工具中找到。
requests库如何处理超时和异常？
网络请求可能会超时或者出现其他异常，我们需要处理这些情况：
import requests
url = 'https://www.example.com'
try:
response = requests.get(url, timeout=5) # 设置超时时间为5秒
response.raise_for_status() # 检查HTTP状态码，如果不是200，抛出异常
print(response.text)
except requests.exceptions.RequestException as e:
print(f"请求出错：{e}")timeout参数设置超时时间。response.raise_for_status()会检查HTTP状态码，如果不是200，会抛出异常。
如何使用代理IP防止被封？
频繁的爬取可能会被网站封IP，使用代理IP可以解决这个问题：
import requests
url = 'https://www.example.com'
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
try:
response = requests.get(url, proxies=proxies, timeout=5)
response.raise_for_status()
print(response.text)
except requests.exceptions.RequestException as e:
print(f"请求出错：{e}")
你需要替换http://10.10.1.10:3128和http://10.10.1.10:1080为你的代理IP地址。
