答案：使用requests库可安全抓取HTTPS网站，需正确处理SSL证书验证。默认情况下requests会自动验证服务器证书，确保连接安全；若遇自签名或私有CA证书，可指定本地证书路径或谨慎关闭验证（仅限测试）；结合headers、cookies和代理提升兼容性与隐蔽性；对高级需求可用urllib3或自定义SSL上下文控制TLS行为；保持库更新以支持最新安全标准。
抓取HTTPS网站在Python爬虫中非常常见，由于HTTPS使用SSL/TLS加密传输数据，因此在请求过程中需要正确处理安全设置，否则可能遇到证书验证错误或连接失败。以下是实现安全、稳定抓取HTTPS网页的关键方法和建议。
使用requests库发起HTTPS请求
Python中最常用的HTTP库是requests，它默认支持HTTPS，并自动验证SSL证书。大多数情况下，只需像请求HTTP一样发送GET或POST请求即可：
示例代码：
import requests
立即学习“Python免费学习笔记（深入）”；
response = requests.get("https://httpbin.org/get")
print(response.status_code)
print(response.text)
requests会自动校验证书是否由可信CA签发，并检查域名匹配。如果网站证书合法，请求将正常完成。
处理SSL证书问题
在某些场景下（如爬取测试站点、自建服务或过期证书站点），可能会遇到SSLError或CERTIFICATE_VERIFY_FAILED错误。此时可采取以下措施：
- 关闭证书验证（仅限测试）：通过设置verify=False跳过SSL验证，但会降低安全性。
response = requests.get("https://self-signed.badssl.com/", verify=False)
⚠️ 警告：生产环境不推荐关闭验证，容易遭受中间人攻击。
- 指定本地CA证书文件：若目标服务器使用私有CA签发的证书，可将证书添加到信任列表并传入verify参数。
response = requests.get("https://internal.example.com", verify="/path/to/cert.pem")
配置代理与客户端身份
部分HTTPS网站会对客户端进行检测。为提高兼容性和隐蔽性，建议设置合理的请求头：
- 添加User-Agent模拟浏览器行为
- 必要时携带Cookie或使用Session维持会话
- 通过proxies参数使用代理绕过IP限制
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
proxies = {
"https": "https://127.0.0.1:8080"
}
response = requests.get("https://example.com", headers=headers, proxies=proxies, verify=True)
高级控制：使用urllib3或自定义SSL上下文
对于更精细的控制（如禁用特定TLS版本、调试握手过程），可结合urllib3或ssl模块创建自定义SSL上下文：
import ssl
import urllib3
# 创建不验证证书的上下文（谨慎使用）
ctx = ssl._create_unverified_context()
http = urllib3.PoolManager(cert_reqs='CERT_NONE')
resp = http.request('GET', 'https://self-signed.badssl.com/')
print(resp.data.decode('utf-8'))
这种方式适合调试或内网环境，但务必清楚安全风险。
基本上就这些。只要合理使用requests的verify机制、正确处理证书问题并模拟真实用户行为，Python爬虫就能安全有效地抓取HTTPS网站。不复杂但容易忽略的是保持库版本更新，以支持最新的TLS标准和根证书列表。
