本教程旨在解决使用python `requests`库访问特定网页链接时遇到的重定向问题，即某些链接仅在通过其来源页面上的按钮点击时才能成功跳转。文章将深入解释为何直接访问会失败，并提供核心解决方案：通过在http请求中设置正确的`referer`头部信息来模拟浏览器行为，从而成功获取目标内容。
在进行网页数据抓取或自动化操作时，开发者经常会遇到一个挑战：某些链接无法通过直接复制粘贴或简单的HTTP GET请求访问，而必须通过点击其来源页面上的特定按钮才能正确跳转到目标内容。这通常是网站为了防止直接链接盗用、跟踪用户行为或实施反爬策略而采取的一种机制。本文将详细探讨这一问题，并提供基于Python requests库的解决方案。
问题剖析：为何直接访问会失败？
当用户在浏览器中点击一个链接时，浏览器不仅会发送对目标URL的请求，还会自动在HTTP请求头中包含一个Referer（或Referrer，尽管规范中是Referer）字段。这个字段记录了用户是从哪个页面跳转过来的。许多网站的服务器会检查这个Referer头。如果Referer头不存在、不正确，或者与预期的来源不符，服务器可能会拒绝请求，或者将其重定向到一个不同的、通常是原始的或错误提示页面。
例如，在一个下载页面上，一个“下载”按钮可能指向一个下载链接。如果直接访问这个下载链接，服务器会检查请求的Referer头。如果它发现请求不是来自包含该下载按钮的页面，它就会认为这是一个“非法”请求，从而将用户重定向回主页或下载页本身，而不是提供真正的下载资源。
解决方案：模拟浏览器行为——使用Referer头部
解决此类问题的关键在于模拟浏览器的行为，即在我们的HTTP请求中手动添加正确的Referer头部信息。通过在requests库发送GET请求时，在headers字典中指定Referer字段为包含目标链接的页面的URL，我们可以欺骗服务器，使其认为请求是合法的，从而成功访问目标资源。
立即学习“Python免费学习笔记（深入）”；
示例场景
假设我们有一个页面 https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7，其中包含一个下载按钮，其href属性指向 https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download。直接访问后者会重定向回前者，而我们真正想要访问的是 https://www.sabishare.com/file/mHxiMiZHW15-alchemy-of-souls-s01e07-netnaija-com-mp4。
在这种情况下，https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7 就是我们需要设置的Referer。
Python代码实现
以下是使用Python requests库实现这一解决方案的示例代码：
import requests
# 目标下载链接，直接访问可能被重定向
target_download_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download'
# 包含下载按钮的页面的URL，这将作为我们的Referer
# 服务器会检查这个Referer，以确认请求是否来自“合法”来源
referer_page_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7'
# 构造HTTP请求头
headers = {
'Referer': referer_page_url,
# 强烈建议同时添加User-Agent头，以进一步模拟浏览器行为
# 避免被网站识别为爬虫而拒绝访问
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36'
}
print(f"尝试访问目标URL: {target_download_url}")
print(f"使用Referer: {referer_page_url}")
try:
# 发送GET请求，并带上自定义的headers
# allow_redirects=True 确保requests库会跟随任何重定向
response = requests.get(target_download_url, headers=headers, allow_redirects=True)
# 检查HTTP响应状态码，如果不是200，则抛出HTTPError异常
response.raise_for_status()
print(f"\n请求成功！最终访问的URL: {response.url}")
# 检查最终URL是否是我们期望的下载页面
if "sabishare.com" in response.url:
print("成功访问到Sabishare下载页面。")
# 如果需要，可以进一步处理响应内容，例如解析HTML以提取真正的下载链接
# print("响应内容片段:\n", response.text[:500]) # 打印前500个字符
else:
print("未能成功访问到Sabishare下载页面，可能被重定向到其他页面或请求被阻止。")
print("响应内容片段:\n", response.text[:500])
except requests.exceptions.RequestException as e:
print(f"\n请求发生错误: {e}")
if hasattr(e, 'response') and e.response is not None:
print(f"HTTP状态码: {e.response.status_code}")
print(f"响应内容片段:\n {e.response.text[:500]}")
注意事项与最佳实践
- Referer的准确性： 确保Referer头部的值是包含目标链接的“前一个”页面的完整URL。错误的Referer将导致解决方案失效。
- User-Agent头部： 除了Referer，User-Agent也是一个非常重要的HTTP头部。它标识了发出请求的客户端类型（例如，哪个浏览器、操作系统）。许多网站会检查User-Agent，如果它看起来不像一个真实的浏览器，请求也可能被拒绝。始终建议在抓取时设置一个常见的浏览器User-Agent。
- allow_redirects=True： requests.get()默认会跟随重定向，即allow_redirects参数默认为True。在我们的场景中，目标是最终到达重定向后的页面，所以保持此设置是正确的。
- Cookie管理： 有些网站的访问可能还依赖于会话Cookie。如果遇到设置Referer和User-Agent后仍然无法访问的情况，可能需要考虑在请求中包含有效的Cookie。requests库会自动处理会话中的Cookie，但对于特定场景可能需要手动管理。
- 网站反爬策略： Referer检查只是众多反爬手段之一。更复杂的网站可能还会使用JavaScript渲染、验证码、IP限制、请求频率限制等技术。解决这些问题可能需要更高级的工具，如Selenium（用于处理JavaScript）或代理IP池。
- 合法性与道德： 在进行任何网页抓取活动时，请务必遵守网站的服务条款和robots.txt协议，尊重网站数据所有权，并遵守相关法律法规。不当的抓取行为可能导致法律问题或IP被封禁。
总结
当遇到只能通过点击按钮才能访问的网页链接时，核心问题通常在于HTTP请求中缺少或错误的Referer头部信息。通过在Python requests库的请求中精确设置Referer为包含该按钮的来源页面URL，我们可以有效地模拟浏览器行为，绕过服务器的来源检查，从而成功获取目标资源。结合User-Agent等其他常用HTTP头部，可以进一步提高请求的成功率。然而，始终要记住，网页抓取应在合法和道德的框架内进行。
