Python Requests访问受Referer限制链接的策略与实践

在使用python的requests库进行网页抓取或自动化时，直接请求某些链接可能会因目标网站对http referer头部的验证而失败或被重定向。本文将深入解析referer头部的作用及其在链接访问中的重要性，并提供一个实用的解决方案，演示如何通过在requests请求中正确设置referer头部，从而成功访问那些需要特定来源页面的受限资源。

理解HTTP Referer头部

HTTP Referer 头部是一个请求头部，它包含了当前请求的来源页面的URL。当用户点击一个链接从页面A跳转到页面B时，浏览器在向页面B发送请求时，会在请求头中自动带上页面A的URL作为Referer。这个头部的主要作用包括：

• 安全性与防盗链： 网站可以通过检查Referer头部来验证请求是否来自其预期的页面。例如，下载链接可能只允许从其自身的下载页面点击进入，以防止其他网站直接链接到下载资源（即盗链）。
• 统计分析： 网站服务器可以利用Referer信息来分析用户流量来源，了解哪些页面带来了最多的访问。
• 会话管理： 在某些复杂的Web应用中，Referer可能作为会话或请求上下文的一部分进行验证。

当用户通过浏览器点击一个按钮或链接时，浏览器会自动处理Referer头部。然而，当我们使用requests库等编程方式发起HTTP请求时，requests默认不会自动模拟一个Referer头部，除非我们明确指定。

问题分析：为何直接访问受限链接会失败？

在某些场景下，我们可能会遇到这样的情况：一个链接（例如，一个下载链接）在网页上点击时可以正常跳转到目标资源，但如果直接复制该链接并在浏览器中打开，或者使用requests.get()方法直接请求，却被重定向回来源页面或返回不正确的内容。

这通常是由于目标网站实施了Referer头部检查。网站服务器会验证请求的Referer头部是否与其期望的来源页面匹配。如果Referer头部缺失、不正确或与预设规则不符，服务器就会拒绝该请求，或者执行重定向操作，将用户引导回原始页面，以此来强制用户通过特定的流程访问资源。

立即学习“Python免费学习笔记（深入）”；

例如，如果一个下载链接https://www.example.com/download/file.mp4要求请求必须来自https://www.example.com/videos/detail-page，那么：

What-the-Diff

检查请求差异，自动生成更改描述

103

查看详情

1. 浏览器点击： 用户在detail-page上点击下载按钮，浏览器会自动发送Referer: https://www.example.com/videos/detail-page，请求成功。
2. 直接访问/requests默认请求：
   • 直接在浏览器地址栏输入download/file.mp4，浏览器通常不会发送Referer，请求可能失败。
   • 使用requests.get('https://www.example.com/download/file.mp4')，requests库默认不发送Referer，请求失败。

解决方案：在Requests请求中添加Referer头部

解决这类问题的关键在于，在发起HTTP请求时，手动构造并包含正确的Referer头部。我们需要模拟浏览器在点击链接时的行为，将触发目标链接的那个页面的URL作为Referer值发送出去。

以下是使用Python requests 库实现此操作的示例代码：

import requests

# 目标链接，即点击按钮后期望访问的下载链接
target_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download'

# 来源页面链接，即包含下载按钮的那个页面的URL
# 这个URL就是当用户点击下载按钮时，浏览器会自动发送的Referer值
referer_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7'

# 构造HTTP请求头部，包含Referer
headers = {
    'Referer': referer_url,
    # 其他可能的头部，如User-Agent等，根据需要添加
    # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

print(f"尝试访问目标URL: {target_url}")
print(f"使用Referer头部: {referer_url}")

try:
    # 发送GET请求，并携带自定义的headers
    # allow_redirects=True 确保requests会自动处理任何重定向
    response = requests.get(target_url, headers=headers, allow_redirects=True)

    # 检查响应状态码
    response.raise_for_status() # 如果状态码不是200，将抛出HTTPError异常

    print(f"\n请求成功！最终访问的URL: {response.url}")
    # 打印响应内容的前500个字符，用于初步检查
    print("响应内容预览:")
    print(response.text[:500])

    # 如果需要保存文件，可以进一步处理response.content
    # 例如：
    # with open("downloaded_file.mp4", "wb") as f:
    #     f.write(response.content)

except requests.exceptions.RequestException as e:
    print(f"\n请求失败: {e}")
    if hasattr(e, 'response') and e.response is not None:
        print(f"响应状态码: {e.response.status_code}")
        print(f"响应内容: {e.response.text[:500]}...")

在上述代码中，我们创建了一个headers字典，并将Referer键的值设置为包含下载按钮的页面的URL。当requests.get()方法带着这个headers发送请求时，服务器会认为这个请求是合法的，因为它看起来像是从预期页面点击过来的，从而允许访问目标资源。通过response.url我们可以看到，此时请求已经成功重定向到了真正的下载地址（例如https://www.sabishare.com/...mp4）。

注意事项

1. Referer的准确性： Referer头部的值必须是准确的来源页面URL。如果填写错误，服务器仍然可能拒绝请求。
2. 动态Referer： 在某些复杂的Web应用中，Referer值可能是动态生成的，或者在每次会话中都会变化。此时，可能需要结合Web抓取工具（如BeautifulSoup或Selenium）来动态获取正确的Referer。
3. 其他头部： 除了Referer，有些网站可能还会检查其他HTTP头部，例如User-Agent、Cookie等，以进一步验证请求的合法性。如果仅添加Referer仍无法解决问题，可以尝试模拟更完整的浏览器请求头部。
4. allow_redirects参数： requests.get()默认allow_redirects=True，这意味着它会自动跟踪HTTP重定向。在处理这类问题时，保持此设置为True通常是正确的选择，因为服务器可能会先进行一次重定向到真正的资源地址。
5. 道德与法律： 在进行任何形式的Web抓取或自动化时，请务必遵守网站的服务条款和robots.txt协议，尊重网站所有者的意愿，并避免对网站服务器造成不必要的负担。

总结

通过正确理解和使用HTTP Referer 头部，我们可以有效解决Python requests 库在访问受来源页面限制的链接时遇到的问题。当直接请求无法成功时，模拟浏览器行为，在请求头中加入正确的Referer值，是绕过这类限制的常用且有效的策略。掌握这一技巧对于进行更高级的Web自动化和数据抓取任务至关重要。

以上就是Python Requests访问受Referer限制链接的策略与实践的详细内容，更多请关注php中文网其它相关文章！