使用 requests 模块模拟网页过滤器操作：以 USPS 打印机目录为例

本文详细介绍了如何使用 python 的 `requests` 模块来模拟网页上的过滤器操作，特别是当过滤器参数通过 http 请求头传递时。通过分析网络请求，我们演示了如何利用 `requests.session` 管理会话状态，并构造包含特定过滤信息的请求头来获取过滤后的数据，而非传统的表单提交方式。

在进行网页数据抓取时，我们经常需要与网页上的交互元素（如搜索框、筛选器按钮）进行交互。对于使用 requests 库进行爬取，这意味着我们需要理解这些交互背后的 HTTP 请求机制。本文将以 USPS 打印机目录网站为例，展示如何通过 requests 模块模拟“应用过滤器”按钮的功能，获取经过筛选的数据。

理解网页过滤器的工作原理

传统的网页表单提交通常涉及 POST 请求，将数据放在请求体中。然而，现代网页应用（尤其是单页应用或使用 API 的网站）可能会以更复杂的方式处理用户交互，例如通过 GET 请求的查询参数、请求体中的 JSON 数据，或者像本例中所示，通过 HTTP 请求头传递关键的过滤参数。

当我们在浏览器中操作过滤器时，例如选择“服务”、“距离”或“排序”选项并点击“应用过滤器”时，浏览器会向服务器发送一个或多个 HTTP 请求。要用 requests 模块模拟这一过程，关键在于使用浏览器的开发者工具（通常是 F12 键打开，查看“网络”或“Network”选项卡），观察这些请求的详细信息，包括请求方法、URL、请求头、查询参数和请求体。

在本例中，通过开发者工具分析，我们可以发现当应用过滤器时，实际的过滤条件（如搜索位置、距离半径、位置键等）是作为 HTTP 请求头（Headers）的一部分发送到 API 端点 https://printerdirectory.usps.com/listing/api/vendors 的。

凹凸工坊-AI手写模拟器

AI手写模拟器，一键生成手写文稿

225

查看详情

使用 requests.Session 管理会话和请求头

为了模拟浏览器的行为并保持会话状态（例如处理 cookies），强烈建议使用 requests.Session 对象。Session 对象允许我们在多个请求之间持久化某些参数，如 cookies 和默认请求头。

import requests

# 定义API端点
API_URL = "https://printerdirectory.usps.com/listing/api/vendors"
BASE_URL = "https://printerdirectory.usps.com/listing/"

# 初始化一个Session对象
with requests.Session() as session:
    # 1. 设置通用的User-Agent，模拟浏览器行为
    session.headers.update(
        {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
        }
    )

    # 2. 访问一次基础URL，以确保Session中包含必要的cookies或初始化信息
    # 这一步对于某些网站是必需的，可以模拟用户首次访问页面的行为
    session.get(BASE_URL)

    # 3. 构造包含过滤条件的请求头
    # 这些头部参数是根据网站实际请求分析得到的
    filter_headers = {
        "radius": "50",  # 筛选距离：50英里内
        "type": "key",   # 位置类型：通常为"key"表示基于地理编码键
        "location": "New York City, New York, USA", # 搜索地点
        "key": "GST7YMc0AM9UOsE2JPpREYcnDh4nYSWGOocpZg5pDTyaHSybHgE0njypIjTmObELDU4QHgc0Y1ckOgc-J5KJQ5xaMs8F", # 地理位置的唯一标识键
        # 注意：这里的'key'是一个动态值，通常需要通过前一个地理编码API请求获取
        # 在本示例中，我们直接使用了一个已知有效的键
    }

    # 4. 更新Session的请求头，添加过滤条件
    session.headers.update(filter_headers)

    # 5. 发送GET请求到API端点，获取过滤后的数据
    try:
        response = session.get(API_URL)
        response.raise_for_status() # 检查HTTP请求是否成功（2xx状态码）
        data = response.json()

        # 6. 处理获取到的JSON数据
        # 假设“Printing your mailpiece”服务对应于服务ID 1
        print("符合条件的供应商列表：")
        for i, vendor in enumerate(data.get("vendors", []), 1):
            if 1 in vendor.get("services", []): # 检查供应商是否提供ID为1的服务
                print(f"{i:>3} {vendor['name']:<40} (服务ID: {vendor['services']})")

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
    except ValueError:
        print("响应内容不是有效的JSON格式。")

代码解析与注意事项

1. requests.Session(): 这是一个非常重要的实践。它允许在同一会话中发送多个请求，并自动处理 cookies，这对于需要登录状态或会话持久化的网站至关重要。
2. session.get(BASE_URL): 在发送带有过滤条件的请求之前，先对基础 URL 发送一个 GET 请求。这有助于初始化会话，获取网站可能设置的任何初始 cookies 或令牌，从而避免后续请求被拒绝。
3. filter_headers: 这是本教程的核心。通过分析网站的网络请求，我们发现 radius (距离), type (类型), location (地点) 和 key (地点标识) 这些过滤参数不是通过 URL 查询字符串或表单数据发送的，而是作为 HTTP 请求头传递的。
   • location 和 key 通常是成对出现的。key 是一个动态生成的字符串，用于唯一标识一个地理位置，通常需要通过网站的地理编码或建议 API 获取。在实际应用中，你可能需要先调用一个地理编码 API（如原问题中提到的 gis.usps.com/arcgis/rest/services/.../GeocodeServer/suggest）来获取这个 key。
   • radius 直接对应网页上的距离筛选选项（例如“within 50 miles”）。
4. 服务筛选 (if 1 in vendor.get("services", [])): 值得注意的是，本示例中的“Printing your mailpiece”服务筛选，似乎是在获取到所有供应商数据后，在客户端（即我们的 Python 脚本）进行二次筛选的。这意味着 API 返回的数据可能包含了所有供应商，而具体的服务筛选逻辑由前端 JavaScript 或我们的脚本来完成。这再次强调了分析网络请求的重要性，以区分哪些筛选是服务器端处理的，哪些是客户端处理的。
5. 错误处理: 添加 try-except 块来捕获 requests.exceptions.RequestException 和 ValueError，可以使代码更健壮，处理网络问题或非 JSON 响应。
6. User-Agent: 始终建议设置一个 User-Agent 请求头，以模拟真实的浏览器行为，减少被网站屏蔽的风险。
7. 动态 key 的获取: 在实际应用中，key 参数通常不是固定的。你需要模拟用户输入地址后，网站调用地理编码 API 获取 magicKey 的过程。例如，可以先向 https://gis.usps.com/arcgis/rest/services/locators/EDDM_Composite/GeocodeServer/suggest 发送包含 text 参数的 GET 请求，然后从响应中提取 magicKey。

总结

通过 requests 模块模拟网页交互，尤其是处理过滤器，需要深入理解网页背后的 HTTP 请求机制。利用浏览器的开发者工具是识别关键请求参数（无论是查询参数、请求体还是请求头）的有效方法。requests.Session 提供了一种高效且健壮的方式来管理会话状态，而精确构造请求头则是成功模拟复杂过滤操作的关键。在处理动态参数（如本例中的 key）时，可能需要模拟多步请求以获取必要的前置信息。

以上就是使用 requests 模块模拟网页过滤器操作：以 USPS 打印机目录为例的详细内容，更多请关注php中文网其它相关文章！