使用Python抓取静态URL分页数据的策略-html教程-PHP中文网

使用python抓取静态url分页数据的策略

当网页的URL在切换页面时保持不变，传统的基于URL参数递增的爬取方法将失效。本文将详细介绍如何识别并利用POST请求及其携带的表单数据来模拟分页操作，从而成功抓取这类动态加载的数据。我们将使用requests库发送POST请求，结合BeautifulSoup进行HTML解析，并最终利用pandas整理数据，实现高效、稳定的多页数据抓取。

理解静态URL下的动态分页

在进行网页数据抓取时，我们经常会遇到URL在页面之间保持不变，但页面内容却能动态更新的情况。这通常意味着网站通过JavaScript执行异步请求（如AJAX）来加载新数据，而不是通过传统的页面跳转。对于分页功能，这通常表现为：

URL不变：无论点击哪一页，浏览器地址栏中的URL始终是同一个。
内容更新：页面的表格、列表等区域内容会随之变化。
POST请求：通过浏览器开发者工具（Network Tab）观察，会发现每次翻页时都发送了一个POST请求，而不是GET请求。这个POST请求会携带一些表单数据（Form Data），其中包含了当前页码、排序方式等关键信息。

最初尝试使用requests.get和pd.read_html时，由于requests.get只获取了初始页面的内容，且没有模拟后续的POST请求，因此无法获取到其他页的数据。解决此问题的关键在于模拟这些POST请求，并正确构造其携带的表单数据。

识别POST请求与表单数据

要成功模拟分页，首先需要识别出网站在翻页时发送的POST请求以及其Form Data。以下是操作步骤：

立即学习“Python免费学习笔记（深入）”；

打开目标网页：在浏览器中打开目标网站，例如：https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview。
打开开发者工具：按下F12键（或右键点击页面 -> 检查），打开浏览器的开发者工具。
切换到“网络”（Network）选项卡：确保该选项卡处于激活状态。
执行分页操作：在网页上点击下一页按钮，观察“网络”选项卡中新出现的请求。
检查POST请求：找到一个通常是XHR（XMLHttpRequest）类型的POST请求，其URL与当前页面URL相似或相同。
查看请求载荷（Payload）：点击该POST请求，查看其“Payload”或“Form Data”部分。这里会列出所有随请求发送的键值对。通常会有一个参数用于表示页码，例如pageNum、page等。

通过上述步骤，我们可以发现该网站在翻页时发送的是POST请求，并且其表单数据中包含pageNum等关键字段。

SpeakingPass-打造你的专属雅思口语语料

使用chatGPT帮你快速备考雅思口语，提升分数

查看详情

使用Python模拟POST请求进行数据抓取

识别了POST请求和其表单数据后，我们就可以使用Python的requests库来模拟这些请求，并通过BeautifulSoup解析返回的HTML内容。

1. 导入必要的库

import requests
import pandas as pd
from bs4 import BeautifulSoup

登录后复制

2. 定义请求URL和初始表单数据

根据开发者工具中观察到的信息，定义目标URL和POST请求所需的表单数据。pageNum是我们需要在循环中修改的参数。

url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"

# 从开发者工具的Network -> Payload中获取的表单数据
data = {
    "folder": "auctionResults",
    "loginID": "00",
    "pageNum": "1",  # 初始页码，后续会在循环中修改
    "orderBy": "AdvNum",
    "orderDir": "asc",
    "justFirstCertOnGroups": "1",
    "doSearch": "true",
    "itemIDList": "",
    "itemSetIDList": "",
    "interest": "",
    "premium": "",
    "itemSetDID": "",
}

登录后复制

3. 循环发送POST请求并解析数据

我们将遍历所需的页码范围，在每次循环中更新data字典中的pageNum，然后发送POST请求。获取到响应内容后，使用BeautifulSoup解析HTML，提取表格数据。

all_data = [] # 用于存储所有页面的数据

# 假设我们需要抓取前N页数据，这里以抓取前2页为例 (range(1, 3)表示页码1和2)
# 请根据实际需求修改循环范围
for page_num in range(1, 3):
    data["pageNum"] = str(page_num) # 更新页码参数

    # 发送POST请求
    response = requests.post(url, data=data)

    # 检查请求是否成功
    if response.status_code == 200:
        soup = BeautifulSoup(response.content, "html.parser")

        # 查找包含数据的表格行。根据网页结构，数据行通常在id为'searchResults'的表格中，
        # 并跳过前两行（通常是表头和不相关行）。
        # 请根据实际网页的HTML结构调整选择器。
        for row in soup.select("#searchResults tr")[2:]:
            tds = [td.text.strip() for td in row.select("td")]
            all_data.append(tds)
    else:
        print(f"请求第 {page_num} 页失败，状态码: {response.status_code}")

登录后复制

4. 将数据整理成Pandas DataFrame

抓取到的数据以列表的列表形式存储在all_data中。我们可以定义列名，然后将其转换为Pandas DataFrame，以便于后续的数据分析和处理。

# 定义DataFrame的列名，根据网页表格的实际列数和内容调整
columns = [
    "SEQ NUM",
    "Tax Year",
    "Notices",
    "Parcel ID",
    "Face Amount",
    "Winning Bid",
    "Sold To",
]

df = pd.DataFrame(all_data, columns=columns)

# 打印DataFrame的最后10行，验证数据
print(df.tail(10).to_markdown(index=False)) # index=False可以避免打印DataFrame的索引

登录后复制

完整示例代码

import requests
import pandas as pd
from bs4 import BeautifulSoup

# 定义请求URL
url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"

# 从浏览器开发者工具的Network -> Payload中获取的表单数据
# 这些参数是网站用于处理分页和过滤的关键信息
data = {
    "folder": "auctionResults",
    "loginID": "00",
    "pageNum": "1",  # 初始页码，将在循环中动态更新
    "orderBy": "AdvNum",
    "orderDir": "asc",
    "justFirstCertOnGroups": "1",
    "doSearch": "true",
    "itemIDList": "",
    "itemSetIDList": "",
    "interest": "",
    "premium": "",
    "itemSetDID": "",
}

all_data = [] # 用于存储从所有页面抓取到的数据

# 循环遍历页码。例如，range(1, 3) 将抓取第1页和第2页。
# 如果需要抓取所有3000个数据点，需要根据网站实际总页数调整循环范围。
# 可以先抓取一页，找到总页数信息，或者设置一个较大的上限。
for page_num in range(1, 3):  # 示例：抓取前两页
    data["pageNum"] = str(page_num) # 更新POST请求中的页码参数

    try:
        # 发送POST请求，携带更新后的表单数据
        response = requests.post(url, data=data)
        response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出异常

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(response.content, "html.parser")

        # 定位到包含数据行的表格。
        # 这里使用CSS选择器`#searchResults tr`来选择id为'searchResults'元素下的所有`tr`标签。
        # `[2:]`表示跳过前两行，因为它们通常是表头或其他非数据行。
        for row in soup.select("#searchResults tr")[2:]:
            # 提取每行中的所有`td`标签的文本内容，并去除首尾空格
            tds = [td.text.strip() for td in row.select("td")]
            all_data.append(tds)

    except requests.exceptions.RequestException as e:
        print(f"请求第 {page_num} 页时发生错误: {e}")
        continue # 继续尝试下一页

# 定义DataFrame的列名，与网页表格的列对应
columns = [
    "SEQ NUM",
    "Tax Year",
    "Notices",
    "Parcel ID",
    "Face Amount",
    "Winning Bid",
    "Sold To",
]

# 将收集到的数据转换为Pandas DataFrame
df = pd.DataFrame(all_data, columns=columns)

# 打印DataFrame的最后10行，用于验证数据抓取结果
print("抓取到的数据（最后10行）:")
print(df.tail(10).to_markdown(index=False))

# 示例输出（与原问题答案一致）
# | SEQ NUM | Tax Year | Notices | Parcel ID | Face Amount | Winning Bid | Sold To |
# |---------|----------|---------|-----------|-------------|-------------|---------|
# | 000094  | 2020     |         | 00031-18-001-000 | $905.98     | $81.00      | 00005517 |
# | 000095  | 2020     |         | 00031-18-002-000 | $750.13     | $75.00      | 00005517 |
# | 000096  | 2020     |         | 00031-18-003-000 | $750.13     | $75.00      | 00005517 |
# | 000097  | 2020     |         | 00031-18-004-000 | $750.13     | $75.00      | 00005517 |
# | 000098  | 2020     |         | 00031-18-007-000 | $750.13     | $76.00      | 00005517 |
# | 000099  | 2020     |         | 00031-18-008-000 | $905.98     | $84.00      | 00005517 |
# | 000100  | 2020     |         | 00031-19-001-000 | $1,999.83   | $171.00     | 00005517 |
# | 000101  | 2020     |         | 00031-19-004-000 | $1,486.49   | $131.00     | 00005517 |
# | 000102  | 2020     |         | 00031-19-006-000 | $1,063.44   | $96.00      | 00005517 |
# | 000103  | 2020     |         | 00031-20-001-000 | $1,468.47   | $126.00     | 00005517 |

登录后复制

注意事项与总结

动态页码范围：示例代码中的range(1, 3)仅抓取了前两页。在实际应用中，您可能需要找到网站显示的总页数，或者通过循环抓取直到页面返回空数据或重复数据来确定结束条件。

User-Agent：为了更好地模拟浏览器行为，建议在requests.post请求中添加User-Agent头信息。

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.post(url, data=data, headers=headers)

登录后复制

错误处理：在实际的爬虫项目中，务必加入健壮的错误处理机制，例如try-except块来捕获网络请求失败、解析错误等异常。
爬取频率：请务必遵守网站的robots.txt协议，并控制爬取频率，避免对目标网站造成过大压力，甚至导致IP被封禁。可以使用time.sleep()在请求之间增加延迟。
HTML结构变化：网站的HTML结构可能会更新，导致BeautifulSoup的选择器失效。因此，定期检查并调整选择器是必要的。
Cookies和Session：某些网站可能需要维护会话（Session）或发送特定的Cookies。如果遇到登录或需要保持状态的情况，可能需要使用requests.Session()对象。

通过上述方法，即使面对URL保持静态的动态分页网站，我们也能利用Python的requests和BeautifulSoup库，结合对POST请求的理解，成功地抓取到所需的多页数据。这种方法对于处理许多现代Web应用中的动态内容加载场景都非常有效。

以上就是使用Python抓取静态URL分页数据的策略的详细内容，更多请关注php中文网其它相关文章！