当网页的URL在切换页面时保持不变，传统的基于URL参数递增的爬取方法将失效。本文将详细介绍如何识别并利用POST请求及其携带的表单数据来模拟分页操作，从而成功抓取这类动态加载的数据。我们将使用requests库发送POST请求，结合BeautifulSoup进行HTML解析，并最终利用pandas整理数据，实现高效、稳定的多页数据抓取。
理解静态URL下的动态分页
在进行网页数据抓取时，我们经常会遇到URL在页面之间保持不变，但页面内容却能动态更新的情况。这通常意味着网站通过JavaScript执行异步请求（如AJAX）来加载新数据，而不是通过传统的页面跳转。对于分页功能，这通常表现为：
- URL不变：无论点击哪一页，浏览器地址栏中的URL始终是同一个。
- 内容更新：页面的表格、列表等区域内容会随之变化。
- POST请求：通过浏览器开发者工具（Network Tab）观察，会发现每次翻页时都发送了一个POST请求，而不是GET请求。这个POST请求会携带一些表单数据（Form Data），其中包含了当前页码、排序方式等关键信息。
最初尝试使用requests.get和pd.read_html时，由于requests.get只获取了初始页面的内容，且没有模拟后续的POST请求，因此无法获取到其他页的数据。解决此问题的关键在于模拟这些POST请求，并正确构造其携带的表单数据。
识别POST请求与表单数据
要成功模拟分页，首先需要识别出网站在翻页时发送的POST请求以及其Form Data。以下是操作步骤：
立即学习“Python免费学习笔记（深入）”；
- 打开目标网页：在浏览器中打开目标网站，例如：https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview。
- 打开开发者工具：按下F12键（或右键点击页面 -> 检查），打开浏览器的开发者工具。
- 切换到“网络”（Network）选项卡：确保该选项卡处于激活状态。
- 执行分页操作：在网页上点击下一页按钮，观察“网络”选项卡中新出现的请求。
- 检查POST请求：找到一个通常是XHR（XMLHttpRequest）类型的POST请求，其URL与当前页面URL相似或相同。
- 查看请求载荷（Payload）：点击该POST请求，查看其“Payload”或“Form Data”部分。这里会列出所有随请求发送的键值对。通常会有一个参数用于表示页码，例如pageNum、page等。
通过上述步骤，我们可以发现该网站在翻页时发送的是POST请求，并且其表单数据中包含pageNum等关键字段。
SUN2008 企业网站管理系统2.0 beta
下载
1、数据调用该功能使界面与程序分离实施变得更加容易，美工无需任何编程基础即可完成数据调用操作。2、交互设计该功能可以方便的为栏目提供个性化性息功能及交互功能，为产品栏目添加产品颜色尺寸等属性或简单的留言和订单功能无需另外开发模块。3、静态生成触发式静态生成。4、友好URL设置网页路径变得更加友好5、多语言设计1)UTF8国际编码; 2)理论上可以承担一个任意多语言的网站版本。6、缓存机制减轻服务器
使用Python模拟POST请求进行数据抓取
识别了POST请求和其表单数据后，我们就可以使用Python的requests库来模拟这些请求，并通过BeautifulSoup解析返回的HTML内容。
1. 导入必要的库
import requests import pandas as pd from bs4 import BeautifulSoup
2. 定义请求URL和初始表单数据
根据开发者工具中观察到的信息，定义目标URL和POST请求所需的表单数据。pageNum是我们需要在循环中修改的参数。
url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"
# 从开发者工具的Network -> Payload中获取的表单数据
data = {
"folder": "auctionResults",
"loginID": "00",
"pageNum": "1", # 初始页码，后续会在循环中修改
"orderBy": "AdvNum",
"orderDir": "asc",
"justFirstCertOnGroups": "1",
"doSearch": "true",
"itemIDList": "",
"itemSetIDList": "",
"interest": "",
"premium": "",
"itemSetDID": "",
}3. 循环发送POST请求并解析数据
我们将遍历所需的页码范围，在每次循环中更新data字典中的pageNum，然后发送POST请求。获取到响应内容后，使用BeautifulSoup解析HTML，提取表格数据。
all_data = [] # 用于存储所有页面的数据
# 假设我们需要抓取前N页数据，这里以抓取前2页为例 (range(1, 3)表示页码1和2)
# 请根据实际需求修改循环范围
for page_num in range(1, 3):
data["pageNum"] = str(page_num) # 更新页码参数
# 发送POST请求
response = requests.post(url, data=data)
# 检查请求是否成功
if response.status_code == 200:
soup = BeautifulSoup(response.content, "html.parser")
# 查找包含数据的表格行。根据网页结构，数据行通常在id为'searchResults'的表格中，
# 并跳过前两行（通常是表头和不相关行）。
# 请根据实际网页的HTML结构调整选择器。
for row in soup.select("#searchResults tr")[2:]:
tds = [td.text.strip() for td in row.select("td")]
all_data.append(tds)
else:
print(f"请求第 {page_num} 页失败，状态码: {response.status_code}")
4. 将数据整理成Pandas DataFrame
抓取到的数据以列表的列表形式存储在all_data中。我们可以定义列名，然后将其转换为Pandas DataFrame，以便于后续的数据分析和处理。
# 定义DataFrame的列名，根据网页表格的实际列数和内容调整
columns = [
"SEQ NUM",
"Tax Year",
"Notices",
"Parcel ID",
"Face Amount",
"Winning Bid",
"Sold To",
]
df = pd.DataFrame(all_data, columns=columns)
# 打印DataFrame的最后10行，验证数据
print(df.tail(10).to_markdown(index=False)) # index=False可以避免打印DataFrame的索引完整示例代码
import requests
import pandas as pd
from bs4 import BeautifulSoup
# 定义请求URL
url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"
# 从浏览器开发者工具的Network -> Payload中获取的表单数据
# 这些参数是网站用于处理分页和过滤的关键信息
data = {
"folder": "auctionResults",
"loginID": "00",
"pageNum": "1", # 初始页码，将在循环中动态更新
"orderBy": "AdvNum",
"orderDir": "asc",
"justFirstCertOnGroups": "1",
"doSearch": "true",
"itemIDList": "",
"itemSetIDList": "",
"interest": "",
"premium": "",
"itemSetDID": "",
}
all_data = [] # 用于存储从所有页面抓取到的数据
# 循环遍历页码。例如，range(1, 3) 将抓取第1页和第2页。
# 如果需要抓取所有3000个数据点，需要根据网站实际总页数调整循环范围。
# 可以先抓取一页，找到总页数信息，或者设置一个较大的上限。
for page_num in range(1, 3): # 示例：抓取前两页
data["pageNum"] = str(page_num) # 更新POST请求中的页码参数
try:
# 发送POST请求，携带更新后的表单数据
response = requests.post(url, data=data)
response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出异常
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, "html.parser")
# 定位到包含数据行的表格。
# 这里使用CSS选择器`#searchResults tr`来选择id为'searchResults'元素下的所有`tr`标签。
# `[2:]`表示跳过前两行，因为它们通常是表头或其他非数据行。
for row in soup.select("#searchResults tr")[2:]:
# 提取每行中的所有`td`标签的文本内容，并去除首尾空格
tds = [td.text.strip() for td in row.select("td")]
all_data.append(tds)
except requests.exceptions.RequestException as e:
print(f"请求第 {page_num} 页时发生错误: {e}")
continue # 继续尝试下一页
# 定义DataFrame的列名，与网页表格的列对应
columns = [
"SEQ NUM",
"Tax Year",
"Notices",
"Parcel ID",
"Face Amount",
"Winning Bid",
"Sold To",
]
# 将收集到的数据转换为Pandas DataFrame
df = pd.DataFrame(all_data, columns=columns)
# 打印DataFrame的最后10行，用于验证数据抓取结果
print("抓取到的数据（最后10行）:")
print(df.tail(10).to_markdown(index=False))
# 示例输出（与原问题答案一致）
# | SEQ NUM | Tax Year | Notices | Parcel ID | Face Amount | Winning Bid | Sold To |
# |---------|----------|---------|-----------|-------------|-------------|---------|
# | 000094 | 2020 | | 00031-18-001-000 | $905.98 | $81.00 | 00005517 |
# | 000095 | 2020 | | 00031-18-002-000 | $750.13 | $75.00 | 00005517 |
# | 000096 | 2020 | | 00031-18-003-000 | $750.13 | $75.00 | 00005517 |
# | 000097 | 2020 | | 00031-18-004-000 | $750.13 | $75.00 | 00005517 |
# | 000098 | 2020 | | 00031-18-007-000 | $750.13 | $76.00 | 00005517 |
# | 000099 | 2020 | | 00031-18-008-000 | $905.98 | $84.00 | 00005517 |
# | 000100 | 2020 | | 00031-19-001-000 | $1,999.83 | $171.00 | 00005517 |
# | 000101 | 2020 | | 00031-19-004-000 | $1,486.49 | $131.00 | 00005517 |
# | 000102 | 2020 | | 00031-19-006-000 | $1,063.44 | $96.00 | 00005517 |
# | 000103 | 2020 | | 00031-20-001-000 | $1,468.47 | $126.00 | 00005517 |注意事项与总结
- 动态页码范围：示例代码中的range(1, 3)仅抓取了前两页。在实际应用中，您可能需要找到网站显示的总页数，或者通过循环抓取直到页面返回空数据或重复数据来确定结束条件。
-
User-Agent：为了更好地模拟浏览器行为，建议在requests.post请求中添加User-Agent头信息。
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36" } response = requests.post(url, data=data, headers=headers) - 错误处理：在实际的爬虫项目中，务必加入健壮的错误处理机制，例如try-except块来捕获网络请求失败、解析错误等异常。
- 爬取频率：请务必遵守网站的robots.txt协议，并控制爬取频率，避免对目标网站造成过大压力，甚至导致IP被封禁。可以使用time.sleep()在请求之间增加延迟。
- HTML结构变化：网站的HTML结构可能会更新，导致BeautifulSoup的选择器失效。因此，定期检查并调整选择器是必要的。
- Cookies和Session：某些网站可能需要维护会话（Session）或发送特定的Cookies。如果遇到登录或需要保持状态的情况，可能需要使用requests.Session()对象。
通过上述方法，即使面对URL保持静态的动态分页网站，我们也能利用Python的requests和BeautifulSoup库，结合对POST请求的理解，成功地抓取到所需的多页数据。这种方法对于处理许多现代Web应用中的动态内容加载场景都非常有效。
