Python网络爬虫：处理URL不变的分页数据抓取

import requests
import pandas as pd
from bs4 import BeautifulSoup
import time # 建议引入，用于控制请求间隔

data = {
    "folder": "auctionResults",
    "loginID": "00",
    "pageNum": "1", # 关键参数，用于控制页码
    "orderBy": "AdvNum",
    "orderDir": "asc",
    "justFirstCertOnGroups": "1",
    "doSearch": "true",
    "itemIDList": "",
    "itemSetIDList": "",
    "interest": "",
    "premium": "",
    "itemSetDID": "",
}

url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"

all_data = [] # 用于存储所有页面的数据

# 假设我们需要抓取前N页数据，这里以3页为例，实际应根据总页数调整
# 注意：网站可能没有直接显示总页数，可能需要通过抓取一页数据后解析出总记录数再计算，
# 或者设置一个较大的循环次数直到不再返回新数据为止。
for page_num in range(1, 3): # <-- 增加循环次数以获取更多页面
    data["pageNum"] = str(page_num) # 更新页码参数

    # 发送POST请求
    response = requests.post(url, data=data)

    # 检查请求是否成功
    if response.status_code == 200:
        soup = BeautifulSoup(response.content, "html.parser")

        # 定位数据表格，根据页面HTML结构，数据通常在特定的ID或Class的表格中
        # 示例中，数据在id为"searchResults"的表格中，且前两行是表头
        for row in soup.select("#searchResults tr")[2:]: 
            tds = [td.text.strip() for td in row.select("td")]
            all_data.append(tds)
    else:
        print(f"请求第 {page_num} 页失败，状态码: {response.status_code}")

    time.sleep(1) # 建议增加延迟，避免请求过快被服务器屏蔽

# 定义列名，确保与网页表格的列顺序一致
columns = [
    "SEQ NUM",
    "Tax Year",
    "Notices",
    "Parcel ID",
    "Face Amount",
    "Winning Bid",
    "Sold To",
]

df = pd.DataFrame(all_data, columns=columns)

# 打印DataFrame的最后10条数据进行验证
print(df.tail(10).to_markdown(index=False)) # index=False 避免打印DataFrame索引

import requests
import pandas as pd
from bs4 import BeautifulSoup
import time

# 目标URL，即使翻页也不会改变
url = "https://denver.coloradotaxsale.com/index.cfm?folder=auctionResults&mode=preview"

# POST请求的表单数据模板
# 这些参数通过浏览器开发者工具分析得到
data = {
    "folder": "auctionResults",
    "loginID": "00",
    "pageNum": "1", # 关键参数，会在循环中更新
    "orderBy": "AdvNum",
    "orderDir": "asc",
    "justFirstCertOnGroups": "1",
    "doSearch": "true",
    "itemIDList": "",
    "itemSetIDList": "",
    "interest": "",
    "premium": "",
    "itemSetDID": "",
}

all_data = [] # 用于存储从所有页面抓取到的数据

# 假设网站有N页数据，这里以抓取前2页为例。
# 实际应用中，你需要根据网站的实际总页数或通过其他方式判断何时停止。
# 例如，可以尝试抓取一页，解析出总记录数或总页码，再进行循环。
# 或者，可以循环到一个较大的页码，如果返回的数据为空或与上一页重复，则停止。
for page_num in range(1, 3):  # 示例：抓取第1页和第2页
    data["pageNum"] = str(page_num) # 更新当前请求的页码

    try:
        # 发送POST请求，附带更新后的表单数据
        response = requests.post(url, data=data)
        response.raise_for_status()  # 检查HTTP请求是否成功，如果失败则抛出异常

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(response.content, "html.parser")

        # 查找包含数据的表格行。根据HTML结构，#searchResults是表格的ID，
        # tr是行，[2:]表示跳过前两行（通常是表头）
        for row in soup.select("#searchResults tr")[2:]:
            tds = [td.text.strip() for td in row.select("td")]
            all_data.append(tds)

        print(f"成功抓取第 {page_num} 页数据。")

    except requests.exceptions.RequestException as e:
        print(f"请求第 {page_num} 页时发生错误: {e}")
    except Exception as e:
        print(f"解析第 {page_num} 页数据时发生错误: {e}")

    time.sleep(1) # 每次请求后暂停1秒，避免对服务器造成过大压力

# 定义DataFrame的列名，与网页表格的列对应
columns = [
    "SEQ NUM",
    "Tax Year",
    "Notices",
    "Parcel ID",
    "Face Amount",
    "Winning Bid",
    "Sold To",
]

# 将抓取到的所有数据转换为Pandas DataFrame
df = pd.DataFrame(all_data, columns=columns)

# 打印DataFrame的最后10行数据进行验证
print("\n--- 抓取到的数据（最后10行）---")
print(df.tail(10).to_markdown(index=False))