高效网页数据抓取：利用JSON API获取动态分页数据

import requests
import json # 引入json库，虽然在此示例中直接处理，但解析复杂JSON时很有用
import time # 引入time库，用于添加请求间隔，避免速率限制

# 定义基础API URL
BASE_API_URL = 'https://www.racingpost.com/bloodstock/sales/catalogues/5/2023-12-04/data.json'

print("--- 开始通过API获取数据 ---")

try:
    # 步骤1: 获取分页元数据
    # 第一次请求不带page参数，通常会返回包含总页数等信息的元数据
    print("正在获取分页元数据...")
    metadata_response = requests.get(BASE_API_URL)
    metadata_response.raise_for_status() # 检查HTTP请求是否成功（状态码200）
    page_metadata = metadata_response.json()

    # 从元数据中提取总页数
    total_pages = page_metadata['pagination']['totalPages']
    print(f"检测到总页数: {total_pages}")

    all_scraped_data = [] # 用于存储所有页的数据

    # 步骤2: 遍历所有页面并抓取数据
    for page_num in range(1, total_pages + 1):
        print(f"正在抓取第 {page_num}/{total_pages} 页数据...")
        # 构造带分页参数的请求
        # 注意：API通常通过URL参数（如'page'、'offset'、'limit'）来控制分页
        response = requests.get(BASE_API_URL, params={'page': str(page_num)})
        response.raise_for_status() # 检查HTTP请求是否成功

        # 解析JSON响应，提取实际的数据行
        # 使用.get()方法访问字典键，可以避免KeyError，并提供默认值[]
        current_page_data = response.json().get('rows', [])
        all_scraped_data.extend(current_page_data)

        # 建议：为了避免对服务器造成过大压力或触发速率限制，可以在每次请求后添加短暂延迟
        time.sleep(0.5) # 暂停0.5秒

    print(f"--- 数据抓取完成！共获取 {len(all_scraped_data)} 条数据。---")

    # 示例：打印部分抓取到的数据
    if all_scraped_data:
        print("\n部分抓取数据示例 (前5条):")
        for i, item in enumerate(all_scraped_data[:5]):
            print(f"数据 {i+1}: {json.dumps(item, indent=2, ensure_ascii=False)}") # 使用json.dumps美化输出
    else:
        print("未获取到任何数据。")

except requests.exceptions.RequestException as e:
    print(f"网络请求错误: {e}")
except KeyError as e:
    print(f"JSON解析错误，缺少关键键: {e}。请检查API响应结构是否符合预期。")
except json.JSONDecodeError as e:
    print(f"JSON解码错误: {e}。API响应可能不是有效的JSON格式。")
except Exception as e:
    print(f"发生未知错误: {e}")