深入解析：从动态加载网页中高效抓取数据

from bs4 import BeautifulSoup as BS
import requests
import re

url = 'https://www.racingpost.com/bloodstock/sales/catalogues/5/2023-12-04'
res = requests.get(url)
print(f"HTTP Status Code: {res.status_code}")

soup = BS(res.content, "html.parser")

# 尝试从初始HTML中提取数据，可能只获得部分内容
# string = str(soup.find_all("script", type="text/javascript")[1])
# raw_data = re.findall(r'\{"lot(.*?)\}', string)
# print(f"通过初始HTML解析到的数据条数: {len(raw_data)}")
# 此时，len(raw_data)通常远小于页面实际的总数据量

import requests
import json # 导入json库以便更好地处理数据

# 定义基础URL和数据API路径
base_url = 'https://www.racingpost.com/bloodstock/sales/catalogues/5/2023-12-04'
data_api_url = f'{base_url}/data.json'

# 1. 获取分页元数据
try:
    page_metadata_response = requests.get(data_api_url)
    page_metadata_response.raise_for_status() # 检查HTTP请求是否成功
    page_metadata = page_metadata_response.json()

    # 提取总页数
    total_pages = page_metadata['pagination']['totalPages']
    print(f"发现总页数: {total_pages}")

    all_data = [] # 用于存储所有页的数据

    # 2. 遍历所有页，抓取数据
    for page in range(1, total_pages + 1):
        print(f"正在抓取第 {page}/{total_pages} 页数据...")
        # 发送带分页参数的请求
        response = requests.get(data_api_url, params={'page': str(page)})
        response.raise_for_status() # 检查HTTP请求是否成功

        # 解析JSON响应，提取'rows'字段的数据
        page_data = response.json()['rows']
        all_data.extend(page_data) # 将当前页数据添加到总列表中

        # 可以在此处添加延迟，防止请求过快被封禁
        # import time
        # time.sleep(0.5) 

    print(f"\n成功抓取到总计 {len(all_data)} 条数据。")
    # 打印前几条数据作为示例
    if all_data:
        print("部分抓取到的数据示例:")
        for i, item in enumerate(all_data[:5]): # 打印前5条
            print(f"  数据 {i+1}: {item}")

    # 可以将数据保存到文件
    # with open('racingpost_data.json', 'w', encoding='utf-8') as f:
    #     json.dump(all_data, f, ensure_ascii=False, indent=4)
    # print("数据已保存到 racingpost_data.json")

except requests.exceptions.RequestException as e:
    print(f"请求发生错误: {e}")
except KeyError as e:
    print(f"JSON解析错误，键不存在: {e}. 响应内容可能不符合预期。")
    print(f"原始响应内容: {page_metadata_response.text if 'page_metadata_response' in locals() else response.text}")
except json.JSONDecodeError as e:
    print(f"JSON解码错误: {e}. 响应内容可能不是有效的JSON。")
    print(f"原始响应内容: {page_metadata_response.text if 'page_metadata_response' in locals() else response.text}")