应对动态网页抓取挑战：通过内部API获取稳定HTML数据

引言：动态网页抓取中的HTML结构不一致问题

在进行网页抓取（web scraping）时，开发者经常会遇到一个棘手的问题：同一个url在不同时间或不同请求方式下，返回的html结构可能大相径庭。这通常发生在目标网站采用现代前端技术，如单页应用（spa）或大量依赖javascript进行内容渲染时。当爬虫直接使用http请求库（如python的requests）访问这类页面时，它可能只会获取到初始的、未经过javascript渲染的html骨架，或者是一个指示加载失败、错误信息的页面，而非用户在浏览器中看到的完整内容。

例如，在抓取IBM文档网站的特定页面时，我们观察到两种截然不同的HTML响应：一种是包含所需表格数据的预期结构，另一种则是一个充斥着JavaScript翻译字符串（如"error.sorryText"）的错误或加载中页面，其中不包含任何目标数据。这种不一致性严重阻碍了爬虫的稳定运行，并导致数据提取失败。

问题分析：隐藏在表象之下的真实数据源

直接使用requests.get()获取到的不完整或错误HTML，通常是以下几种情况的体现：

1. 客户端渲染（Client-Side Rendering, CSR）： 页面内容主要由浏览器执行JavaScript后动态生成。requests库无法执行JavaScript，因此只能获取到原始的HTML骨架。
2. API驱动的内容： 网站通过内部API获取数据，然后JavaScript将这些数据填充到HTML模板中。直接访问初始URL可能只会返回一个加载器或空白模板。
3. 重定向或错误处理： 初始请求可能触发内部重定向，或者在某些条件下（如缺少必要的参数、User-Agent不匹配等）返回错误页面。

在本例中，出现大量"error.sorryText"等JavaScript翻译字符串的HTML，强烈暗示了页面内容是通过JavaScript动态加载的，并且在某些情况下，前端渲染过程未能成功完成，导致返回了错误提示信息。这意味着我们所需的数据并非直接嵌入在初始HTML中，而是通过某种后端API接口提供。

解决方案核心：发现并利用内部API

解决这类问题的关键在于绕过复杂的前端渲染逻辑，直接与网站的后端API进行交互。许多现代网站，尤其是内容管理系统，都会通过内部API提供结构化的数据。通过模拟浏览器行为，识别并直接请求这些API，我们可以获取到稳定、纯净的数据，而无需处理前端渲染的复杂性。

立即学习“前端免费学习笔记（深入）”；

如何发现这些内部API？最常用的方法是使用浏览器的开发者工具（通常通过F12键打开），在“网络”（Network）选项卡中监控页面加载时发出的所有HTTP请求。通过分析这些请求的URL、请求方法、参数和响应内容，通常可以找到承载目标数据的API接口。

对于IBM文档的案例，即便没有直接通过开发者工具分析，我们也可以从“不预期”的HTML响应中找到线索。响应文本中包含的"oldUrl":"(.*?)"模式，暗示了一个内部URL路径，这很可能是实际内容API的入口。

实战：稳定抓取IBM文档表格数据

我们将使用httpx进行异步HTTP请求，re进行正则表达式匹配，以及pandas进行高效的HTML表格解析。

Thiings

免费的拟物化图标库

下载

环境准备与工具选择

• httpx: 一个现代化的、支持异步请求的HTTP客户端。相比于requests，它在处理并发请求时更具优势，并且API设计更贴近现代Python实践。
• trio: 一个友好的、并发和I/O库，用于运行异步代码。
• re: Python内置的正则表达式模块，用于从文本中提取特定模式。
• pandas: 强大的数据分析库，其read_html函数能够直接从HTML字符串或文件解析表格数据，极大简化了表格抓取过程。

首先，确保安装了所有必要的库：

pip install httpx trio pandas

步骤一：首次请求与API路径提取

我们首先向原始URL发送一个HTTP GET请求。关键在于，即使这个请求返回的是“不预期”的HTML，我们也要仔细检查其内容，寻找指向实际数据API的线索。在本例中，我们发现了一个"oldUrl":"(.*?)"的模式，它包含了指向实际内容API的相对路径。

import httpx
import trio
import re
import pandas as pd

# 模拟浏览器User-Agent，有助于避免被网站识别为爬虫
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/113.0'
}

async def fetch_table_data(identifier: str):
    """
    异步获取指定标识符的表格数据。
    """
    async with httpx.AsyncClient(headers=headers, base_url='https://www.ibm.com/docs') as client:
        # 1. 首次请求原始URL，获取包含API路径的初始HTML
        initial_url_path = f'en/imdm/12.0'
        params_initial = {'topic': f'tables-{identifier}'} # 使用动态标识符构建参数

        try:
            r_initial = await client.get(initial_url_path, params=params_initial)
            r_initial.raise_for_status() # 检查HTTP状态码

            # 2. 从初始响应中提取实际内容API的路径
            # 注意：这里假设"oldUrl"模式是稳定的。实际应用中可能需要更复杂的解析
            match = re.search(r'"oldUrl":"(.*?)"', r_initial.text)
            if not match:
                print(f"警告: 未在 {identifier} 的初始响应中找到 'oldUrl'。跳过。")
                return pd.DataFrame() # 返回空DataFrame

            relative_api_path = match.group(1)

            # 3. 构建完整的API URL
            # 例如：api/v1/content/en/imdm/12.0?topic=t-accessdateval
            api_endpoint_path = "api/v1/content/" + relative_api_path

            # 4. 请求内部API获取真实内容
            params_api = {
                'parsebody': 'true', # 可能指示API返回完整HTML体
                'lang': 'en'         # 指定语言
            }
            r_api = await client.get(api_endpoint_path, params=params_api)
            r_api.raise_for_status() # 检查HTTP状态码

            # 5. 使用pandas直接解析API响应中的HTML表格
            # 寻找class为'defaultstyle'的表格
            df_list = pd.read_html(r_api.content, attrs={'class': 'defaultstyle'})
            if not df_list:
                print(f"警告: 未在 {identifier} 的API响应中找到指定表格。")
                return pd.DataFrame()

            df = df_list[0]

            # 假设我们需要从原始页面的结构中获取 Table 名称和 Description
            # 这部分可能需要重新评估，因为API响应可能直接包含这些信息或需要从其他地方获取
            # 对于本示例，我们简化为只获取表格数据

            # 如果需要 Table 名称和 Description，可能需要从 API 响应的其他部分解析
            # 或者在原始请求的BeautifulSoup解析中获取，但前提是原始请求返回的是预期HTML
            # 鉴于本教程主要解决HTML不一致问题，我们聚焦于稳定获取表格

            # 示例中原始代码有：
            # Table = soup.find("h1", class_="topictitle1").get_text(strip=True).strip()
            # description = soup.find('p', class_='shortdesc').get_text(strip=True)
            # 我们可以尝试从r_api.text中用BeautifulSoup解析这些信息
            soup_api = BeautifulSoup(r_api.text, "html.parser")
            table_name_element = soup_api.find("h1", class_="topictitle1")
            description_element = soup_api.find('p', class_='shortdesc')

            table_name = table_name_element.get_text(strip=True) if table_name_element else ""
            description = description_element.get_text(strip=True) if description_element else ""

            # 将这些信息添加到DataFrame中
            df.insert(0, "Table", table_name)
            df["Description"] = description

            # 原始代码中的 feature_list 处理，这里简化，如果需要可以进一步从soup_api中提取
            # div_element = soup_api.find('div', class_='p')
            # if div_element:
            #     a_elements = div_element.find_all('a')
            #     feature_list = [a.get_text(strip=True) for a in a_elements]
            #     for i, feature in enumerate(feature_list):
            #         df[f"Feature_{i+1}"] = feature

            return df

        except httpx.HTTPStatusError as e:
            print(f"HTTP错误获取 {identifier}: {e}")
            return pd.DataFrame()
        except httpx.RequestError as e:
            print(f"请求错误获取 {identifier}: {e}")
            return pd.DataFrame()
        except Exception as e:
            print(f"处理 {identifier} 时发生未知错误: {e}")
            return pd.DataFrame()

async def main():
    # 假设 'identifiers.csv' 包含一个名为 'Identifier' 的列
    # 例如：identifiers.csv 内容
    # Identifier
    # t-accessdateval
    # another_table_id
    df_identifiers = pd.read_csv('identifiers.csv')

    tasks = []
    for index, row in df_identifiers.iterrows():
        identifier = row['Identifier']
        tasks.append(fetch_table_data(identifier))

    results = await trio.gather(*tasks)

    # 合并所有结果
    df_combined = pd.concat(results, ignore_index=True)

    print(df_combined)
    # 保存到CSV
    df_combined.to_csv('combined_table_data_api.csv', index=False)

if __name__ == "__main__":
    trio.run(main)

步骤二：请求内部API获取真实内容

在提取到oldUrl后，我们将其与网站的基础API路径（/api/v1/content/）结合，构造出完整的API请求URL。同时，我们添加了parsebody=true和lang=en等参数，这些参数通常用于指示API返回完整的HTML内容或指定语言。

步骤三：高效解析表格数据

从API获取到的响应通常包含更稳定、更纯净的HTML。此时，pandas库的read_html函数便能大显身手。它能够直接从HTML内容中识别并解析表格，并将其转换为DataFrame对象，省去了手动使用BeautifulSoup遍历