从动态网页中高效提取表格数据：超越 pandas read_html 的方法

当 `pandas.read_html` 无法从网页中提取表格时，通常是由于表格内容通过 javascript 动态加载。本教程将指导您如何利用浏览器开发者工具识别后台数据请求，并使用 `requests` 库模拟这些 xhr 请求，直接获取原始 json 数据。随后，我们将这些数据转换为 `pandas.dataframe`，从而有效解决动态网页数据抓取难题，实现高效、稳定的数据提取。

深入理解 pandas.read_html 的局限性

pandas.read_html 是一个极其便捷的工具，能够从静态 HTML 页面中快速识别并提取表格数据。它通过解析 HTML 结构中的 <table> 标签来工作。然而，在现代 Web 开发中，许多网页的内容，特别是表格数据，并非直接嵌入在初始加载的 HTML 中。相反，它们通常通过 JavaScript 在页面加载完成后异步地从服务器请求（例如，使用 AJAX 或 XHR 请求）并动态渲染到 DOM 中。

在这种情况下，当您尝试使用 pd.read_html 访问一个包含动态加载表格的 URL 时，它只会看到初始的静态 HTML 骨架，而不会等待 JavaScript 执行并填充表格内容。因此，read_html 返回一个空列表是预期的行为，因为它在初始 HTML 中找不到任何 <table> 标签。

例如，对于以下代码，如果目标网页的表格是动态加载的，dfs 将会是一个空列表：

import pandas as pd
# 尝试使用 read_html 提取数据
dfs = pd.read_html("https://anex.us/grades/?dept=ENGR&number=102")
print(dfs) # 预期输出：[]

即使尝试使用 Selenium 等工具获取渲染后的 HTML，如果表格内容是通过独立的 API 请求获取并填充的，直接获取 outerHTML 也可能只得到一个空表格结构，因为数据本身并未被捕获。

立即学习“前端免费学习笔记（深入）”；

解决方案：模拟 XHR 请求直接获取数据

解决动态加载表格问题的关键在于绕过浏览器渲染过程，直接模拟页面在后台发出的数据请求。这通常涉及以下步骤：

飞书多维表格

表格形态的AI工作流搭建工具，支持批量化的AI创作与分析任务，接入DeepSeek R1满血版

26

查看详情

1. 使用浏览器开发者工具识别数据源

这是最关键的一步。大多数现代浏览器都提供了强大的开发者工具，可以帮助我们监控网络活动。

• 打开目标网页： 在浏览器中打开包含目标表格的网页（例如：https://anex.us/grades/?dept=ENGR&number=102）。
• 打开开发者工具： 通常通过按 F12 键或右键点击页面并选择“检查”/“检查元素”来打开。
• 切换到“网络”（Network）选项卡： 此选项卡会显示页面加载过程中所有的网络请求。
• 筛选 XHR/Fetch 请求： 为了更容易找到数据请求，可以筛选只显示 XHR 或 Fetch 类型的请求。这些通常是页面通过 JavaScript 异步获取数据的请求。
• 刷新页面或触发数据加载： 如果表格数据在页面加载时就出现，刷新页面会显示相关的请求。如果表格数据是用户交互（如点击按钮、选择下拉菜单）后才加载的，则需要执行相应操作。
• 分析请求： 仔细查看这些 XHR 请求。寻找那些返回 JSON 或其他结构化数据（如 CSV）的请求。
  • 请求 URL： 记录下实际发送数据请求的 URL。这通常与浏览器地址栏的 URL 不同。
  • 请求方法： 确定是 GET 还是 POST 请求。
  • 请求载荷（Payload/Form Data）： 如果是 POST 请求，查看其发送了哪些数据（例如，查询参数、表单数据）。这些数据通常是筛选条件，如示例中的 dept 和 number。
  • 响应预览（Response/Preview）： 检查服务器返回的数据格式，通常是 JSON。

通过分析示例网页，我们可以发现，当页面加载时，它向 https://anex.us/grades/getData/ 发送了一个 POST 请求，并带有 dept 和 number 参数。

2. 使用 requests 库模拟请求

一旦识别出数据源及其请求参数，我们就可以使用 Python 的 requests 库来模拟这个请求。

import requests
import pandas as pd

# 1. 确定数据接口 URL
url = 'https://anex.us/grades/getData/'

# 2. 构建请求载荷 (Payload)
# 这些参数是从浏览器开发者工具的 "Payload" 或 "Form Data" 中获取的
payload = {'dept': 'ENGR', 'number': '102'}

# 3. 设置请求头 (Headers)
# 模仿浏览器请求，特别是 User-Agent，可以避免某些网站的反爬虫机制
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'
}

# 4. 发送 POST 请求
# 使用 data 参数传递表单数据
response = requests.post(url, data=payload, headers=headers)

# 5. 检查响应状态码
if response.status_code == 200:
    # 6. 解析 JSON 响应
    # 大多数动态数据接口会返回 JSON 格式的数据
    data = response.json()

    # 7. 将 JSON 数据转换为 pandas DataFrame
    # 根据 JSON 结构，找到包含实际数据列表的键
    if 'classes' in data:
        df = pd.DataFrame(data['classes'])
        print(df)
    else:
        print("JSON 响应中未找到 'classes' 键。")
else:
    print(f"请求失败，状态码: {response.status_code}")
    print(response.text) # 打印响应内容以帮助调试

示例输出

运行上述代码，您将获得一个包含所需表格数据的 pandas.DataFrame：

     dept number section   A   B   C  D  F  I  S  U   Q  X           prof  year semester               gpa
0    ENGR    102      20  18  17   8  2  3  0  0  0   1  0        AMINI N  2018     FALL            2.9375
1    ENGR    102      21  18  31  15  4  1  0  0  0   0  0        KOOLA P  2018     FALL  2.88405797101449
2    ENGR    102      22  10  28  16  2  3  0  0  0   0  0         SHAW S  2018     FALL  2.67796610169492
3    ENGR    102      26   9  24  10  4  6  0  0  0   0  0  SUBRAMANIAN R  2018     FALL  2.49056603773585
4    ENGR    102     201  21  12   1  1  0  0  0  0   0  0         IJAZ M  2018     FALL  3.51428571428571
..    ...    ...     ...  ..  ..  .. .. .. .. .. ..  .. ..            ...   ...      ...               ...
486  ENGR    102     507  27  14   7  2  5  0  0  0  13  0         IJAZ M  2023   SPRING  3.01818181818182
487  ENGR    102     508  24   7  10  1  4  0  0  0   4  0         IJAZ M  2023   SPRING                 3
488  ENGR    102     540  12   3   2  1  0  0  0  0   0  0     ALVARADO L  2023   SPRING  3.44444444444444
489  ENGR    102     550   1   1   6  1  2  0  0  0   0  0        KOOLA P  2023   SPRING  1.81818181818182
490  ENGR    102     551   1   1   7  2  3  0  0  0   3  0    VILLAREAL S  2023   SPRING  1.64285714285714

[491 rows x 17 columns]

注意事项与最佳实践

• User-Agent： 在 headers 中设置 User-Agent 是一个好习惯，可以模拟浏览器请求，减少被网站识别为爬虫的风险。有些网站会检查 User-Agent。
• 请求方法： 确保使用正确的 HTTP 请求方法（GET 或 POST）。requests.get() 用于 GET 请求，requests.post() 用于 POST 请求。
• 数据格式： GET 请求的参数通常放在 URL 中或通过 params 参数传递；POST 请求的表单数据通过 data 参数传递，JSON 数据通过 json 参数传递。
• Cookies 和会话： 对于需要登录或维护会话状态的网站，可能需要使用 requests.Session() 对象来管理 Cookies。
• 错误处理： 始终检查 response.status_code 以确保请求成功，并处理可能的异常（如网络错误、JSON 解析失败）。
• 反爬虫机制： 某些网站有更复杂的反爬虫机制，例如验证码、IP 限制、JavaScript 混淆等。在这种情况下，可能需要结合使用 selenium 或更高级的代理池、打码平台等。
• 法律与道德： 在抓取任何网站数据之前，请务必查阅网站的 robots.txt 文件和使用条款。遵守网站规定，不要对服务器造成过大负担。

总结

当 pandas.read_html 无法满足动态网页的数据提取需求时，通过浏览器开发者工具定位并模拟底层的 XHR 数据请求，是获取结构化数据的有效且高效的方法。requests 库提供了强大的功能来构建和发送这些请求，配合 pandas 库，可以轻松地将获取到的 JSON 数据转换为可分析的 DataFrame。掌握这一技能，将大大扩展您从复杂网页中提取数据的能力。

以上就是从动态网页中高效提取表格数据：超越 pandas read_html 的方法的详细内容，更多请关注php中文网其它相关文章！