使用 Pandas read_html 高效抓取网页表格数据教程

使用 Pandas read_html 简化表格抓取

Python 的 Pandas 库提供了一个极其便捷的功能 read_html()，它能够直接识别网页中的 HTML 表格，并将其解析成 DataFrame 对象。这极大地简化了从网页抓取表格数据的过程，通常只需几行代码即可完成。

pd.read_html() 函数的工作原理是：它会扫描给定的 URL 或 HTML 字符串，查找所有的

实践教程：抓取 NCAA 女子足球 RPI 排名

我们将以 NCAA 女子足球 RPI 排名页面为例（https://www.ncaa.com/rankings/soccer-women/d1/ncaa-womens-soccer-rpi），演示如何使用 pd.read_html() 高效地抓取排名数据。

立即学习“前端免费学习笔记（深入）”；

步骤一：导入 Pandas 库

首先，确保您的环境中安装了 Pandas 库。如果尚未安装，可以通过 pip install pandas 命令进行安装。然后，在您的 Python 脚本中导入它：

import pandas as pd

步骤二：指定目标 URL

定义您希望抓取数据的网页链接。

url = "https://www.ncaa.com/rankings/soccer-women/d1/ncaa-womens-soccer-rpi"

步骤三：使用 read_html 抓取表格

调用 pd.read_html() 函数，传入目标 URL。该函数会返回一个包含页面上所有表格的 DataFrame 列表。通常，我们感兴趣的表格是列表中的第一个元素（索引为 0）。

剪映

一款全能易用的桌面端剪辑软件

下载

# read_html 返回一个DataFrame列表，通常第一个元素就是我们需要的表格
dfs = pd.read_html(url)
df = dfs[0]

步骤四：查看并保存数据

现在，df 变量中存储的就是从网页表格中提取出的结构化数据。您可以打印 df 来查看其内容，也可以将其保存为 CSV 文件，以便后续分析。

# 打印 DataFrame 的前几行以进行检查
print(df.head())

# 将 DataFrame 保存为 CSV 文件
df.to_csv("ncaa_womens_soccer_rpi.csv", index=False) # index=False 避免将 DataFrame 索引写入 CSV
print("\n数据已成功抓取并保存到 ncaa_womens_soccer_rpi.csv")

完整示例代码：

import pandas as pd

# 目标网页 URL
url = "https://www.ncaa.com/rankings/soccer-women/d1/ncaa-womens-soccer-rpi"

# 使用 pandas.read_html 抓取网页中的所有表格
# 它返回一个DataFrame列表，通常我们需要的表格是第一个
dfs = pd.read_html(url)
df = dfs[0] # 选择第一个表格

# 打印 DataFrame 的前几行，进行初步检查
print("抓取到的数据预览：")
print(df.head())

# 将 DataFrame 保存为 CSV 文件
# index=False 避免将 DataFrame 的索引作为一列写入 CSV
df.to_csv("ncaa_womens_soccer_rpi.csv", index=False, encoding='utf-8')

print("\n数据已成功抓取并保存到 ncaa_womens_soccer_rpi.csv")

运行上述代码，您将在控制台看到抓取到的数据预览，并且在当前目录下会生成一个名为 ncaa_womens_soccer_rpi.csv 的文件，其中包含了完整的 NCAA 女子足球 RPI 排名数据。

pd.read_html() 的优势与注意事项

优势：

• 简洁高效： 仅需几行代码即可完成复杂的表格解析任务。
• 直接生成 DataFrame： 无需手动构建数据结构，直接获得易于操作和分析的 DataFrame 对象。
• 自动化程度高： 自动处理 HTML 表格的标签结构，包括