从HTML表格中提取数据并转换为DataFrame

本文档旨在提供一个清晰、简洁的教程，指导读者如何使用Beautiful Soup库解析具有固定结构的HTML表格，并将提取的数据转换为Pandas DataFrame。通过示例代码和详细解释，读者将学会如何有效地从HTML中提取特定数据，并将其组织成易于分析的表格形式。

使用Beautiful Soup解析HTML表格并转换为DataFrame

在数据处理和分析中，经常需要从网页中提取数据。HTML表格是一种常见的数据呈现方式。本教程将演示如何使用Python的Beautiful Soup库解析HTML表格，并将其转换为Pandas DataFrame，方便后续的数据处理。

准备工作

首先，确保已经安装了必要的库：

pip install beautifulsoup4 pandas lxml

• beautifulsoup4: 用于解析HTML和XML文档。
• pandas: 用于数据分析，提供DataFrame数据结构。
• lxml: 一个高性能的XML和HTML解析器，Beautiful Soup可以使用它来提高解析速度。

示例HTML

假设我们有以下HTML代码，表示一个包含产品信息的表格：

立即学习“前端免费学习笔记（深入）”；

html = '''
<table align="center">
    <tr>
        <th>Name</th>
        <td>NAME A</td>
        <th>Status</th>
        <td class="IN PROGRESS">IN PROGRESS</td>
    </tr>
    <tr>
        <th>Category</th>
        <td COLSPAN="3">CATEGORY A</td>
    </tr>
    <tr>
        <th>Creation date</th>
        <td>13/01/23 23:00</td>
        <th>End date</th>
        <td></td>
    </tr>
</table>
'''

解析HTML并提取数据

以下代码演示了如何使用Beautiful Soup解析HTML，提取表格中的数据，并将其转换为DataFrame：

吉卜力风格图片在线生成

将图片转换为吉卜力艺术风格的作品

121

查看详情

from bs4 import BeautifulSoup
import pandas as pd

html = '''
<table align="center">
    <tr>
        <th>Name</th>
        <td>NAME A</td>
        <th>Status</th>
        <td class="IN PROGRESS">IN PROGRESS</td>
    </tr>
    <tr>
        <th>Category</th>
        <td COLSPAN="3">CATEGORY A</td>
    </tr>
    <tr>
        <th>Creation date</th>
        <td>13/01/23 23:00</td>
        <th>End date</th>
        <td></td>
    </tr>
</table>
'''

soup = BeautifulSoup(html, 'lxml')

data = [{e.find_previous_sibling('th').text:e.text for e in soup.select('table td')}]

df = pd.DataFrame(data)

print(df)

这段代码的执行流程如下：

1. 导入库: 导入BeautifulSoup和pandas库。
2. 创建Beautiful Soup对象: 使用BeautifulSoup(html, 'lxml')创建一个Beautiful Soup对象，html是HTML代码，lxml是解析器。
3. 选择<td>标签: 使用soup.select('table td')选择表格中所有的<td>标签。
4. 提取数据: 遍历所有的<td>标签，对于每个<td>标签，找到它的前一个兄弟节点<th>，将<th>的文本作为键，<td>的文本作为值，存储到字典中。
5. 创建DataFrame: 将包含字典的列表转换为DataFrame。

代码解释

• soup.select('table td'): 使用CSS选择器选择所有在<table>标签内的<td>标签。
• e.find_previous_sibling('th'): 对于每个<td>元素(e)，找到它紧邻的前一个<th>兄弟元素。
• {e.find_previous_sibling('th').text:e.text for e in soup.select('table td')}: 这是一个字典推导式，它遍历所有选中的<td>元素，并创建一个字典，其中键是前一个<th>元素的文本内容，值是当前<td>元素的文本内容。
• pd.DataFrame([ ... ]): 将包含一个字典的列表传递给pd.DataFrame构造函数。由于我们只有一行数据，所以需要将字典放在一个列表中。

结果

运行上述代码，将得到以下DataFrame：

          Name       Status    Category Creation date End date
0       NAME A  IN PROGRESS  CATEGORY A  13/01/23 23:00

注意事项

• 确保HTML结构稳定：此方法依赖于HTML表格的固定结构。如果表格结构发生变化，代码可能需要调整。
• 处理缺失值：如果某些单元格为空，DataFrame中对应的位置将显示NaN。可以使用fillna()方法填充缺失值。
• 处理复杂的HTML结构：对于更复杂的HTML结构，可能需要使用更复杂的CSS选择器或Beautiful Soup的其他方法来提取数据。
• 错误处理：在实际应用中，需要添加错误处理机制，例如检查是否成功找到<th>标签，以避免程序崩溃。

总结

本教程介绍了如何使用Beautiful Soup解析HTML表格，并将提取的数据转换为Pandas DataFrame。这种方法适用于具有固定结构的HTML表格。通过掌握这些技术，可以更有效地从网页中提取数据，并进行后续的分析和处理。

以上就是从HTML表格中提取数据并转换为DataFrame的详细内容，更多请关注php中文网其它相关文章！