Pandas数据清洗：从混合字符串列中提取数值并进行分组聚合

在数据分析实践中，我们经常会遇到数据格式不规范的情况，例如在同一个字符串列中混合了数字和文本。当我们需要对这些数字进行计算（如求和、平均值）时，就必须先将它们精确地提取出来。pandas库提供了强大的字符串处理功能，特别是series.str.extract方法，能够结合正则表达式高效地解决这类问题。

场景描述

假设我们有一个Pandas DataFrame，其中包含产品类别（Category）、销售量（Sales）和支付状态（Paid）等信息。Sales列的数据格式不一致，例如"1 table"、"3chairs"、"8 cushions"等，数字与文本紧密相连，且文本部分也不固定。我们的目标是从Sales列中提取出纯粹的销售数字，并根据Category列进行分组求和。

首先，我们来创建示例数据：

import pandas as pd
import io

data = """Category    Sales       Paid
Table       1 table     Yes
Chair       3chairs     Yes
Cushion     8 cushions  Yes
Table       3Tables     Yes
Chair       12 Chairs   No
Mats        12Mats      Yes
"""

df = pd.read_csv(io.StringIO(data), sep=r'\s{2,}', engine='python')
print("原始DataFrame:")
print(df)

输出：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

原始DataFrame:
  Category       Sales Paid
0    Table     1 table  Yes
1    Chair     3chairs  Yes
2  Cushion  8 cushions  Yes
3    Table     3Tables  Yes
4    Chair    12 Chairs   No
5     Mats       12Mats  Yes

使用str.extract提取数值

解决此问题的核心是使用str.extract方法，它允许我们通过正则表达式从字符串中捕获特定模式的数据。

1. 定义正则表达式

我们需要一个正则表达式来匹配字符串开头的数字。

• ^：匹配字符串的开始。
• \d+：匹配一个或多个数字（0-9）。
• ()：捕获组，表示我们想要提取这部分匹配到的内容。

因此，正则表达式为^(\d+)。

2. 应用str.extract并转换类型

将正则表达式应用于Sales列，并指定expand=False以返回一个Series而不是DataFrame（因为我们只有一个捕获组）。提取出的结果将是字符串类型，需要通过astype(int)将其转换为整数类型，以便进行数学运算。

# 提取Sales列中的数字并转换为整数
extracted_sales = df['Sales'].str.extract('^(\d+)', expand=False).astype(int)
print("\n提取并转换后的销售数字:")
print(extracted_sales)

输出：

提取并转换后的销售数字:
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: int64

分组聚合：计算各类别的总销售量

现在我们已经得到了纯粹的销售数字，可以将其与原始DataFrame的Category列结合，进行分组求和。

# 计算所有项目的销售总量
total_sales_per_category = extracted_sales.groupby(df['Category']).sum()
print("\n按类别统计的总销售量:")
print(total_sales_per_category)

输出：

按类别统计的总销售量:
Category
Chair      15
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

进阶应用：条件性分组聚合

有时，我们可能需要基于另一个列的条件来计算销售量，例如只计算已支付（Paid == 'Yes'）的销售量。这时，我们可以先对Sales列进行条件筛选，然后再进行提取和聚合。

一种有效的做法是使用Series.where()方法。where()方法根据条件选择性地替换Series中的值。如果条件为True，则保留原始值；如果条件为False，则替换为other参数指定的值。在这里，我们希望对于Paid不为'Yes'的行，其销售量计为0。

# 只计算已支付（Paid == 'Yes'）项目的销售总量
conditional_sales = (
    df['Sales']
    .where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales值替换为'0'
    .str.extract('^(\d+)', expand=False)
    .astype(int)
    .groupby(df['Category'])
    .sum()
)
print("\n按类别统计的已支付销售量:")
print(conditional_sales)

输出：

按类别统计的已支付销售量:
Category
Chair       3
Cushion     8
Mats       12
Table       4
Name: Sales', dtype: int64

在这个例子中，Chair类别的总销售量是15，但只有一条记录是Paid == 'Yes'（3chairs），另一条（12 Chairs）是Paid == 'No'。因此，条件性聚合后，Chair的已支付销售量变为3。

注意事项与总结

• 正则表达式的准确性：选择正确的正则表达式至关重要。本例中^(\d+)适用于数字在字符串开头的情况。如果数字在字符串中间或末尾，或者有其他更复杂的模式，则需要调整正则表达式。例如，(\d+)可以匹配字符串中任意位置的数字。
• expand参数：当正则表达式包含捕获组时，str.extract默认返回一个DataFrame。如果只有一个捕获组且希望结果为Series，设置expand=False会更方便。
• 类型转换：str.extract提取出的内容总是字符串类型。在进行数值计算前，务必使用astype(int)、astype(float)等方法将其转换为合适的数值类型。
• 错误处理：如果str.extract未能匹配到任何数字，它会返回NaN。尝试将NaN转换为整数会引发错误。在实际应用中，可能需要先用fillna(0)或其他策略处理NaN值，或使用pd.to_numeric(errors='coerce')来更稳健地处理转换失败的情况。
• where()的妙用：Series.where()是一个非常强大的工具，可以在不改变DataFrame结构的前提下，根据条件灵活地修改Series中的值，为后续操作（如本例中的条件性聚合）奠定基础。

通过本教程，我们学习了如何利用Pandas的str.extract方法结合正则表达式，有效地从混合字符串列中提取数值，并进行灵活的分组聚合。掌握这些技巧，将大大提升您在数据清洗和预处理方面的效率和能力。

以上就是Pandas数据清洗：从混合字符串列中提取数值并进行分组聚合的详细内容，更多请关注php中文网其它相关文章！