Pandas中从混合字符串列提取数字并进行聚合的教程

数据清洗挑战：从混合字符串中提取数值

在数据分析实践中，我们经常会遇到数据格式不一致的问题。例如，在pandas dataframe的某一列中，数值可能与描述性文本混合在一起，且格式不统一。这给直接的数值计算和聚合带来了挑战。考虑以下示例数据：

import pandas as pd
import io

data = """Category    Sales       Paid
Table       1 table     Yes
Chair       3chairs     Yes
Cushion     8 cushions  Yes
Table       3Tables     Yes
Chair       12 Chairs   No
Mats        12Mats      Yes
"""
df = pd.read_csv(io.StringIO(data), sep=r'\s+')
print(df)

输出：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

  Category       Sales Paid
0    Table     1 table  Yes
1    Chair     3chairs  Yes
2  Cushion  8 cushions  Yes
3    Table     3Tables  Yes
4    Chair   12 Chairs   No
5     Mats      12Mats  Yes

如上所示，Sales列中的销售数量与单位（如"table", "chairs"）混合，且格式不固定（例如"3chairs"和"12 Chairs"）。我们的目标是从Sales列中提取纯数字，然后按Category列进行分组汇总。

核心工具：pandas.Series.str.extract

Pandas提供了强大的字符串操作方法，其中str.extract()是处理此类问题的理想工具。它允许我们使用正则表达式从字符串中提取匹配的模式，并将其转换为新的列或Series。

逐步实现：提取与汇总

1. 准备数据

首先，确保我们有上述的DataFrame df。

2. 提取所有销售额并按类别汇总

为了从Sales列中提取数字，我们可以使用正则表达式^(\d+)。

• ^：匹配字符串的开始。
• \d+：匹配一个或多个数字。
• ()：捕获组，表示我们想要提取这部分内容。

str.extract(pattern, expand=False)方法将返回一个Series，其中包含匹配到的数字。expand=False参数确保返回一个Series而不是DataFrame。

提取数字后，需要将其转换为整数类型（astype(int)），以便进行数学运算。最后，我们可以使用groupby()和sum()方法按Category汇总。

# 提取数字并转换为整数
extracted_sales = df['Sales'].str.extract('^(\d+)', expand=False).astype(int)
print("提取的销售额数字：")
print(extracted_sales)

# 按类别汇总所有销售额
total_sales_per_category = extracted_sales.groupby(df['Category']).sum()
print("\n按类别汇总的所有销售额：")
print(total_sales_per_category)

输出：

提取的销售额数字：
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: int64

按类别汇总的所有销售额：
Category
Chair      15
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

从中间结果可以看出，extracted_sales成功地从原始的混合字符串中提取了纯数字。最终的汇总结果清晰地展示了每个类别的总销售额。

3. 实现条件性汇总：仅统计已支付项

有时，我们可能需要根据其他列的条件来汇总数据。例如，我们只想统计Paid列为'Yes'的销售额。在这种情况下，我们可以结合where()方法。

df['Sales'].where(df['Paid'] == 'Yes', other='0') 的作用是：

• 如果Paid列的值为'Yes'，则保留原始Sales列的值。
• 如果Paid列的值不为'Yes'（例如'No'），则将Sales列的对应值替换为字符串'0'。 这样处理后，即使原始Sales列中包含非数字字符，str.extract也能从替换后的'0'中提取数字0，从而正确地参与后续的求和。

# 仅统计已支付项的销售额
paid_sales_per_category = (
    df['Sales']
    .where(df['Paid'] == 'Yes', other='0') # 将未支付项的销售额替换为'0'
    .str.extract('^(\d+)', expand=False)
    .astype(int)
    .groupby(df['Category'])
    .sum()
)
print("\n按类别汇总的已支付销售额：")
print(paid_sales_per_category)

输出：

按类别汇总的已支付销售额：
Category
Chair       3
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

通过这种方式，我们成功地实现了条件性汇总，仅计算了已支付的销售额。

关键概念解析

• pandas.Series.str.extract(pattern, expand=False): 这是本教程的核心。它利用正则表达式的强大功能，从Series中的每个字符串元素中提取匹配的子字符串。expand=False确保返回一个Series，而不是一个包含单列的DataFrame。
• 正则表达式 ^(\d+):
  • ^：匹配字符串的开头。这很重要，因为它确保我们只提取字符串开头的数字，而不是中间或末尾的数字。
  • \d+：匹配一个或多个数字（0-9）。
  • ()：捕获组。str.extract会提取括号内匹配到的内容。
• .astype(int): 将提取到的字符串数字转换为整数类型。这是进行数学运算（如求和）的必要步骤。如果提取结果中包含NaN（表示没有匹配到数字），astype(int)会报错。在这种情况下，可能需要先使用fillna(0)等方法处理NaN。
• pandas.Series.where(condition, other): 根据指定的条件有选择地替换Series中的值。如果条件为True，则保留原值；如果条件为False，则替换为other指定的值。这在进行条件性数据预处理时非常有用。
• .groupby().sum(): Pandas中进行分组聚合的标准操作。它首先根据指定列（如Category）对数据进行分组，然后对每个组应用聚合函数（如sum()）。

注意事项与最佳实践

1. 正则表达式的准确性: 正则表达式是str.extract功能的关键。确保你的正则表达式能够准确匹配你想要提取的数字模式，并处理可能的变体。如果数字不在字符串开头，你需要调整正则表达式，例如使用(\d+)匹配任意位置的数字，或更精确的模式。
2. NaN值的处理: 如果str.extract没有找到匹配项，它将返回NaN。在尝试使用astype(int)之前，你可能需要处理这些NaN值，例如使用fillna(0)将其替换为0，或者使用dropna()删除包含NaN的行。

   # 示例：处理NaN
   df_with_nan_sales = pd.DataFrame({'Sales': ['1 table', 'no sales', '5 chairs']})
   extracted = df_with_nan_sales['Sales'].str.extract('^(\d+)', expand=False)
   print("包含NaN的提取结果:\n", extracted)
   # 在转换前填充NaN
   converted = extracted.fillna('0').astype(int)
   print("填充NaN并转换后的结果:\n", converted)

   登录后复制
3. 性能考虑: 对于非常大的数据集，str.extract结合正则表达式通常是高效的。但在极端情况下，如果正则表达式非常复杂或数据量极大，可能需要考虑其他基于C语言实现的解析库或更优化的字符串处理方法。
4. 数据一致性: 尽可能在数据采集阶段就保证数据格式的一致性，这将大大减少后期数据清洗的工作量。

总结

本教程演示了如何利用Pandas的str.extract()方法结合正则表达式，有效地从格式不一致的混合字符串列中提取数值，并进行分组聚合。通过这种方法，我们不仅能够解决常见的数据清洗难题，还能进一步实现基于条件的复杂数据分析。掌握这些技巧将显著提升你在Pandas中处理和分析非结构化数据的能力。

以上就是Pandas中从混合字符串列提取数字并进行聚合的教程的详细内容，更多请关注php中文网其它相关文章！