Pandas中从混合字符串列提取数字并进行分组聚合的教程-Python教程-PHP中文网

Pandas中从混合字符串列提取数字并进行分组聚合的教程

花韻仙語

发布： 2025-09-13 13:17:00

原创

413人浏览过

Pandas中从混合字符串列提取数字并进行分组聚合的教程

本教程将详细介绍如何在Pandas数据帧中处理包含混合文本和数字的列。我们将学习如何利用str.extract结合正则表达式高效地从字符串中提取数值，并通过groupby方法对提取出的数据进行分组求和。文章还将涵盖条件性聚合的实现，帮助读者掌握清洗和分析复杂数据列的关键技巧。

在数据分析实践中，我们经常会遇到pandas数据帧中的某一列包含混合了文本和数字的数据，且格式不统一。例如，一个“销售额”列可能包含“1 table”、“3chairs”、“8 cushions”等多种表达方式。直接对这样的列进行数值计算（如求和）是不可行的。本教程旨在解决这一常见问题，展示如何从这些复杂字符串中准确提取数字，并根据其他列进行分组聚合。

准备数据

首先，我们创建一个示例Pandas DataFrame来模拟上述场景：

import pandas as pd
import io

data = """Category    Sales       Paid
Table       1 table     Yes
Chair       3chairs     Yes
Cushion     8 cushions  Yes
Table       3Tables     Yes
Chair       12 Chairs   No
Mats        12Mats      Yes
"""
df = pd.read_csv(io.StringIO(data), sep='\s+')
print("原始数据帧:")
print(df)

登录后复制

输出的原始数据帧如下：

原始数据帧:
  Category       Sales Paid
0    Table     1 table  Yes
1    Chair     3chairs  Yes
2  Cushion  8 cushions  Yes
3    Table     3Tables  Yes
4    Chair    12 Chairs   No
5     Mats       12Mats  Yes

登录后复制

可以看到，Sales列中的数字和文本混杂，且格式不一致。我们的目标是从Sales列中提取纯数字，然后按Category列进行分组求和。

核心方法：使用 str.extract 提取数字

Pandas Series对象提供了一系列强大的字符串方法，其中str.extract()是处理复杂字符串提取的利器。它结合正则表达式，能够从字符串中捕获特定模式的子串。

要从Sales列中提取开头的数字，我们可以使用正则表达式^(\d+)：

^：匹配字符串的开头。
\d+：匹配一个或多个数字（0-9）。
()：创建一个捕获组，str.extract将返回这个捕获组的内容。

str.extract(pattern, expand=False) 会将匹配到的内容作为Series返回，如果设置为expand=True（默认值），则会返回一个DataFrame。在这里，我们只需要一个Series，所以使用expand=False。

# 提取Sales列中的数字
extracted_numbers = df['Sales'].str.extract('^(\d+)', expand=False)
print("\n提取出的数字（字符串形式）:")
print(extracted_numbers)

登录后复制

输出结果：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

查看详情

提取出的数字（字符串形式）:
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: object

登录后复制

此时，提取出的数字仍然是字符串类型（dtype: object）。为了进行数值计算，我们需要将其转换为整数类型。

# 将提取出的数字转换为整数
sales_numbers = extracted_numbers.astype(int)
print("\n转换为整数类型后的销售数字:")
print(sales_numbers)

登录后复制

输出结果：

转换为整数类型后的销售数字:
0     1
1     3
2     8
3     3
4    12
5    12
Name: Sales, dtype: int64

登录后复制

分组聚合：计算每个类别的总销售额

有了纯数字的销售额Series，我们现在可以结合Category列进行分组求和了。

# 按Category分组并求和所有销售额
total_sales_per_category = sales_numbers.groupby(df['Category']).sum()
print("\n每个类别的总销售额:")
print(total_sales_per_category)

登录后复制

输出结果：

每个类别的总销售额:
Category
Chair      15
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

登录后复制

这里，Chair的总销售额是 3 + 12 = 15，Table的总销售额是 1 + 3 = 4，这与我们的预期相符。

进阶应用：条件性分组聚合

有时，我们可能需要根据额外的条件进行聚合。例如，只计算Paid列为Yes的销售额。

为了实现条件性聚合，我们可以在提取数字之前，先根据条件对Sales列进行预处理。对于Paid列为No的行，我们可以将Sales值替换为'0'。这样，即使这些行的原始Sales值包含数字，它们在提取和转换后也会变为0，从而不影响最终的求和结果。

# 只计算Paid为'Yes'的销售额
paid_sales_numbers = (
    df['Sales']
    .where(df['Paid'] == 'Yes', other='0') # 如果Paid不是'Yes'，则将Sales列的值替换为'0'
    .str.extract('^(\d+)', expand=False)
    .astype(int)
    .groupby(df['Category'])
    .sum()
)
print("\n每个类别的已支付销售额:")
print(paid_sales_numbers)

登录后复制

输出结果：

每个类别的已支付销售额:
Category
Chair       3
Cushion     8
Mats       12
Table       4
Name: Sales, dtype: int64

登录后复制

在这个例子中，Chair类别的总销售额从15降至3，因为其中一笔“12 Chairs”的销售其Paid状态为No，在计算时被忽略（或计为0）。

注意事项与总结

正则表达式的灵活性： str.extract 的强大之处在于其与正则表达式的结合。本教程使用了简单的^(\d+)来匹配开头的数字，但如果数字出现在字符串的其他位置（例如“Item_123Count”），您需要调整正则表达式（如`(\d+)_`）。
数据类型转换： str.extract 提取的结果默认是字符串类型。在进行数值计算前，务必使用astype(int)或astype(float)将其转换为合适的数值类型。
处理非匹配项： 如果str.extract没有找到匹配项，它将返回NaN。在尝试astype(int)时，NaN会导致错误。在使用astype(int)之前，您可能需要使用fillna(0)或其他策略来处理这些NaN值。在条件性聚合的例子中，我们巧妙地使用了where(..., other='0')来避免NaN，确保所有值都能转换为整数。
expand=False 的作用： str.extract 默认返回一个DataFrame。当正则表达式中只有一个捕获组，并且我们希望结果是一个Series时，设置expand=False会更简洁方便。

通过本教程，您应该掌握了如何利用Pandas的str.extract方法结合正则表达式，从包含混合文本和数字的列中提取所需的数值信息，并进一步进行分组聚合。这些技巧对于数据清洗和预处理至关重要，能帮助您更高效地分析复杂数据集。

以上就是Pandas中从混合字符串列提取数字并进行分组聚合的教程的详细内容，更多请关注php中文网其它相关文章！