如何使用Pandas高效分割数值列为自定义区间

在数据分析和处理中，我们经常需要将连续的数值数据离散化，即将其划分到不同的区间（或称“分箱”）。例如，将销售额数据按金额大小划分为“低”、“中”、“高”等档次。虽然可以通过编写复杂的条件判断逻辑来实现，但这往往会导致代码冗长、难以维护，并且在面对空区间等特殊情况时容易出错。pandas库提供了pd.cut函数，为这类需求提供了优雅且健壮的解决方案。

理解数值列分箱的需求与挑战

假设我们有一个包含数值变量的DataFrame，需要根据特定规则将其划分为多个区间。例如，将一个名为NUMERICAL_VARIABLE的列按照以下规则分箱：

• x < 15000
• x >= 15000 and x < 30000
• x >= 30000 and x < 45000
• x >= 45000 (或其他更高区间)

手动实现时，我们可能会尝试：

1. 首先使用pd.cut进行初步等宽分箱，获取每个区间的最大/最小值。
2. 基于这些统计值，构建自定义的区间边界。
3. 遍历数据，通过一系列if/elif条件判断将每个值分配到对应的区间。

这种方法存在明显弊端：

• 复杂性高： 需要多步操作，且逻辑嵌套，可读性差。
• 健壮性差： 如果某个初步分箱的区间为空（例如，某个区间中没有数据），会导致后续尝试获取其max()或min()时出错，使整个流程中断。
• 效率低下： 循环遍历DataFrame在处理大数据时效率较低。

幸运的是，pd.cut函数本身就设计用于解决这类问题，并能直接指定精确的区间边界和自定义标签，从而避免上述所有问题。

稿定AI社区

在线AI创意灵感社区

60

查看详情

使用 pd.cut 进行数值列分箱

pd.cut函数是Pandas中用于将数值数据离散化的核心工具。它能够根据指定的箱边（bins）将数据划分为不同的区间，并为每个区间分配标签。

核心参数解析

1. series: 必需参数，要进行分箱的Pandas Series或一维数组。
2. bins: 定义分箱边界。可以是一个整数（表示等宽分箱的数量），也可以是一个序列（如列表或数组），其中包含明确的边界值。例如，[0, 15000, 30000, 45000]定义了三个区间。
3. right: 布尔值，默认为True。决定区间是左开右闭（(a, b]）还是左闭右开（[a, b)）。
   • right=True: 区间形式为 (bin_left, bin_right]。例如，bins=[0, 10, 20]，则区间为 (0, 10] 和 (10, 20]。
   • right=False: 区间形式为 [bin_left, bin_right)。例如，bins=[0, 10, 20]，则区间为 [0, 10) 和 [10, 20)。 这对于实现“x < 15000”和“x >= 15000”这类需求至关重要。
4. labels: 可选参数。用于为每个分箱区间指定自定义标签。如果设置为False，则返回IntervalIndex对象。如果提供列表，其长度必须比bins的长度少1。
5. include_lowest: 布尔值，默认为False。如果为True，则第一个区间的左边界（即bins中的最小值）也会被包含在内。这在使用right=False时尤其重要，以确保最小数据点被正确归类。

示例：实现自定义区间分箱

假设我们有一个DataFrame df，其中包含一个名为 some_value 的数值列，我们希望将其按以下方式分箱：

• x < 15000
• x >= 15000 and x < 30000
• x >= 30000 and x < 45000

import pandas as pd
import numpy as np

# 示例数据，包含可能超出预设最大边界的值
data = [1, 44746, 27637, 18236, 1000, 15000, 34000, 50000, 500]
df = pd.DataFrame({"some_value": data})

# 定义分箱边界和标签
# 注意：bins的起始值应小于或等于数据的最小值，结束值应大于或等于数据的最大值。
# 如果数据可能超出最大边界，且希望将超出部分归为一类，需要相应调整bins。
# 对于本例中明确的 '<45000' 需求，我们设置到45000。
# 如果有值大于45000，且未指定更大的bin，它们将默认为NaN。

bins = [0, 15000, 30000, 45000] # 定义精确的边界
labels = ["x < 15000", "x >= 15000 and x < 30000", "x >= 30000 and x < 45000"]

# 使用 pd.cut 进行分箱
# right=False 表示区间为 [min, max)，即包含左边界，不包含右边界
# include_lowest=True 确保最小值为0的区间能够包含0
df['cutoffs'] = pd.cut(
    df['some_value'],
    bins=bins,
    right=False,
    labels=labels,
    include_lowest=True # 确保像1这样的值能被包含在第一个区间 [0, 15000) 中
)

print("--- 原始分箱结果 (超出范围值为NaN) ---")
print(df)

#

以上就是如何使用Pandas高效分割数值列为自定义区间的详细内容，更多请关注php中文网其它相关文章！