Python 数据分箱：处理混合类型与自定义分类的完整指南

import pandas as pd
import numpy as np

# 假设 candy 是你的 DataFrame，'Q3: AGE' 是包含年龄数据的列
# 为了演示，我们创建一个示例DataFrame
candy_data = {
    'Q3: AGE': ['45-55', '20', '56', '35', 'sixty-nine', 'unknown', '10', np.nan]
}
candy = pd.DataFrame(candy_data)

print("原始数据:")
print(candy)

# 创建True/False索引，判断哪些值是纯数字
age_index = candy['Q3: AGE'].astype(str).str.isnumeric()

# 对于索引，用False填充缺失值（NaN值在str.isnumeric()后会变为NaN，需要处理）
age_index = age_index.fillna(False)

# 选择'Q3: AGE'列中非数字或缺失的值，并将其设为np.nan
candy.loc[~age_index, 'Q3: AGE'] = np.nan

print("\n预处理后，非数字值转换为NaN:")
print(candy)

# 定义分箱边界
# 注意：为了解决“Bin labels must be one fewer than the number of bin edges”错误，
# 并且考虑到'unknown'类别主要通过fillna处理，我们在数值分箱的开始添加一个额外的低边界（如-1），
# 以便pd.cut有足够的区间来匹配标签。
bins = [-float('inf'), -1, 17, 25, 35, 45, 55, float('inf')]

# 定义分箱标签
labels = ['unknown_placeholder', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
# 这里的 'unknown_placeholder' 是一个临时标签，它将对应于 [-inf, -1] 区间，
# 但我们真正的 'unknown' 类别将通过填充NaN值来实现。

# 将'Q3: AGE'列转换为数值类型，无法转换的设为NaN
# errors='coerce' 是关键，它会将所有无法转换为数字的值（包括预处理后的NaN）变为NaN
numeric_age = pd.to_numeric(candy['Q3: AGE'], errors='coerce')

# 使用pd.cut进行分箱
# 注意：这里我们将labels列表的第一个元素替换为'17 and under'，因为-1到17的范围才对应这个标签
# 实际上，由于我们使用fillna处理unknown，所以pd.cut的第一个标签会对应第一个有效数值区间
labels_for_cut = ['17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
bins_for_cut = [-float('inf'), 17, 25, 35, 45, 55, float('inf')]

# 重新定义bins和labels，以更直观地匹配。
# 这里的策略是：先用pd.cut处理所有有效数值，然后将所有NaN（包括由非数字转换的NaN）填充为'unknown'。
# 因此，pd.cut本身不需要直接处理'unknown'标签对应的数值范围。
candy['age_cat'] = pd.cut(numeric_age,
                          bins=bins_for_cut,
                          labels=labels_for_cut,
                          include_lowest=True) # include_lowest=True 确保最低边界值被包含在内

# 填充所有NaN值为'unknown'
# 这一步处理了原始数据中的NaN以及pd.to_numeric转换失败（如'sixty-nine'）产生的NaN
candy['age_cat'] = candy['age_cat'].fillna('unknown')

print("\n完成分箱后的数据:")
print(candy)

# 定义期望的分类顺序
desired_categories = ['unknown', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']

# 将'age_cat'列转换为Categorical类型，并指定期望的顺序，设置为无序（ordered=False）
candy['age_cat'] = pd.Categorical(candy['age_cat'],
                                  categories=desired_categories,
                                  ordered=False)

print("\n最终age_cat列的分类信息和顺序:")
print(candy['age_cat'])

# 示例输出
# Categories (7, object): ['unknown', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame(['45-55', '20', '56', '35', 'sixty-nine', '10', np.nan, 'unknown'], columns=['age'])

print("原始数据:")
print(df)

# 1. 数据预处理：将非纯数字和原始缺失值转换为NaN
age_index = df['age'].astype(str).str.isnumeric()
age_index = age_index.fillna(False)
df.loc[~age_index, 'age'] = np.nan

print("\n预处理后 (非数字和原始NaN转换为NaN):")
print(df)

# 2. 定义分箱边界和标签
# 注意：这里的分箱边界和标签是针对数值分箱的，'unknown'通过fillna处理
bins_for_cut = [-float('inf'), 17, 25, 35, 45, 55, float('inf')]
labels_for_cut = ['17 and under', '18-25', '26-35', '36-45', '46-55', '56+']

# 3. 执行分箱
# 将'age'列转换为数值，无法转换的（包括之前设置的NaN）会再次变为NaN
numeric_age = pd.to_numeric(df['age'], errors='coerce')

# 使用pd.cut进行数值分箱
df['age_cat'] = pd.cut(numeric_age,
                       bins=bins_for_cut,
                       labels=labels_for_cut,
                       include_lowest=True)

# 4. 填充所有NaN值为'unknown'
df['age_cat'] = df['age_cat'].fillna('unknown')

# 5. 设置分类数据类型和期望的顺序
desired_categories = ['unknown', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
df['age_cat'] = pd.Categorical(df['age_cat'],
                               categories=desired_categories,
                               ordered=False) # 保持为无序分类

print("\n最终分箱结果:")
print(df)

print("\nage_cat列的分类信息:")
print(df['age_cat'].dtype)