在数据分析和机器学习预处理中，将连续型数据（如年龄、收入等）离散化为分类区间是一种常见的技术，称为数据分箱（binning）。这有助于简化模型、减少噪声，并使数据更易于理解和解释。然而，实际数据往往存在挑战，例如：
本文的目标是利用Pandas库，有效地将年龄数据归类到 unknown、17 and under、18-25、26-35、36-45、46-55 和 56+ 这些分类中，同时妥善处理非数值和缺失数据。
Pandas的pd.cut函数是实现数据分箱的核心工具。它能够将数值数据根据指定的分界点（bins）切割成不同的区间，并为每个区间分配一个标签（labels）。
pd.cut的主要参数包括：
关键点：bins的数量必须比labels的数量多一个。 这是pd.cut函数的基本要求，也是许多初学者常遇到的错误之一（例如“Bin labels must be one fewer than the number of bin edges”）。bins定义了N个区间需要N+1个边界点。
立即学习“Python免费学习笔记（深入）”；
在进行数值分箱之前，确保数据列是数值类型至关重要。原始数据中可能包含文本或格式不规范的年龄信息。
我们可以使用pd.to_numeric()函数，结合errors='coerce'参数，将列中的所有值尝试转换为数字。如果某个值无法转换为数字，errors='coerce'会将其自动替换为NaN（Not a Number）。这是将文本值统一归入“unknown”类别的第一步。
import pandas as pd
import numpy as np
# 假设 candy 是你的 DataFrame，'Q3: AGE' 是包含年龄信息的列
# 为了演示，我们创建一个类似的DataFrame
data = {'Q3: AGE': ['45-55', '20', '56', '35', 'sixty-nine', np.nan, '15', '60 on the day after Halloween', '17']}
candy = pd.DataFrame(data)
# 使用 pd.to_numeric 转换并处理非数字项
# 这会将 '45-55', 'sixty-nine' 等转换为 NaN
candy['Q3: AGE_numeric'] = pd.to_numeric(candy['Q3: AGE'], errors='coerce')
print("经过 pd.to_numeric 处理后的数据：")
print(candy)说明： 原始问题中提供了一段预处理代码（使用str.isnumeric()和fillna(False)），其目的是识别并处理非数字字符串。pd.to_numeric(errors='coerce')能更简洁高效地达到类似目的，将所有非纯数字项转换为NaN。
现在我们已经将非数字项统一转换为NaN，接下来可以定义分箱边界和标签，并使用pd.cut进行分箱。
为了满足bins比labels多一个的要求，并覆盖所有可能的数值范围（包括可能由pd.to_numeric产生的NaN），我们需要精心设计bins。
# 定义分箱边界
# 注意：bins的数量比labels多一个
# [-float('inf'), -1] 这个区间作为技术上的占位符，
# 确保bins和labels长度匹配，且能处理极端情况。
# 实际的 'unknown' 类别主要通过后续的 fillna 步骤处理。
bins = [-float('inf'), -1, 17, 25, 35, 45, 55, float('inf')]
# 定义分箱标签
labels = ['unknown_numeric_range', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
# 这里 'unknown_numeric_range' 是一个临时标签，
# 最终的 'unknown' 类别将由 fillna 统一赋值。将经过pd.to_numeric处理的数值列（可能包含NaN）传入pd.cut。pd.cut会将有效的数值分箱，而NaN值会继续保留为NaN。随后，我们使用.fillna('unknown')将所有NaN（无论是原始缺失值还是由pd.to_numeric(errors='coerce')产生的）统一替换为'unknown'。
candy['age_cat'] = pd.cut(candy['Q3: AGE_numeric'],
bins=bins,
labels=labels,
include_lowest=True) # include_lowest=True 确保第一个区间包含下限
# 将所有 NaN 值（来自非数字转换和原始缺失值）填充为 'unknown'
candy['age_cat'] = candy['age_cat'].fillna('unknown')
print("\n初步分箱并填充 'unknown' 后的数据：")
print(candy[['Q3: AGE', 'Q3: AGE_numeric', 'age_cat']])说明： include_lowest=True 确保第一个区间 [-inf, -1] 包含其下限，并且 (a, b] 的区间定义中，17 and under 对应 (-1, 17]，即年龄17岁及以下。
为了确保分类结果的准确性和一致性，我们应将结果列显式转换为Pandas的Categorical数据类型，并指定类别及其顺序。这对于后续的数据分析和可视化非常重要。
# 定义最终的分类标签及其顺序
final_categories = ['unknown', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
# 将 'age_cat' 列转换为 Categorical 类型，并指定类别顺序
candy['age_cat'] = pd.Categorical(candy['age_cat'],
categories=final_categories,
ordered=False)
print("\n最终分类结果（Categorical类型）：")
print(candy[['Q3: AGE', 'Q3: AGE_numeric', 'age_cat']])
print("\n分类列的类别信息：")
print(candy['age_cat'].dtype.categories)通过pd.Categorical，我们明确了所有可能的类别，并强制'unknown'排在第一位，即使其在数据中出现的频率不高。ordered=False表示这些年龄类别之间没有内在的顺序关系（除了人为指定的显示顺序）。
以下是一个完整的、可运行的Python代码示例，展示了上述所有步骤：
import pandas as pd
import numpy as np
# 1. 创建示例DataFrame
data = {'Q3: AGE': ['45-55', '20', '56', '35', 'sixty-nine', np.nan, '15', '60 on the day after Halloween', '17', '-5']}
candy = pd.DataFrame(data)
print("原始数据：")
print(candy)
# 2. 数据预处理：将非数字项转换为 NaN
candy['Q3: AGE_numeric'] = pd.to_numeric(candy['Q3: AGE'], errors='coerce')
print("\n经过 pd.to_numeric 处理后的数据：")
print(candy[['Q3: AGE', 'Q3: AGE_numeric']])
# 3. 定义分箱边界和标签
# bins的数量必须比labels多一个
bins = [-float('inf'), -1, 17, 25, 35, 45, 55, float('inf')]
labels = ['unknown_numeric_range', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']
# 4. 使用 pd.cut 进行初步分箱
# include_lowest=True 确保第一个区间包含下限
candy['age_cat'] = pd.cut(candy['Q3: AGE_numeric'],
bins=bins,
labels=labels,
include_lowest=True)
# 5. 填充 NaN 值，将其归为以上就是Python Pandas数据分箱：处理年龄分类与非数值数据的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
808
收藏
