使用 Category Encoders 编码未见数据：避免目标列缺失问题

本文旨在解决在使用 Category Encoders 库时，如何对不包含目标列的未见数据（如测试集）进行编码的问题。重点在于训练编码器时明确排除目标列，从而确保在转换未见数据时列数匹配，避免因列数不一致导致的错误。通过示例代码演示了正确的编码流程，帮助读者理解并应用该方法。

在使用 category_encoders 库进行特征编码时，经常会遇到训练集包含目标列，而测试集（或其他未见数据）不包含目标列的情况。直接使用在训练集上训练的编码器转换测试集，可能会因为列数不匹配而报错。 本文将介绍如何正确地处理这种情况，确保模型能够顺利地对未见数据进行预测。

核心思路：在训练编码器时排除目标列

问题的关键在于，在训练编码器时，要明确告知编码器哪些列是特征列，哪些列是目标列。通常，TargetEncoder 等编码器会自动识别目标列，但当我们需要对不包含目标列的数据集进行编码时，就需要在训练阶段显式地排除目标列。

示例代码

以下是一个完整的示例，展示了如何使用 TargetEncoder 对训练集和测试集进行编码，其中测试集不包含目标列：

先见AI

数据为基，先见未见

95

查看详情

import category_encoders as ce
import pandas as pd

# 假设你已经读取了训练集和测试集
training_data = pd.read_csv("train.csv")
test_data = pd.read_csv("test.csv")

# 将目标列从训练集中分离出来
X_train = training_data.drop("target_column", axis=1)
y_train = training_data["target_column"]

# 初始化 TargetEncoder，并指定要编码的列
# 这里使用 X_train.columns，确保只编码特征列
encoder = ce.TargetEncoder(cols=X_train.columns)

# 在训练集上训练编码器
encoded_train = encoder.fit_transform(X_train, y_train)

# 使用训练好的编码器转换测试集
encoded_test = encoder.transform(test_data)

# encoded_train 和 encoded_test 现在包含了编码后的数据
print("Encoded Training Data:")
print(encoded_train.head())
print("\nEncoded Test Data:")
print(encoded_test.head())

代码解释：

1. 数据准备： 首先，使用 pandas 读取训练集和测试集。 关键一步是使用 training_data.drop("target_column", axis=1) 将目标列从训练集中移除，并将目标列单独存储在 y_train 中。
2. 编码器初始化： ce.TargetEncoder(cols=X_train.columns) 初始化 TargetEncoder，并使用 X_train.columns 指定要编码的列。 这样可以确保只对特征列进行编码，避免将目标列包含在内。
3. 训练和转换： encoder.fit_transform(X_train, y_train) 在训练集上训练编码器，并同时进行转换。 encoder.transform(test_data) 使用训练好的编码器转换测试集。 由于编码器只对特征列进行了训练，因此可以顺利地对不包含目标列的测试集进行编码。

注意事项：

• 目标列名称： 确保代码中的 "target_column" 与实际目标列的名称一致。
• 列的顺序： 训练集和测试集的列顺序应该保持一致，除了目标列之外。 否则，编码器可能会将错误的列进行编码。
• 缺失值处理： 如果数据中存在缺失值，需要在编码之前进行处理，例如使用 fillna() 填充缺失值。
• 其他编码器： 以上方法也适用于其他 category_encoders 中的编码器，例如 OneHotEncoder、OrdinalEncoder 等。 只需要在初始化编码器时，指定要编码的列即可。

总结

通过在训练编码器时明确排除目标列，可以有效地解决对不包含目标列的未见数据进行编码的问题。 这种方法可以确保编码器只对特征列进行训练，从而避免因列数不匹配而导致的错误，使得模型能够顺利地对未见数据进行预测。 记住，数据准备阶段的列选择至关重要，它直接影响编码器的训练和转换结果。

以上就是使用 Category Encoders 编码未见数据：避免目标列缺失问题的详细内容，更多请关注php中文网其它相关文章！