如何用Python构建特征工程—sklearn预处理全流程

在机器学习项目中，特征工程是提升模型性能的关键，而sklearn库提供了完整的预处理工具。1. 首先使用pandas加载数据并检查缺失值与数据类型，缺失严重则删除列，少量缺失则填充均值、中位数或标记为“missing”。2. 使用labelencoder或onehotencoder对类别变量进行编码，前者适用于有序类别，后者适用于无序类别，避免手动替换导致错误。3. 对数值特征应用standardscaler或minmaxscaler进行标准化或归一化，注意训练集用fit_transform，测试集仅transform。4. 利用columntransformer结合pipeline构建预处理流程，统一处理不同类型的特征，提高代码可复用性与效率。

在做机器学习项目时，特征工程往往是决定模型性能的关键一环。而用Python做特征预处理，最常用的就是sklearn这个库了。它提供了很多实用的工具，能帮你把原始数据变得更适合模型训练。

下面我来一步步讲讲怎么用sklearn完成一个完整的特征预处理流程，包括缺失值处理、标准化、编码类别变量等常见步骤。

1. 数据加载与初步检查

不管你用的是CSV文件还是数据库，第一步肯定是把数据读进来。一般会用pandas来做这一步：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd
df = pd.read_csv('data.csv')

然后要看看有没有缺失值，哪些是数值型，哪些是类别型。可以用df.info()和df.isnull().sum()快速查看。

建议：

• 如果某一列缺失太多（比如超过50%），可以考虑直接删掉。
• 少量缺失的话，数值型可以用均值/中位数填充，类别型可以用众数或者加个“Missing”标记。

2. 编码类别变量：LabelEncoder 与 OneHotEncoder

机器学习模型不能直接处理字符串，所以类别变量需要转换成数字。

• LabelEncoder：适合有序类别，比如“小、中、大”，可以映射成0、1、2。
• OneHotEncoder：适合无序类别，比如“红、绿、蓝”，会变成三个二进制列。

举个例子，假设你有个"Color"列，包含'red'、'blue'、'green'：

from sklearn.preprocessing import OneHotEncoder

encoder = OneHotEncoder()
encoded = encoder.fit_transform(df[['Color']])

这样就会生成三列，每一列代表一种颜色是否存在。

注意点：

• 不要手动写循环去替换类别值，容易出错。
• 如果类别特别多，可以考虑用频率编码或目标编码来降维。

3. 处理数值特征：标准化与归一化

很多模型（比如线性回归、KNN）对数值范围敏感，所以要做标准化或归一化。

• StandardScaler：减去均值再除以标准差，适合分布接近正态的数据。
• MinMaxScaler：把数据缩放到[0,1]区间，适合有明显上下限的数据。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
scaled = scaler.fit_transform(df[['Age', 'Income']])

小细节：

• 一定要先fit_transform训练集，测试集只transform。
• 对于偏态分布的数据，可以先做对数变换再标准化。

4. 管道化处理：使用ColumnTransformer组合不同操作

如果你既有类别型又有数值型变量，一个个处理太麻烦。可以用ColumnTransformer统一处理：

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

numeric_features = ['Age', 'Income']
categorical_features = ['Color']

numeric_transformer = StandardScaler()
categorical_transformer = OneHotEncoder(handle_unknown='ignore')

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ])

pipeline = Pipeline(steps=[('preprocessor', preprocessor)])

这样整个预处理过程就可以封装起来，后续调用只需要一行：

X_processed = pipeline.fit_transform(X_train)

基本上就这些。整个流程看起来有点长，但其实每一步都很清晰。只要搞清楚每种方法适用的场景，组合起来就能应对大多数预处理任务了。

以上就是如何用Python构建特征工程—sklearn预处理全流程的详细内容，更多请关注php中文网其它相关文章！