特征工程是通过理解业务与数据分布，提升特征对目标变量的解释力、降低噪声与冗余的过程；包括缺失值处理（数值型用均值/中位数，类别型新增“未知”或用众数）、慎删样本等。
特征工程：让数据更适合模型学习
特征工程不是简单地把原始数据丢给模型，而是通过理解业务和数据分布，把信息更有效地表达出来。关键在于提升特征对目标变量的解释力，同时减少噪声和冗余。
常见操作包括：
- 缺失值处理：数值型可用均值/中位数填充，类别型建议新增“未知”类别或用众数；慎用直接删除，尤其当缺失比例不高（如
-
编码类别变量：有序类别用序数编码（如“低/中/高”→0/1/2），无序类别优先用独热编码（
pd.get_dummies）或目标编码（需防数据泄露，务必在交叉验证内完成） -
数值特征缩放：树模型（如随机森林、XGBoost）不依赖缩放，但SVM、逻辑回归、神经网络必须做；推荐用
StandardScaler（标准化）或MinMaxScaler（归一化），注意拟合（fit）只在训练集上进行 - 构造有意义的新特征：比如时间字段可拆解为“星期几”“是否节假日”，地址可提取“城市等级”“距市中心距离”，文本可统计关键词频次或用TF-IDF向量化
模型评估：别只看准确率
在非均衡数据（如欺诈检测、故障预测）中，准确率（accuracy）会严重误导。评估必须匹配业务目标，选择合适指标并坚持在同一数据划分下比较。
核心原则：
立即学习“Python免费学习笔记（深入）”；
-
严格分层划分数据：用
train_test_split(..., stratify=y)保持训练集和测试集中各类别比例一致；时间序列数据则须按时间顺序切分，禁止随机打乱 -
多指标协同判断：
- 二分类：看精确率（查准率）、召回率（查全率）、F1值，配合ROC曲线和AUC；关注混淆矩阵中“漏报”（假阴性）和“误报”（假阳性）哪类代价更高
- 回归任务：用MAE（对异常值鲁棒）、RMSE（惩罚大误差）、R²（解释方差占比），避免单看R²过高而忽略残差模式
-
验证稳定性：单次划分结果易受随机性影响，用交叉验证（如
cross_val_score或StratifiedKFold）获取指标均值与标准差，标准差过大说明模型泛化能力弱或特征不稳定
代码片段：端到端小示例
以下是一个简明可运行的流程示意（基于scikit-learn）：
# 特征预处理管道 from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.compose import ColumnTransformer from sklearn.ensemble import RandomForestClassifier假设 numeric_cols = ['age', 'income'], cat_cols = ['gender', 'city']
preprocessor = ColumnTransformer( transformers=[ ('num', StandardScaler(), numeric_cols), ('cat', OneHotEncoder(drop='first'), cat_cols) ], remainder='passthrough' )
构建完整管道
pipe = Pipeline([ ('preproc', preprocessor), ('model', RandomForestClassifier(random_state=42)) ])
评估（自动应用预处理）
from sklearn.model_selection import cross_val_score scores = cross_val_score(pipe, X_train, y_train, cv=5, scoring='f1') print(f"F1 (5-fold CV): {scores.mean():.3f} ± {scores.std():.3f}")
容易踩的坑
很多效果差不是模型问题，而是流程疏漏：
- 训练集信息泄露到测试集：例如用整个数据集算均值去填缺失值，或在划分前做了标准化——这会让评估过于乐观
-
忽略特征重要性分析：训练完立刻调参，却不检查哪些特征实际起作用；用
model.feature_importances_或SHAP值定位无效/异常特征 - 未重采样就硬训非均衡数据：过采样（SMOTE）或欠采样要放在交叉验证循环内，否则同样导致评估失真
- 用测试集调参：超参数优化（如GridSearchCV）必须只用训练集；最终性能报告只能基于一次独立测试集
