使用Scikit-learn计算随机森林AUC的正确方法及原因分析

本文旨在阐明在使用Scikit-learn计算随机森林模型的AUC（Area Under the Curve）时，为何使用predict()和predict_proba()函数会得到不同的结果，并提供正确的计算方法。通过示例代码和原理分析，帮助读者理解随机森林AUC计算的内部机制，避免常见错误。

在使用Scikit-learn的随机森林模型进行二分类任务时，计算AUC是评估模型性能的重要指标。然而，初学者经常会遇到一个问题：使用roc_auc_score函数，分别基于predict()和predict_proba()的输出来计算AUC，得到的结果往往不同。这背后的原因涉及到随机森林的输出机制以及AUC的计算方式。

随机森林的输出

随机森林是一种集成学习方法，它通过构建多个决策树并对其结果进行平均来做出预测。对于二分类问题，随机森林主要提供两种类型的输出：

• predict(X): 返回的是对每个样本的类别预测，即0或1。这是通过对每棵树的预测结果进行投票，选择得票最多的类别作为最终预测结果。
• predict_proba(X): 返回的是每个样本属于每个类别的概率。对于二分类问题，它会返回一个二维数组，其中每一行对应一个样本，第一列是属于类别0的概率，第二列是属于类别1的概率。

AUC的计算原理

AUC是ROC曲线下的面积，ROC曲线描述了在不同阈值下，真正例率（True Positive Rate, TPR）与假正例率（False Positive Rate, FPR）之间的关系。AUC值越高，模型的区分能力越强。

roc_auc_score函数需要输入的是样本的真实标签和模型预测的置信度得分。这个置信度得分可以是概率值，也可以是其他能够反映模型对样本属于某个类别的置信程度的值。

为什么predict()和predict_proba()计算的AUC不同？

使用predict()计算的AUC较低，是因为predict()返回的是硬类别预测，即0或1。这种硬预测丢失了模型预测的置信度信息。roc_auc_score函数在计算AUC时，需要的是一个连续的置信度得分，而不是离散的类别标签。当输入是predict()的输出时，roc_auc_score实际上是在计算基于硬类别预测的AUC，这通常会低估模型的真实性能。

因赛AIGC

因赛AIGC解决营销全链路应用场景

73

查看详情

使用predict_proba()计算的AUC更高，更接近模型的真实性能，是因为predict_proba()返回的是每个样本属于每个类别的概率。这个概率值可以作为置信度得分，roc_auc_score函数可以基于这些概率值来计算ROC曲线和AUC，从而更准确地评估模型的性能。

正确的计算方法

要正确计算随机森林模型的AUC，应该使用predict_proba()函数，并选择属于正类（通常是类别1）的概率作为置信度得分。

以下是正确的示例代码：

import matplotlib.pyplot as plt
from sklearn.datasets import load_wine
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import RocCurveDisplay, roc_auc_score
from sklearn.model_selection import train_test_split

# 加载数据集
X, y = load_wine(return_X_y=True)
y = y == 2

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# 创建随机森林模型
rfc = RandomForestClassifier(n_estimators=10, random_state=42)
rfc.fit(X_train, y_train)

# 使用predict_proba计算AUC
auc = roc_auc_score(y_test, rfc.predict_proba(X_test)[:, 1])
print(f"AUC using predict_proba: {auc}")

# 使用RocCurveDisplay可视化ROC曲线
ax = plt.gca()
rfc_disp = RocCurveDisplay.from_estimator(rfc, X_test, y_test, ax=ax, alpha=0.8)
print(f"AUC using RocCurveDisplay: {rfc_disp.roc_auc}")

plt.show()

代码解释：

1. 导入必要的库。
2. 加载数据集，并将目标变量转换为二分类问题。
3. 划分训练集和测试集。
4. 创建并训练随机森林模型。
5. 使用rfc.predict_proba(X_test)[:, 1]获取测试集中每个样本属于类别1的概率。
6. 使用roc_auc_score函数计算AUC，其中第一个参数是真实标签y_test，第二个参数是概率值。
7. 使用RocCurveDisplay可视化ROC曲线，并打印AUC值。

注意事项

• 确保使用predict_proba()函数，而不是predict()函数。
• 对于二分类问题，需要选择predict_proba()返回的概率数组中的一列，通常是属于正类的概率（索引为1）。
• roc_auc_score函数的第一个参数是真实标签，第二个参数是模型预测的置信度得分（概率值）。

总结

理解随机森林的输出机制以及AUC的计算原理，是正确评估模型性能的关键。在使用Scikit-learn计算随机森林模型的AUC时，务必使用predict_proba()函数，并选择属于正类的概率作为置信度得分。 这样才能得到准确的AUC值，从而更好地评估模型的性能。错误地使用predict()会低估模型的真实性能。 通过本文的讲解和示例代码，相信读者能够避免常见的错误，并正确地计算随机森林模型的AUC。

以上就是使用Scikit-learn计算随机森林AUC的正确方法及原因分析的详细内容，更多请关注php中文网其它相关文章！