Scikit-learn逻辑回归预测概率与Pandas数据帧的正确对齐方法

y_pred = lm.predict_proba(ret_df[ind_cols].to_pandas())
y_final = pd.DataFrame(y_pred, columns=['Prob_0', 'Prob_1']) # 此时y_final有默认RangeIndex
ret_df_out = pd.merge(ret_df.to_pandas(), y_final, how='left', left_index=True, right_index=True)

import pandas as pd
from sklearn.linear_model import LogisticRegression
import numpy as np

# 假设ret_df是您的原始DataFrame
# 为了演示，我们创建一个示例ret_df
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100),
    'target': np.random.randint(0, 2, 100)
}
ret_df = pd.DataFrame(data)
# 模拟一个非默认索引，例如，打乱索引或设置自定义索引
ret_df = ret_df.set_index(pd.Series(np.random.permutation(100) + 1000))
# 或者简单地打乱一下，让索引不是0,1,2...
# ret_df = ret_df.sample(frac=1, random_state=42)

ind_cols = ['feature1', 'feature2'] # 预测变量列
dep_col = 'target' # 响应变量列

# 模拟训练一个逻辑回归模型
# 通常您会用训练集X_train, y_train来训练
X_train = ret_df[ind_cols]
y_train = ret_df[dep_col]
lm = LogisticRegression(fit_intercept=True)
lm.fit(X_train, y_train)

# 提取用于预测的数据，并确保保留其原始索引
df_for_prediction = ret_df[ind_cols] # 这一步已经保留了ret_df的索引

y_pred_probs = lm.predict_proba(df_for_prediction)

y_final_df = pd.DataFrame(y_pred_probs, columns=['Prob_0', 'Prob_1'], index=df_for_prediction.index)

# 将原始特征和预测概率合并
result_df = pd.concat([df_for_prediction, y_final_df], axis=1)

# 如果您想将预测概率合并到完整的ret_df中，可以这样做：
# result_df = pd.concat([ret_df, y_final_df], axis=1)
# 注意：这里假设ret_df和y_final_df的索引是完全对齐的，且y_final_df是ret_df中所有行的预测。
# 如果y_final_df只包含ret_df的一个子集的预测，则需要使用merge。
# 但通常情况下，我们是对整个ret_df进行预测，因此concat是合适的。

print(result_df.head())

import pandas as pd
from sklearn.linear_model import LogisticRegression
import numpy as np

# 1. 模拟原始数据帧 ret_df
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100),
    'feature3': np.random.rand(100),
    'target': np.random.randint(0, 2, 100)
}
ret_df = pd.DataFrame(data)
# 模拟一个非默认索引，以验证对齐的鲁棒性
ret_df = ret_df.set_index(pd.Series(np.random.permutation(100) + 1000))
print("原始 ret_df (部分):")
print(ret_df.head())
print("\n原始 ret_df 索引类型:", type(ret_df.index))

ind_cols = ['feature1', 'feature2', 'feature3'] # 预测变量
dep_col = 'target' # 响应变量

# 2. 训练逻辑回归模型
# 通常会使用训练集进行训练，这里为了演示直接使用ret_df
X_train = ret_df[ind_cols]
y_train = ret_df[dep_col]

lm = LogisticRegression(fit_intercept=True, solver='liblinear', random_state=42)
lm.fit(X_train, y_train)

# 3. 准备用于预测的数据，并确保保留其原始索引
df_for_prediction = ret_df[ind_cols]
print("\n用于预测的数据 df_for_prediction (部分):")
print(df_for_prediction.head())
print("\ndf_for_prediction 索引类型:", type(df_for_prediction.index))

# 4. 生成预测概率
y_pred_probs = lm.predict_proba(df_for_prediction)
print("\n预测概率 NumPy 数组形状:", y_pred_probs.shape)

# 5. 创建包含预测概率的DataFrame，并显式指定原始索引
y_final_df = pd.DataFrame(y_pred_probs, columns=['Prob_0', 'Prob_1'], index=df_for_prediction.index)
print("\n预测概率 DataFrame y_final_df (部分):")
print(y_final_df.head())
print("\ny_final_df 索引类型:", type(y_final_df.index))

# 6. 使用 pd.concat 合并原始数据帧和预测概率
# 如果只合并特征和概率：
# result_df = pd.concat([df_for_prediction, y_final_df], axis=1)

# 如果想将概率合并到完整的原始ret_df中，可以这样做：
# 确保ret_df和y_final_df的索引完全匹配
result_df_full = pd.concat([ret_df, y_final_df], axis=1)

print("\n最终合并结果 result_df_full (部分):")
print(result_df_full.head())
print("\n检查合并后的索引是否一致:")
print("原始 ret_df 的第一个索引:", ret_df.index[0])
print("y_final_df 的第一个索引:", y_final_df.index[0])
print("result_df_full 的第一个索引:", result_df_full.index[0])