
本文旨在详细阐述在机器学习模型中,如何将经过对数(log)转换的预测结果还原为原始数据尺度。通过对数转换可以改善数据分布,但在模型预测后,需要使用指数函数(`np.exp()`)进行逆转换,以确保结果的直观性和可解释性。文章将涵盖对数转换的背景、逆转换的实现方法,并强调在评估模型性能时,如何正确处理转换后的数据。
在数据预处理阶段,对数转换(如自然对数 np.log())是一种常用的技术,尤其适用于处理具有高度偏斜分布(如右偏)的数值型数据。其主要目的包括:
例如,在处理金融、收入或某些物理量数据时,这些变量往往呈现长尾分布,少量高值会严重影响模型的训练。以下代码片段展示了如何对数据集中的 value_eur 和 wage_eur 列进行对数转换:
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error
# 假设 dtd 和 dtk 是您的DataFrame,这里仅为示例创建
# dtd = pd.DataFrame({'value_eur': [100, 2000, 50000, 10, 300000], 'wage_eur': [50, 1000, 20000, 5, 150000], 'feature1': [1,2,3,4,5]})
# dtk = dtd.copy() # 假设 dtk 是原始数据
# 为了演示,我们先创建一个示例 DataFrame
data = {
'value_eur': [100, 2000, 50000, 10, 300000, 0, 15000],
'wage_eur': [50, 1000, 20000, 5, 150000, 0, 7500],
'feature1': [1, 2, 3, 4, 5, 6, 7],
'feature2': [10, 20, 30, 40, 50, 60, 70]
}
dtd = pd.DataFrame(data)
dtk = dtd.copy() # 假设 dtk 存储原始值
# 创建布尔掩码以处理非正值,避免对数运算错误
mask_value = dtd['value_eur'] > 0
mask_wage = dtd['wage_eur'] > 0
# 对数转换
dtd.loc[mask_value, 'value_eur'] = np.log(dtk.loc[mask_value, 'value_eur'])
dtd.loc[mask_wage, 'wage_eur'] = np.log(dtk.loc[mask_wage, 'wage_eur'])
# 定义特征X和目标y
X = dtd.drop(['value_eur'], axis=1)
y = dtd['value_eur']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 假设 regressor 是一个已训练好的模型
# 这里使用一个简单的线性回归模型作为示例
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)
# 进行预测
regs = regressor.predict(X_test)
print("对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行:")
results_log_scale = pd.DataFrame({
'grids predicted values (log)': regs,
'true values (log)': y_test
})
print(results_log_scale.head())输出可能类似:
对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行: grids predicted values (log) true values (log) 5 10.231222 8.779557 3 8.528407 2.302585
可以看到,预测值和真实值都处于对数尺度。
当模型在对数转换后的目标变量上进行训练并生成预测时,这些预测值同样处于对数尺度。为了使这些预测值具有实际意义和可解释性,我们需要将其逆转换为原始数据尺度。自然对数(np.log())的逆运算是指数函数(np.exp())。
要将模型的预测结果 regs 还原到原始尺度,只需对 regs 应用 np.exp() 函数。
# 对预测值进行逆转换
y_pred_original_scale = np.exp(regs)
# 如果要评估原始尺度的误差,y_test也需要逆转换
# 注意:y_test 此时是 log 转换后的真实值
y_test_original_scale = np.exp(y_test)
# 计算原始尺度下的平均绝对误差 (MAE)
mae_original_scale = mean_absolute_error(y_test_original_scale, y_pred_original_scale)
print(f"\n原始尺度下的平均绝对误差 (MAE): {mae_original_scale}")
# 展示原始尺度下的预测值和真实值
results_original_scale = pd.DataFrame({
'grids predicted values (original)': y_pred_original_scale,
'true values (original)': y_test_original_scale
})
print("\n原始尺度下的预测值和真实值的前几行:")
print(results_original_scale.head())输出可能类似:
原始尺度下的平均绝对误差 (MAE): 2588.541170044563 原始尺度下的预测值和真实值的前几行: grids predicted values (original) true values (original) 5 27757.258673 6500.000000 3 5058.070624 10.000000
通过上述步骤,我们成功地将模型在对数尺度上的预测结果还原到了原始数据尺度,使其更具业务可读性和实用价值。
总结
在机器学习流程中,对数转换是处理偏斜数据和改善模型性能的强大工具。然而,为了确保模型预测结果的直观性和可解释性,对预测值进行逆转换是必不可少的步骤。通过简单地应用 np.exp() 函数,我们可以将对数尺度上的预测还原为原始数据尺度,从而提供更具实际意义的洞察。在执行此操作时,请务必注意评估指标的计算方式以及原始数据中零值或负值的处理。
以上就是如何将对数转换后的预测值还原为原始数据尺度的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号