如何将对数转换后的预测值还原为原始数据尺度

花韻仙語
发布: 2025-12-03 12:50:28
原创
114人浏览过

如何将对数转换后的预测值还原为原始数据尺度

本文旨在详细阐述在机器学习模型中,如何将经过对数(log)转换的预测结果还原为原始数据尺度。通过对数转换可以改善数据分布,但在模型预测后,需要使用指数函数(`np.exp()`)进行逆转换,以确保结果的直观性和可解释性。文章将涵盖对数转换的背景、逆转换的实现方法,并强调在评估模型性能时,如何正确处理转换后的数据。

理解对数转换及其应用

在数据预处理阶段,对数转换(如自然对数 np.log())是一种常用的技术,尤其适用于处理具有高度偏斜分布(如右偏)的数值型数据。其主要目的包括:

  1. 正态化数据分布: 许多统计模型和机器学习算法假设数据服从正态分布,对数转换有助于将偏斜数据转换为更接近正态分布的形态。
  2. 稳定方差: 对于方差随均值增大的数据,对数转换可以帮助稳定方差,减少异方差性。
  3. 线性化关系: 在某些情况下,非线性关系经过对数转换后可能变为线性关系,从而使线性模型更有效。

例如,在处理金融、收入或某些物理量数据时,这些变量往往呈现长尾分布,少量高值会严重影响模型的训练。以下代码片段展示了如何对数据集中的 value_eur 和 wage_eur 列进行对数转换:

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error
# 假设 dtd 和 dtk 是您的DataFrame,这里仅为示例创建
# dtd = pd.DataFrame({'value_eur': [100, 2000, 50000, 10, 300000], 'wage_eur': [50, 1000, 20000, 5, 150000], 'feature1': [1,2,3,4,5]})
# dtk = dtd.copy() # 假设 dtk 是原始数据

# 为了演示,我们先创建一个示例 DataFrame
data = {
    'value_eur': [100, 2000, 50000, 10, 300000, 0, 15000],
    'wage_eur': [50, 1000, 20000, 5, 150000, 0, 7500],
    'feature1': [1, 2, 3, 4, 5, 6, 7],
    'feature2': [10, 20, 30, 40, 50, 60, 70]
}
dtd = pd.DataFrame(data)
dtk = dtd.copy() # 假设 dtk 存储原始值

# 创建布尔掩码以处理非正值,避免对数运算错误
mask_value = dtd['value_eur'] > 0
mask_wage = dtd['wage_eur'] > 0

# 对数转换
dtd.loc[mask_value, 'value_eur'] = np.log(dtk.loc[mask_value, 'value_eur'])
dtd.loc[mask_wage, 'wage_eur'] = np.log(dtk.loc[mask_wage, 'wage_eur'])

# 定义特征X和目标y
X = dtd.drop(['value_eur'], axis=1)
y = dtd['value_eur']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 假设 regressor 是一个已训练好的模型
# 这里使用一个简单的线性回归模型作为示例
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 进行预测
regs = regressor.predict(X_test)

print("对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行:")
results_log_scale = pd.DataFrame({
    'grids predicted values (log)': regs,
    'true values (log)': y_test
})
print(results_log_scale.head())
登录后复制

输出可能类似:

对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行:
   grids predicted values (log)  true values (log)
5                     10.231222          8.779557
3                      8.528407          2.302585
登录后复制

可以看到,预测值和真实值都处于对数尺度。

逆转换:还原预测值到原始尺度

当模型在对数转换后的目标变量上进行训练并生成预测时,这些预测值同样处于对数尺度。为了使这些预测值具有实际意义和可解释性,我们需要将其逆转换为原始数据尺度。自然对数(np.log())的逆运算是指数函数(np.exp())。

要将模型的预测结果 regs 还原到原始尺度,只需对 regs 应用 np.exp() 函数。

Cutout.Pro
Cutout.Pro

AI驱动的视觉设计平台

Cutout.Pro 331
查看详情 Cutout.Pro
# 对预测值进行逆转换
y_pred_original_scale = np.exp(regs)

# 如果要评估原始尺度的误差,y_test也需要逆转换
# 注意:y_test 此时是 log 转换后的真实值
y_test_original_scale = np.exp(y_test)

# 计算原始尺度下的平均绝对误差 (MAE)
mae_original_scale = mean_absolute_error(y_test_original_scale, y_pred_original_scale)
print(f"\n原始尺度下的平均绝对误差 (MAE): {mae_original_scale}")

# 展示原始尺度下的预测值和真实值
results_original_scale = pd.DataFrame({
    'grids predicted values (original)': y_pred_original_scale,
    'true values (original)': y_test_original_scale
})

print("\n原始尺度下的预测值和真实值的前几行:")
print(results_original_scale.head())
登录后复制

输出可能类似:

原始尺度下的平均绝对误差 (MAE): 2588.541170044563

原始尺度下的预测值和真实值的前几行:
   grids predicted values (original)  true values (original)
5                       27757.258673             6500.000000
3                         5058.070624               10.000000
登录后复制

通过上述步骤,我们成功地将模型在对数尺度上的预测结果还原到了原始数据尺度,使其更具业务可读性和实用价值。

注意事项与总结

  1. 评估指标: 在对数转换后,模型通常会在对数尺度上进行优化。因此,评估指标(如MAE、RMSE)如果在对数尺度上计算,反映的是对数误差。如果需要评估原始尺度上的误差,务必在计算指标前对预测值和真实值都进行逆转换。如上述示例所示,mean_absolute_error(np.exp(y_test), np.exp(regs)) 才是原始尺度上的MAE。
  2. 处理零值或负值: 对数函数只对正数有定义。如果原始数据包含零或负值,在进行对数转换前需要进行特殊处理,例如:
    • 加一个小的常数:np.log(x + C),其中 C 是一个很小的正数。
    • 使用其他转换方法,如 Box-Cox 转换,它可以处理零值和负值。
    • 仅对正值进行对数转换,并对零值或负值进行单独处理或建模。
  3. 对数类型: np.log() 默认是自然对数(底数为 e)。如果使用了其他底数的对数(例如 np.log10()),则逆转换需要使用相应的幂函数(例如 10**x)。
  4. 模型解释性: 虽然对数转换有助于模型训练,但模型系数的解释性会变得复杂。逆转换后的预测值则直接反映了原始数据的量级,更便于业务人员理解。

总结

在机器学习流程中,对数转换是处理偏斜数据和改善模型性能的强大工具。然而,为了确保模型预测结果的直观性和可解释性,对预测值进行逆转换是必不可少的步骤。通过简单地应用 np.exp() 函数,我们可以将对数尺度上的预测还原为原始数据尺度,从而提供更具实际意义的洞察。在执行此操作时,请务必注意评估指标的计算方式以及原始数据中零值或负值的处理。

以上就是如何将对数转换后的预测值还原为原始数据尺度的详细内容,更多请关注php中文网其它相关文章!

相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号