从自定义经验累积分布函数 (CDF) 进行采样的 Python 技术指南

心靈之曲
发布: 2025-11-11 11:25:01
原创
138人浏览过

从自定义经验累积分布函数 (CDF) 进行采样的 Python 技术指南

本教程详细介绍了如何使用 python 从自定义经验累积分布函数 (cdf) 中高效采样。文章将探讨两种核心方法:一种是直接基于 cdf 离散点进行采样,利用 `numpy.interp` 实现;另一种是通过平滑处理 cdf,例如使用样条插值,借助 `scipy.interpolate.interp1d` 生成更连续的样本。通过具体示例代码和原理阐述,帮助读者掌握在不同场景下从经验 cdf 采样的实用技巧。

在数据分析、模拟和统计建模中,我们经常需要从特定的概率分布中生成随机样本。当标准的参数化分布(如正态分布、指数分布)无法准确描述数据时,经验累积分布函数 (Empirical CDF, ECDF) 提供了一种灵活的非参数方法。ECDF 是根据观测数据构建的,它描述了数据中小于或等于某个特定值的观测值所占的比例。本教程将详细介绍如何利用 Python 中的 numpy 和 scipy 库,从自定义的经验 CDF 中进行高效采样。

理解经验累积分布函数 (ECDF) 与逆变换采样原理

经验累积分布函数 F_n(x) 定义为样本中值小于或等于 x 的观测值所占的比例。形式上,对于一组观测数据 x_1, x_2, ..., x_n,ECDF 为: F_n(x) = (1/n) * Σ I(x_i ≤ x) 其中 I(.) 是指示函数。

从 ECDF 中采样的核心原理是逆变换采样 (Inverse Transform Sampling)。其基本思想是:如果 U 是一个服从 [0, 1] 区间上均匀分布的随机变量,F(x) 是一个连续且严格单调递增的 CDF,那么 X = F⁻¹(U)(其中 F⁻¹ 是 F 的逆函数)将服从由 F(x) 定义的分布。对于离散或经验 CDF,我们通过插值来近似这个逆函数。

方法一:不带平滑的直接采样

这种方法直接利用 CDF 的离散点进行采样,不进行任何额外的平滑处理。它适用于 CDF 已经足够离散或我们希望严格遵循给定离散分布的情况。虽然 numpy.interp 执行的是线性插值,但当用于逆变换采样时,它有效地将均匀随机数映射到 CDF 上的相应 X 值,实现了在 CDF 离散点之间进行线性估计。

实现方式

  1. 生成一组在 [0, 1] 范围内均匀分布的随机数。
  2. 将这些均匀随机数视为 CDF 的值(y轴)。
  3. 使用 numpy.interp 函数,将这些 CDF 值映射回原始的 x 值。numpy.interp(x, xp, fp) 会根据 xp 和 fp 定义的查找表,对 x 中的每个值进行线性插值。在这里,xp 是已知的 CDF 值,fp 是这些 CDF 值对应的 x 值。

示例代码

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt # 用于可视化

# 1. 定义自定义经验 CDF 数据
# 'x' 列是数据点,'cdf' 列是对应的累积概率
cdf_data = pd.DataFrame.from_dict({
    'x': [10e6, 20e6, 50e6, 100e6, 250e6],
    'cdf': [0.4, 0.6, 0.7, 0.8, 1]
})

# 2. 生成10,000个在[0, 1]区间均匀分布的随机数
num_samples = 10000
uniform_samples = np.random.uniform(0, 1, num_samples)

# 3. 使用 numpy.interp 进行不带平滑的采样
# uniform_samples 作为要查找的CDF值 (x)
# cdf_data['cdf'] 作为已知的CDF值 (xp)
# cdf_data['x'] 作为已知的X值 (fp)
samples_method1 = np.interp(uniform_samples, cdf_data['cdf'], cdf_data['x'])

print("不带平滑的采样结果(前10个):")
print(samples_method1[:10])

# 可选:可视化采样结果的分布
plt.figure(figsize=(10, 6))
plt.hist(samples_method1, bins=50, density=True, alpha=0.7, color='skyblue', label='不带平滑的采样结果')
plt.title('不带平滑的采样分布')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()
登录后复制

代码解释

np.interp 函数在 cdf_data['cdf'] 和 cdf_data['x'] 定义的离散点之间执行线性插值。对于 uniform_samples 中的每个随机数,它会在 cdf_data['cdf'] 中找到其位置,然后根据相邻的 x 值进行线性插值,从而得到对应的样本值。这种方法简单高效,尤其适合对性能要求较高且线性插值精度足够的情况。

通义万相
通义万相

通义万相,一个不断进化的AI艺术创作大模型

通义万相 596
查看详情 通义万相

立即学习Python免费学习笔记(深入)”;

方法二:带平滑的采样

当经验 CDF 的数据点之间间隔较大,或者我们希望生成一个更平滑、更连续的样本分布时,平滑处理是必要的。这通常通过更高级的插值方法实现,例如样条插值。scipy.interpolate.interp1d 提供了多种插值方法,可以实现更灵活的平滑采样。

实现方式

  1. 使用 scipy.interpolate.interp1d 创建一个逆 CDF 插值函数。
  2. 通过 kind 参数指定插值类型,例如 'linear'(线性)、'quadratic'(二次)或 'cubic'(三次样条)。三次样条插值通常能提供更平滑的结果。
  3. 将之前生成的均匀随机数作为输入传递给这个插值函数,以获取平滑后的样本。

示例代码

from scipy.interpolate import interp1d
import matplotlib.pyplot as plt # 用于可视化

# 沿用之前的 cdf_data 和 uniform_samples

# 1. 使用 scipy.interpolate.interp1d 创建逆 CDF 插值函数
# 'kind' 参数可以指定插值类型,例如 'linear', 'quadratic', 'cubic'。
# 这里我们使用 'cubic'(三次样条插值)以获得更平滑的效果。
# 注意:对于三次样条,至少需要4个数据点。如果数据点不足,可能需要选择其他kind。
# 我们的CDF有5个点,所以可以使用cubic。
# bounds_error=False 和 fill_value 用于处理超出原始数据范围的输入值,
# 确保采样不会因边界问题而失败。
inverse_cdf_spline = interp1d(
    cdf_data['cdf'], cdf_data['x'],
    kind='cubic',
    bounds_error=False,
    fill_value=(cdf_data['x'].iloc[0], cdf_data['x'].iloc[-1])
)

# 2. 使用插值函数生成样本
samples_method2 = inverse_cdf_spline(uniform_samples)

print("\n带三次样条平滑的采样结果(前10个):")
print(samples_method2[:10])

# 可选:可视化采样结果的分布
plt.figure(figsize=(10, 6))
plt.hist(samples_method2, bins=50, density=True, alpha=0.7, color='lightcoral', label='三次样条平滑采样结果')
plt.title('带三次样条平滑的采样分布')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()

# 可选:比较两种采样方法的分布
plt.figure(figsize=(12, 6))
plt.hist(samples_method1, bins=50, density=True, alpha=0.5, label='不带平滑采样 (np.interp)', color='skyblue')
plt.hist(samples_method2, bins=50, density=True, alpha=0.5, label='三次样条平滑采样 (interp1d)', color='lightcoral')
plt.title('两种采样方法的分布比较')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()
登录后复制

代码解释

interp1d 函数创建了一个可调用对象 inverse_cdf_spline,它根据指定的 kind 参数执行插值。当 kind='cubic' 时,它会使用三次样条插值来拟合数据点,生成一条平滑的曲线。将 uniform_samples 传入这个函数,可以得到经过平滑处理后的样本值,这些样本在原始 CDF 离散点之间呈现出更连续的分布。

注意事项与最佳实践

  1. CDF 的有效性:确保输入的 CDF 数据是有效的。CDF 值必须是单调不减的,且通常应从 0 开始到 1 结束。如果 CDF 不是严格单调递增,interp1d 可能会遇到问题,尤其是在选择某些 kind 参数时。
  2. 插值方法的选择
    • numpy.interp 默认进行线性插值,简单高效,适用于对精度要求不高或数据点足够密集的情况。
    • scipy.interpolate.interp1d 提供了更丰富的插值选项 (linear, nearest, zero, slinear, quadratic, cubic, previous, next)。选择哪种 kind 取决于数据特性和对平滑度的需求。cubic 通常提供很好的平滑效果,但计算成本略高,且需要更多数据点。
  3. 边界处理:当均匀随机数可能落在原始 CDF 定义域之外时(例如,非常接近0或1),np.interp 会自动处理(使用边界值),而 interp1d 需要通过 bounds_error=False 和

以上就是从自定义经验累积分布函数 (CDF) 进行采样的 Python 技术指南的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号