
本教程详细介绍了如何使用 python 从自定义经验累积分布函数 (cdf) 中高效采样。文章将探讨两种核心方法:一种是直接基于 cdf 离散点进行采样,利用 `numpy.interp` 实现;另一种是通过平滑处理 cdf,例如使用样条插值,借助 `scipy.interpolate.interp1d` 生成更连续的样本。通过具体示例代码和原理阐述,帮助读者掌握在不同场景下从经验 cdf 采样的实用技巧。
在数据分析、模拟和统计建模中,我们经常需要从特定的概率分布中生成随机样本。当标准的参数化分布(如正态分布、指数分布)无法准确描述数据时,经验累积分布函数 (Empirical CDF, ECDF) 提供了一种灵活的非参数方法。ECDF 是根据观测数据构建的,它描述了数据中小于或等于某个特定值的观测值所占的比例。本教程将详细介绍如何利用 Python 中的 numpy 和 scipy 库,从自定义的经验 CDF 中进行高效采样。
经验累积分布函数 F_n(x) 定义为样本中值小于或等于 x 的观测值所占的比例。形式上,对于一组观测数据 x_1, x_2, ..., x_n,ECDF 为: F_n(x) = (1/n) * Σ I(x_i ≤ x) 其中 I(.) 是指示函数。
从 ECDF 中采样的核心原理是逆变换采样 (Inverse Transform Sampling)。其基本思想是:如果 U 是一个服从 [0, 1] 区间上均匀分布的随机变量,F(x) 是一个连续且严格单调递增的 CDF,那么 X = F⁻¹(U)(其中 F⁻¹ 是 F 的逆函数)将服从由 F(x) 定义的分布。对于离散或经验 CDF,我们通过插值来近似这个逆函数。
这种方法直接利用 CDF 的离散点进行采样,不进行任何额外的平滑处理。它适用于 CDF 已经足够离散或我们希望严格遵循给定离散分布的情况。虽然 numpy.interp 执行的是线性插值,但当用于逆变换采样时,它有效地将均匀随机数映射到 CDF 上的相应 X 值,实现了在 CDF 离散点之间进行线性估计。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt # 用于可视化
# 1. 定义自定义经验 CDF 数据
# 'x' 列是数据点,'cdf' 列是对应的累积概率
cdf_data = pd.DataFrame.from_dict({
'x': [10e6, 20e6, 50e6, 100e6, 250e6],
'cdf': [0.4, 0.6, 0.7, 0.8, 1]
})
# 2. 生成10,000个在[0, 1]区间均匀分布的随机数
num_samples = 10000
uniform_samples = np.random.uniform(0, 1, num_samples)
# 3. 使用 numpy.interp 进行不带平滑的采样
# uniform_samples 作为要查找的CDF值 (x)
# cdf_data['cdf'] 作为已知的CDF值 (xp)
# cdf_data['x'] 作为已知的X值 (fp)
samples_method1 = np.interp(uniform_samples, cdf_data['cdf'], cdf_data['x'])
print("不带平滑的采样结果(前10个):")
print(samples_method1[:10])
# 可选:可视化采样结果的分布
plt.figure(figsize=(10, 6))
plt.hist(samples_method1, bins=50, density=True, alpha=0.7, color='skyblue', label='不带平滑的采样结果')
plt.title('不带平滑的采样分布')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()np.interp 函数在 cdf_data['cdf'] 和 cdf_data['x'] 定义的离散点之间执行线性插值。对于 uniform_samples 中的每个随机数,它会在 cdf_data['cdf'] 中找到其位置,然后根据相邻的 x 值进行线性插值,从而得到对应的样本值。这种方法简单高效,尤其适合对性能要求较高且线性插值精度足够的情况。
立即学习“Python免费学习笔记(深入)”;
当经验 CDF 的数据点之间间隔较大,或者我们希望生成一个更平滑、更连续的样本分布时,平滑处理是必要的。这通常通过更高级的插值方法实现,例如样条插值。scipy.interpolate.interp1d 提供了多种插值方法,可以实现更灵活的平滑采样。
from scipy.interpolate import interp1d
import matplotlib.pyplot as plt # 用于可视化
# 沿用之前的 cdf_data 和 uniform_samples
# 1. 使用 scipy.interpolate.interp1d 创建逆 CDF 插值函数
# 'kind' 参数可以指定插值类型,例如 'linear', 'quadratic', 'cubic'。
# 这里我们使用 'cubic'(三次样条插值)以获得更平滑的效果。
# 注意:对于三次样条,至少需要4个数据点。如果数据点不足,可能需要选择其他kind。
# 我们的CDF有5个点,所以可以使用cubic。
# bounds_error=False 和 fill_value 用于处理超出原始数据范围的输入值,
# 确保采样不会因边界问题而失败。
inverse_cdf_spline = interp1d(
cdf_data['cdf'], cdf_data['x'],
kind='cubic',
bounds_error=False,
fill_value=(cdf_data['x'].iloc[0], cdf_data['x'].iloc[-1])
)
# 2. 使用插值函数生成样本
samples_method2 = inverse_cdf_spline(uniform_samples)
print("\n带三次样条平滑的采样结果(前10个):")
print(samples_method2[:10])
# 可选:可视化采样结果的分布
plt.figure(figsize=(10, 6))
plt.hist(samples_method2, bins=50, density=True, alpha=0.7, color='lightcoral', label='三次样条平滑采样结果')
plt.title('带三次样条平滑的采样分布')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()
# 可选:比较两种采样方法的分布
plt.figure(figsize=(12, 6))
plt.hist(samples_method1, bins=50, density=True, alpha=0.5, label='不带平滑采样 (np.interp)', color='skyblue')
plt.hist(samples_method2, bins=50, density=True, alpha=0.5, label='三次样条平滑采样 (interp1d)', color='lightcoral')
plt.title('两种采样方法的分布比较')
plt.xlabel('X 值')
plt.ylabel('密度')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()interp1d 函数创建了一个可调用对象 inverse_cdf_spline,它根据指定的 kind 参数执行插值。当 kind='cubic' 时,它会使用三次样条插值来拟合数据点,生成一条平滑的曲线。将 uniform_samples 传入这个函数,可以得到经过平滑处理后的样本值,这些样本在原始 CDF 离散点之间呈现出更连续的分布。
以上就是从自定义经验累积分布函数 (CDF) 进行采样的 Python 技术指南的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号