
本文详细介绍了如何从自定义的经验累积分布函数(cdf)中进行数据抽样。我们将利用逆变换抽样原理,结合python的numpy和scipy库,实现两种抽样方法:一是直接基于cdf离散点进行阶梯式插值抽样,二是采用样条等平滑技术对cdf进行插值后抽样,以生成更平滑、更符合实际分布的样本。
经验累积分布函数(Empirical CDF, ECDF)是根据观测数据而非理论模型构建的CDF。它通过统计样本中小于或等于某个特定值的观测比例来估计随机变量的CDF。与理论CDF通常是连续函数不同,经验CDF通常由一系列离散点定义,这些点代表了观测到的值及其对应的累积概率。
例如,一个由DataFrame定义的经验CDF可能包含两列:x 值(随机变量的取值)和 cdf 值(对应 x 的累积概率)。
从任何给定的累积分布函数 F(x) 中进行抽样的核心方法是逆变换抽样(Inverse Transform Sampling)。其基本原理如下:
在处理经验CDF时,由于 F(x) 通常不是一个解析函数,我们需要通过插值来近似其逆函数 F⁻¹(U)。
当不需要对CDF进行平滑处理时,可以直接利用经验CDF的离散点进行抽样。这种方法通常采用分段线性插值,将均匀随机数映射到CDF的 x 值。Numpy库的 np.interp 函数非常适合这种场景。
np.interp(x, xp, fp) 函数的作用是:给定一组已知的数据点 (xp, fp),它会根据 xp 和 fp 之间的关系,对 x 中的每个值进行线性插值,并返回对应的 fp 值。在这里,我们将均匀随机数作为 x,CDF的概率值作为 xp,CDF的 x 值作为 fp,从而实现逆变换抽样。
示例代码:
import pandas as pd
import numpy as np
# 定义一个自定义的经验CDF
cdf_data = pd.DataFrame.from_dict(
{'x':[10e6, 20e6, 50e6, 100e6, 250e6],
'cdf':[0.4, 0.6, 0.7, 0.8, 1]}
)
# 1. 生成10,000个在(0, 1)区间上的均匀随机数
num_samples = 10000
uniform_samples = np.random.uniform(0, 1, num_samples)
# 2. 使用numpy.interp进行抽样
# uniform_samples 作为待查找的概率值 (x)
# cdf_data['cdf'] 作为已知概率点 (xp)
# cdf_data['x'] 作为已知x值 (fp)
# np.interp 会根据 uniform_samples 在 cdf_data['cdf'] 中的位置,
# 线性插值出 cdf_data['x'] 中对应的值。
samples_direct = np.interp(uniform_samples, cdf_data['cdf'], cdf_data['x'])
print("直接抽样结果示例 (前10个):")
print(samples_direct[:10])
print(f"抽样结果的最小值: {samples_direct.min():.2f}, 最大值: {samples_direct.max():.2f}")代码解释:np.interp 函数通过在 cdf_data['cdf'] 中查找 uniform_samples 对应的位置,然后返回 cdf_data['x'] 中相应的线性插值结果。这种方法简单高效,生成的样本值将严格落在原始CDF的 x 范围内。
在某些情况下,如果原始CDF数据点较少,或者希望生成的样本分布更平滑、更连续,可以对经验CDF进行平滑插值。Scipy库的 scipy.interpolate.interp1d 函数提供了多种插值方法,包括线性、二次、三次样条等,可以用来构建一个更连续的CDF逆函数。
示例代码:
from scipy.interpolate import interp1d
import matplotlib.pyplot as plt # 可选:用于可视化
# 沿用之前的 cdf_data 和 uniform_samples
# 1. 使用scipy.interpolate.interp1d创建插值函数
# kind参数指定插值类型:'linear'(线性)、'quadratic'(二次)、'cubic'(三次样条)等
# bounds_error=False 允许插值点超出原始数据范围,此时会使用 fill_value 进行外推或填充
# fill_value=(cdf_data['x'].iloc[0], cdf_data['x'].iloc[-1])
# - 如果插值点小于最小xp值,使用cdf_data['x'].iloc[0]
# - 如果插值点大于最大xp值,使用cdf_data['x'].iloc[-1]
# 这确保了均匀随机数0和1也能得到有效的x值,且不会超出原始x的物理范围。
cdf_interpolator_linear = interp1d(cdf_data['cdf'], cdf_data['x'], kind='linear',
bounds_error=False, fill_value=(cdf_data['x'].iloc[0], cdf_data['x'].iloc[-1]))
cdf_interpolator_cubic = interp1d(cdf_data['cdf'], cdf_data['x'], kind='cubic',
bounds_error=False, fill_value=(cdf_data['x'].iloc[0], cdf_data['x'].iloc[-1]))
# 2. 使用插值函数进行抽样
samples_smoothed_linear = cdf_interpolator_linear(uniform_samples)
samples_smoothed_cubic = cdf_interpolator_cubic(uniform_samples)
print("\n平滑抽样结果示例 (线性插值, 前10个):")
print(samples_smoothed_linear[:10])
print(f"抽样结果的最小值: {samples_smoothed_linear.min():.2f}, 最大值: {samples_smoothed_linear.max():.2f}")
print("\n平滑抽样结果示例 (三次样条插值, 前10个):")
print(samples_smoothed_cubic[:10])
print(f"抽样结果的最小值: {samples_smoothed_cubic.min():.2f}, 最大值: {samples_smoothed_cubic.max():.2f}")
# 可选:通过直方图可视化比较不同方法的样本分布
# plt.figure(figsize=(12, 6))
# plt.hist(samples_direct, bins=50, density=True, alpha=0.5, label='直接抽样 (np.interp)')
# plt.hist(samples_smoothed_linear, bins=50, density=True, alpha=0.5, label='平滑抽样 (interp1d, linear)')
# plt.hist(samples_smoothed_cubic, bins=50, density=True, alpha=0.5, label='平滑抽样 (interp1d, cubic)')
# plt.title('不同抽样方法下的样本分布')
# plt.xlabel('X值')
# plt.ylabel('密度')
# plt.legend()
# plt.grid(True)
# plt.show()代码解释:interp1d 创建了一个可调用的插值函数。通过设置 kind 参数,可以选择不同的插值算法。'linear' 行为与 np.interp 类似,而 'cubic'(三次样条)会生成一条更平滑的曲线,从而产生更连续的样本分布。bounds_error=False 和 fill_value 参数是关键,它们确保了即使均匀随机数落在CDF定义域的边缘(例如,非常接近0或1),也能得到一个有效的 x 值,并将其限制在原始 x 数据的物理范围内。
本文详细阐述了从自定义经验CDF进行抽样的两种主要方法:直接阶梯式插值和通过平滑函数(如样条)插值。numpy.interp 适用于快速、直接的线性插值抽样,生成的样本严格在原始 x 范围内。scipy.interpolate.interp1d 则提供了更丰富的插值选项,特别是样条插值,能够生成更平滑、更连续的样本分布,适用于对分布平滑性有更高要求的场景。在实际应用中,应根据数据特性、对样本平滑度的要求以及计算效率等因素,选择最合适的抽样策略。
以上就是从自定义经验累积分布函数(CDF)高效抽样:Numpy与Scipy实践指南的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号