Polars中高效计算指数移动平均线（EMA）的最佳实践

本教程详细介绍了如何在polars中高效计算指数移动平均线（ema）。我们将探讨从pandas迁移ema计算逻辑时可能遇到的常见问题，特别是与空值处理相关的挑战。通过示例代码，本文将展示如何正确构造包含初始sma值的序列，并使用polars的`ewm_mean`函数避免nan值输出，确保ema计算的准确性和一致性。

指数移动平均线（EMA）是技术分析中广泛使用的指标，它通过赋予近期数据更高的权重来平滑价格数据，从而更灵敏地反映市场趋势。在高性能数据处理框架Polars中实现EMA计算，需要理解其特有的数据结构和函数行为。本教程旨在提供一个清晰、专业的指南，帮助开发者在Polars中准确高效地计算EMA。

Polars中的EMA计算原理

Polars提供了ewm_mean函数来计算指数加权移动平均。该函数是Series和DataFrame对象的方法，能够高效处理大规模时间序列数据。理解其核心参数对于正确使用至关重要：

• span：指定EMA的周期长度。它用于计算平滑因子 $\alpha = 2 / (span + 1)$。
• adjust：一个布尔值，决定是否根据初始观察值进行调整。当adjust=True时，会根据权重之和进行调整，这与Pandas的默认行为一致。
• ignore_nulls：一个布尔值，指示在计算过程中是否忽略空值。在某些特定的EMA初始化场景中，将其设置为False以确保空值参与权重计算可能是必要的。
• min_periods：计算第一个有效EMA值所需的最小观测值数量。设置为0通常允许从第一个非空值开始计算。

从Pandas到Polars的迁移考量

许多数据科学家习惯于使用Pandas进行数据分析，其中df.ewm(span=length, adjust=adjust).mean()是计算EMA的常见模式。在将此逻辑迁移到Polars时，一个常见的需求是模拟某些技术分析库中EMA的特定初始化方式：即在序列的前length-1个位置填充空值，并在第length个位置填充前length个数据的简单移动平均（SMA）。

然而，在Polars中直接使用numpy.NaN来表示空值，可能会导致ewm_mean函数在处理时出现问题，尤其是在混合了numpy.NaN和Polars原生None（或null）的序列中。Polars对None有更优化的内部处理机制，将其视为真正的缺失值。

问题剖析：为什么会出现NaN值？

当尝试在Polars中构建一个序列，其中包含numpy.NaN作为占位符，然后应用ewm_mean时，可能会发现结果序列完全由NaN组成。这通常是由于Polars的内部类型系统和ewm_mean函数对不同空值表示的处理方式不同造成的。

• numpy.NaN: 这是一个浮点数类型的值，表示“非数字”。在某些情况下，Polars可能不会将其完全识别为可跳过或可替换的缺失值，尤其是在需要进行数值计算的上下文中。
• Polars原生None (或 null): 这是Polars推荐的缺失值表示方式。当创建一个包含None的pl.Series时，Polars会正确地将其识别为缺失值，并在进行聚合或计算时按照预期的规则处理。

因此，当在Polars中构建包含缺失值的序列时，应优先使用None而不是numpy.NaN，以确保与Polars函数的兼容性和正确性。

Polars EMA的正确实现

为了在Polars中实现带有SMA初始化的EMA计算，我们需要遵循以下步骤：

算家云

高效、便捷的人工智能算力服务平台

37

查看详情

1. 准备数据: 确保输入数据是一个Polars Series。
2. 计算初始SMA: 获取前length个元素的简单移动平均。
3. 构建带有初始值的序列:
   • 创建一个由None组成的Polars Series，作为前length-1个位置的占位符。
   • 将计算出的SMA值作为一个单独的Polars Series。
   • 将这两部分与原始数据的剩余部分拼接起来，形成最终的输入序列。
4. 应用ewm_mean: 使用正确的参数调用ewm_mean。

以下是实现这一逻辑的Polars函数示例：

import polars as pl
import numpy as np

def polars_ema(close: pl.Series, length: int = 10, adjust: bool = False, sma: bool = True) -> pl.Series:
    """
    计算Polars Series的指数移动平均线（EMA）。
    此实现支持可选的SMA初始化。

    参数:
        close: 输入的Polars Series，包含待计算EMA的数值。
        length: EMA的周期长度。
        adjust: 是否根据初始观察值调整权重。
        sma: 如果为True，则在第length个位置用前length个数据的SMA进行初始化。

    返回:
        计算出的EMA Polars Series。
    """
    if close is None:
        return pl.Series([], dtype=pl.Float64)

    # 确保length是正整数
    length = int(length) if length and length > 0 else 10

    # 如果sma为True，则进行特定的SMA初始化
    if sma:
        # 计算前length个元素的简单移动平均
        sma_nth = close.slice(0, length).mean()

        # 创建一个由None组成的Series，作为前length-1个位置的占位符
        # 必须指定dtype，以确保类型兼容性
        nones = pl.Series([None] * (length - 1), dtype=pl.Float64)

        # 将SMA值作为一个Series
        sma_nth_series = pl.Series("sma_nth", [sma_nth], dtype=pl.Float64)

        # 将nones和sma_nth_series拼接起来
        initial_part = nones.append(sma_nth_series)

        # 获取原始数据的剩余部分
        rest_of_close = close.slice(length, close.len())

        # 将初始部分和剩余部分拼接，形成最终用于EMA计算的序列
        close_for_ema = initial_part.append(rest_of_close)
    else:
        close_for_ema = close

    # 计算EMA
    # ignore_nulls=False 确保空值在权重计算中被考虑（尽管它们本身没有数值）
    # min_periods=0 允许从第一个非空值开始计算EMA
    ema = close_for_ema.ewm_mean(span=length, adjust=adjust, ignore_nulls=False, min_periods=0)
    return ema

示例代码

让我们使用提供的样本数据来测试上述函数：

# 样本数据
sample_data = [
    1.08086, 1.08069, 1.08077, 1.08077, 1.08052,
    1.08055, 1.08068, 1.08073, 1.08077, 1.08073,
    1.08068, 1.08062, 1.08052, 1.08060, 1.08063,
    1.08064, 1.08063, 1.08053, 1.08067, 1.08058
]

# 将数据转换为Polars Series
close_series = pl.Series("close", sample_data)

# 使用length=10计算EMA
result_ema = polars_ema(close_series, length=10)
print(result_ema)

输出示例：

shape: (20,)
Series: 'close' [f64]
[
    null
    null
    null
    null
    null
    null
    null
    null
    null
    1.080707
    1.0806957272727272
    1.0806738131818182
    1.0806285744214876
    1.0806142881630353
    1.0806207794061198
    1.0806297285904616
    1.0806306869376503
    1.0806076529489866
    1.0806280800491708
    1.0806119800402288
]

可以看到，前9个值（length - 1）为null，第10个值是前10个数据的SMA，之后的值是正常的EMA计算结果。

关键参数与注意事项

• 使用None而非numpy.NaN: 这是解决Polars ewm_mean返回全NaN问题的关键。pl.Series([None] * N, dtype=pl.Float64)是创建包含Polars原生缺失值的正确方式。
• dtype的重要性: 在创建nones Series时，明确指定dtype=pl.Float64非常重要，以确保类型一致性，避免潜在的类型推断问题。
• adjust参数: 其行为与Pandas中的同名参数一致，影响EMA权重的计算方式。
• ignore_nulls=False: 在本特定的初始化场景中，将其设置为False是关键，它指示ewm_mean在处理包含None的序列时，将这些None视为有效的“占位符”，并按照预期计算EMA，而不是直接跳过它们。如果设置为True，ewm_mean可能会忽略这些None，导致EMA从第一个非None值开始计算，而不是从SMA值开始。
• min_periods=0: 确保EMA可以在遇到第一个非空值时就开始计算，这与我们的SMA初始化逻辑相符。

总结

在Polars中计算指数移动平均线（EMA）是一个强大而高效的操作。通过理解Polars处理缺失值的机制，并正确使用ewm_mean函数及其参数，我们可以轻松地实现复杂的EMA初始化逻辑，例如在特定周期后使用简单移动平均进行初始化。关键在于使用Polars原生的None来表示缺失值，而非numpy.NaN，并合理配置ewm_mean的ignore_nulls和min_periods参数，以确保计算结果的准确性和预期行为。遵循这些最佳实践，将使您能够充分利用Polars的性能优势，进行高效的数据分析。

以上就是Polars中高效计算指数移动平均线（EMA）的最佳实践的详细内容，更多请关注php中文网其它相关文章！