在Pandas中精确比较带NaN的浮点数列并统计差异

挑战分析：浮点数精度与NaN值比较

在数据处理和分析中，比较两个dataframe中特定列的差异是一项常见任务。然而，当这些列包含浮点数和缺失值（nan）时，简单的相等性比较可能会导致不准确的结果。

1. 浮点数精度问题： 浮点数在计算机内部的表示方式决定了它们可能存在微小的精度误差。例如，0.1 + 0.2 可能不严格等于 0.3。因此，直接使用 == 运算符比较两个浮点数可能会将实际上相同的值误判为不同。
2. NaN值处理： 在Pandas中，NaN（Not a Number）代表缺失数据。根据IEEE 754浮点数标准，NaN 与任何值（包括 NaN 自身）的比较结果都是 False。这意味着，如果两列中对应位置都是 NaN，直接比较会认为它们是不同的，这与我们通常希望 NaN 对 NaN 不计入差异的业务逻辑相悖。

为了解决这些挑战，我们需要一种更健壮的方法来执行比较。

解决方案：结合 round() 与 compare()

Pandas库提供了强大的工具来处理这些复杂场景。我们可以结合使用 round() 方法来标准化浮点数精度，以及 compare() 方法来智能地识别差异并处理NaN值。

1. 处理浮点数精度：round() 方法

在进行浮点数比较之前，通过 round() 方法将浮点数四舍五入到指定的精度，可以有效消除因精度误差导致的误判。选择合适的精度至关重要，它应基于数据的实际需求和可接受的误差范围。

import pandas as pd

# 示例数据
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}

df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)

# 将目标列的浮点数四舍五入到指定的小数位数，例如4位
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)

print("处理精度后的df1:\n", df1)
print("\n处理精度后的df2:\n", df2)

通过 round() 操作，我们确保了在后续比较中，只有在指定精度范围外存在差异的浮点数才会被识别。

2. 识别差异并处理NaN：compare() 方法

Pandas的 DataFrame.compare() 方法是专门设计用于比较两个DataFrame并突出显示差异的工具。它能够智能地处理NaN值：当两个DataFrame在相同位置都包含 NaN 时，compare() 方法不会将其视为差异并包含在结果中，这完美符合我们“NaN 对 NaN 不计入差异”的需求。

compare() 方法会返回一个新的DataFrame，其中只包含两个原始DataFrame中不同的行和列。对于每个不同的单元格，它会创建两列：self（来自调用compare()的DataFrame）和 other（来自作为参数传入的DataFrame）。

比格设计

比格设计是135编辑器旗下一款一站式、多场景、智能化的在线图片编辑器

124

查看详情

# 使用compare方法比较处理过精度的DataFrame
comparison = df1.compare(df2)

print("\n差异比较结果:\n", comparison)

输出解释：comparison DataFrame的列是多级索引，外层索引是原始列名（例如 col），内层索引是 self 和 other，分别表示 df1 和 df2 中对应位置的值。例如，在索引为1的行中，df1['col'] 的值为 2.0，而 df2['col'] 的值为 2.5，因此这一行被 compare 识别为差异。 值得注意的是，原始数据中索引为4的行，df1['col'] 和 df2['col'] 都为 None（即 NaN）。由于 compare() 的默认行为，这一对 NaN 值并未出现在 comparison 结果中，表明它们没有被视为差异。

统计差异行数

一旦 compare() 方法返回了差异DataFrame，统计不同行的数量就非常简单了。只需获取 comparison DataFrame的行数即可。

# 统计差异行数
different_rows_count = len(comparison)

print("\n不同行数:", different_rows_count)

结合上述步骤，完整的实现代码如下：

import pandas as pd

# 原始数据
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}

df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)

print("原始df1:\n", df1)
print("\n原始df2:\n", df2)

# 步骤1: 处理浮点数精度，例如四舍五入到4位小数
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)

print("\n处理精度后的df1:\n", df1)
print("\n处理精度后的df2:\n", df2)

# 步骤2: 使用compare方法识别差异
# compare方法会自动处理NaN对NaN的情况，不将其计入差异
comparison = df1.compare(df2)

print("\n差异比较结果 (compare方法输出):\n", comparison)

# 步骤3: 统计差异行数
different_rows_count = len(comparison)

print("\n不同行数:", different_rows_count)

运行结果示例：

原始df1:
    col
0  7.1
1  2.0
2  3.0
3  4.0
4  NaN
5  1.9
6  1.3

原始df2:
    col
0  7.1
1  2.5
2  3.0
3  4.0
4  NaN
5  1.2
6  NaN

处理精度后的df1:
    col
0  7.1
1  2.0
2  3.0
3  4.0
4  NaN
5  1.9
6  1.3

处理精度后的df2:
    col
0  7.1
1  2.5
2  3.0
3  4.0
4  NaN
5  1.2
6  NaN

差异比较结果 (compare方法输出):
    col      
   self other
1   2.0   2.5
5   1.9   1.2
6   1.3   NaN

不同行数: 3

从结果可以看出，索引为1、5、6的行被识别为差异。索引为4的行，由于两DataFrame的col列都为NaN，因此未被计入差异，符合预期。

注意事项

• 选择合适的精度： round() 方法的精度参数 (decimals) 应根据数据的特性和业务需求仔细选择。过高的精度可能无法解决浮点数误差，过低的精度则可能掩盖实际的微小差异。
• compare() 方法的灵活性： compare() 方法还有其他参数，例如 align_axis 可以控制比较时是否对齐索引和列，keep_shape 可以返回与原始DataFrame形状相同的DataFrame（用 NaN 填充非差异部分），这些在特定场景下可能有用。
• 性能考量： 对于非常大的DataFrame，compare() 方法可能会占用较多内存。在极端情况下，可以考虑分块处理或使用其他更底层的优化方法。
• 多列比较： 如果需要比较多列，可以对所有相关列应用 round()，然后直接使用 compare() 方法比较整个DataFrame，它会自动识别所有列中的差异。
• 非数值列： 本教程主要针对浮点数列。对于字符串或其他类型列的差异比较，compare() 方法同样适用，但无需进行 round() 操作。

以上就是在Pandas中精确比较带NaN的浮点数列并统计差异的详细内容，更多请关注php中文网其它相关文章！