挑战：浮点数比较与NaN处理
在数据分析中，我们经常需要对比两个dataframe中特定列的数值差异。当这些列包含浮点数和缺失值（nan）时，简单的相等性检查会遇到两个主要挑战：
- 浮点数精度问题： 计算机表示浮点数时可能存在微小的精度误差，导致表面上相同的数值在直接比较时被判定为不相等。例如，0.1 + 0.2可能不严格等于0.3。
- NaN的特殊性： 在Python和Pandas中，NaN（Not a Number）是一个特殊的值，其特点是NaN != NaN。这意味着，如果两列在同一位置都包含NaN，直接比较会将其视为不同，但这通常不是我们希望的行为，我们通常希望NaN与NaN被视为相同，不计入差异。
为了克服这些挑战，我们需要一种稳健的方法来比较浮点数列并准确计算差异行数。
解决方案核心：round()与compare()
Pandas库提供了强大的工具来解决上述问题：
- pandas.DataFrame.round()： 用于对DataFrame中的浮点数进行四舍五入，从而消除由于精度问题导致的微小差异。
- pandas.DataFrame.compare()： 用于比较两个DataFrame或Series，并返回一个仅包含差异行的新DataFrame。它在处理NaN时具有智能行为，即当两边都是NaN时，该行不会被视为差异并包含在结果中，这正是我们所需要的。
实战演示
下面通过一个具体的例子来演示如何使用round()和compare()来解决浮点数和NaN的比较问题。
假设我们有两个结构相同的DataFrame，它们在某一列（col）中包含浮点数和NaN，我们需要找出col列中值不同的行数。
1. 数据准备
首先，创建两个示例DataFrame：
import pandas as pd
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}
df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)
print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)2. 统一浮点数精度
为了解决浮点数精度问题，我们首先对需要比较的列进行四舍五入。选择合适的四舍五入位数取决于数据的实际精度要求。这里我们以保留4位小数为例。
# 对 'col' 列进行四舍五入，保留4位小数
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)
print("\nDataFrame 1 (四舍五入后):")
print(df1)
print("\nDataFrame 2 (四舍五入后):")
print(df2)3. 执行DataFrame列比较
使用df.compare()方法来比较两个DataFrame。此方法会返回一个新的DataFrame，其中只包含两个DataFrame之间存在差异的行和列。对于NaN的处理，如果df1和df2在同一位置都为NaN，compare()方法默认不会将此行包含在结果中，这符合我们“NaN与NaN视为相同”的需求。如果其中一个为NaN而另一个为数值，则会被视为差异。
# 使用 compare 方法比较两个 DataFrame
# 默认情况下，compare 会比较所有列，但由于我们只修改了 'col'，所以结果会反映 'col' 的差异
comparison = df1.compare(df2)
print("\n差异比较结果:")
print(comparison)compare()方法返回的DataFrame具有特殊的列结构：对于每个有差异的列，它会创建两列，分别以self和other作为子列名，表示原始DataFrame（调用compare的DataFrame）和被比较DataFrame中的值。
从输出中可以看到：
- 索引1处，df1.col是2.0，df2.col是2.5，被识别为差异。
- 索引5处，df1.col是1.9，df2.col是1.2，被识别为差异。
- 索引6处，df1.col是1.3，df2.col是NaN，被识别为差异。
- 索引4处，df1.col和df2.col都是NaN，因此没有出现在比较结果中，这正是我们希望的“NaN与NaN视为相同”的行为。
4. 统计差异行数
差异比较结果DataFrame的行数即为不同行的数量。
# 统计差异行数
different_rows_count = len(comparison)
print(f"\n差异行数: {different_rows_count}")完整示例代码
将上述步骤整合到一起，形成完整的解决方案代码：
import pandas as pd
# 1. 数据准备
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, None]}
df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)
print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)
# 2. 统一浮点数精度（例如，保留4位小数）
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)
print("\nDataFrame 1 (四舍五入后):")
print(df1)
print("\nDataFrame 2 (四舍五入后):")
print(df2)
# 3. 执行DataFrame列比较
# compare方法会返回一个只包含差异的DataFrame
# 如果两边都是NaN，则不会被包含在结果中
comparison = df1.compare(df2)
print("\n差异比较结果:")
print(comparison)
# 4. 统计差异行数
different_rows_count = len(comparison)
print(f"\n差异行数: {different_rows_count}")输出结果与解读
运行上述代码，将得到如下输出：
DataFrame 1: col 0 7.1 1 2.0 2 3.0 3 4.0 4 NaN 5 1.9 6 1.3 DataFrame 2: col 0 7.1 1 2.5 2 3.0 3 4.0 4 NaN 5 1.2 6 NaN DataFrame 1 (四舍五入后): col 0 7.1 1 2.0 2 3.0 3 4.0 4 NaN 5 1.9 6 1.3 DataFrame 2 (四舍五入后): col 0 7.1 1 2.5 2 3.0 3 4.0 4 NaN 5 1.2 6 NaN 差异比较结果: col self other 1 2.0 2.5 5 1.9 1.2 6 1.3 NaN 差异行数: 3
从输出结果中，我们可以清晰地看到哪些行存在差异，以及差异的具体值。最终统计的差异行数是3，这准确地反映了在考虑浮点数精度和NaN特殊处理后，两列中实际不同的行数。
注意事项与最佳实践
- 选择合适的四舍五入精度： round()方法的参数应根据数据的业务含义和所需的精度来确定。过高的精度可能无法解决浮点数误差，过低的精度则可能丢失有效信息。
- compare()的灵活性： compare()方法不仅可以比较单个列，也可以比较整个DataFrame。它还提供了align_axis、keep_shape等参数，以适应更复杂的比较需求。
- 性能考量： 对于非常大的DataFrame，compare()方法可能需要一定的计算资源。在性能敏感的场景下，可以考虑先筛选出可能存在差异的子集，或者使用Numpy进行更底层的数组操作。然而，对于大多数常见的数据集，compare()提供了非常便捷且高效的解决方案。
- NaN与None： 在Pandas中，None在数值列中通常会被转换为NaN。因此，本教程中处理NaN的方法同样适用于包含None的数值列。
