如何使用 Pandas 比对 DataFrame 的三列数据并找出不匹配项

在数据分析中，经常需要比对两个数据集，找出差异。当需要基于多个列进行比对时，pandas 提供了强大的工具来简化这个过程。本教程将演示如何使用 pandas 比对两个 dataframe 的三列数据，并找出所有不匹配的行，即使这些行在不同的 dataframe 中顺序不同。

核心思路

核心思路是使用 pd.merge 函数，并利用其 indicator 参数来标记每一行来自哪个 DataFrame。然后，我们可以根据 indicator 的值来筛选出不匹配的行。

具体步骤

1. 准备数据： 首先，创建两个包含需要比对数据的 DataFrame。例如：

   import pandas as pd
   
   df_old = pd.DataFrame({'column1': ['x', 'a'], 
                         'column2': ['y', 'b'], 
                         'column3': ['z', 'c']})
   df_new = pd.DataFrame({'column1': ['a', 'x'], 
                         'column2': ['b', 'y'], 
                         'column3': ['c', 'z']})

   登录后复制

2. 合并 DataFrame： 使用 pd.merge 函数将两个 DataFrame 合并。关键在于设置 on 参数为需要比对的列名列表，how 参数为 'right'（或 'left'，取决于你想以哪个 DataFrame 为基准），以及 indicator 参数为 True。

   merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

   登录后复制

   indicator=True 会在结果 DataFrame 中添加一个名为 _merge 的列，该列的值指示每一行来自哪个 DataFrame。'right_only' 表示该行只存在于 df_new 中，'left_only' 表示该行只存在于 df_old 中，'both' 表示该行在两个 DataFrame 中都存在。

3. 筛选不匹配的行： 使用布尔索引筛选出 _merge 列值为 'right_only' 的行。这些行就是只存在于 df_new 中，而在 df_old 中找不到匹配的行。

   

   幻舟AI

   专为短片创作者打造的AI创作平台

   279

   查看详情

   mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

   登录后复制

4. 移除辅助列： 可以选择移除 _merge 列，因为它只是用于辅助筛选。

   mismatched_rows = mismatched_rows.drop('_merge', axis=1)

   登录后复制

5. 查看结果： 打印或保存 mismatched_rows DataFrame，即可查看所有不匹配的行。

   print(mismatched_rows)
   # mismatched_rows.to_csv(file_name + "_output_mismatched.csv",index=False) # save to csv

   登录后复制

完整代码示例

import pandas as pd

df_old = pd.DataFrame({'column1': ['x', 'a'], 
                      'column2': ['y', 'b'], 
                      'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'], 
                      'column2': ['b', 'y'], 
                      'column3': ['c', 'z']})

merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

mismatched_rows = mismatched_rows.drop('_merge', axis=1)

print(mismatched_rows)

注意事项

• Pandas 版本： 确保你的 Pandas 版本在 2.0.1 或更高版本。
• 数据类型： 确保要比较的列的数据类型在两个 DataFrame 中是一致的。如果不一致，可能会导致错误的结果。
• 缺失值： 如果数据中包含缺失值 (NaN)，pd.merge 函数会将其视为不同的值。如果需要将缺失值视为相等，可以先使用 fillna 函数填充缺失值。
• 内存占用： 对于大型 DataFrame，pd.merge 操作可能会占用大量内存。可以考虑使用分块处理或其他优化方法来降低内存消耗。

总结

使用 pd.merge 函数结合 indicator 参数是一种高效且灵活的方法，可以比对 DataFrame 的多列数据并找出不匹配的行。通过调整 how 参数，可以选择不同的比对方式，以满足不同的需求。掌握这种技巧，可以极大地提高数据分析的效率。

以上就是如何使用 Pandas 比对 DataFrame 的三列数据并找出不匹配项的详细内容，更多请关注php中文网其它相关文章！