使用 Pandas 高效比较与合并 CSV 文件：基于关键列更新数据

在数据处理和分析中，我们经常会遇到需要比较两个数据集并根据一个数据集的信息更新另一个数据集的场景。例如，你可能有一个包含现有产品信息的 csv 文件（one.csv），以及一个包含最新价格更新的更大 csv 文件（two.csv）。我们的目标是找出 one.csv 中所有在 two.csv 中也存在的供应商代码，并用 two.csv 中的最新成本价格来更新这些记录。

初始尝试与常见误区

一个常见的初步想法是使用 isin() 方法来筛选第一个 DataFrame。例如：

import pandas as pd

# 假设从CSV读取数据
# one = pd.read_csv('one.csv')
# two = pd.read_csv('two.csv')

# 示例数据
dict_one = {"Supplier Code": [1, 2, 3], "Cost Price": [2.25, 1.25, 3.25]}
dict_two = {"Supplier Code": [1, 2, 3, 5], "Cost Price": [2.25, 1.75, 3.75, 1.25]}

df_one = pd.DataFrame(dict_one)
df_two = pd.DataFrame(dict_two)

# 尝试使用 isin()
present_in_two = df_one[df_one['Supplier Code'].isin(df_two['Supplier Code'])]
print(present_in_two)

运行上述代码，你可能会发现输出结果如下：

   Supplier Code  Cost Price
0              1        2.25
1              2        1.25
2              3        3.25

这个结果虽然找到了在 df_two 中存在的 Supplier Code，但它返回的是 df_one 中对应的 Cost Price，而不是我们期望的来自 df_two 的最新 Cost Price。因此，isin() 仅用于筛选，无法直接实现基于另一个 DataFrame 的值更新。

解决方案：使用 pd.merge() 进行数据合并与更新

为了实现我们的目标——找到共同的 Supplier Code 并从 df_two 获取最新的 Cost Price，pd.merge() 函数是最佳选择。merge 操作允许我们根据一个或多个键列将两个 DataFrame 连接起来。

以下是实现此功能的代码：

硅基智能

基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播

62

查看详情

import pandas as pd

# 1. 准备示例数据（实际应用中将从CSV文件读取）
# one.csv 的内容
# Supplier Code,Cost Price
# 1,2.25
# 2,1.25
# 3,3.25

# two.csv 的内容
# Supplier Code,Cost Price
# 1,2.25
# 2,1.75
# 3,3.75
# 5,1.25

# 模拟从CSV读取数据
# df_one = pd.read_csv('one.csv')
# df_two = pd.read_csv('two.csv')

# 使用字典创建 DataFrame 以便代码可直接运行和测试
dict_one = {"Supplier Code": [1, 2, 3], "Cost Price": [2.25, 1.25, 3.25]}
dict_two = {"Supplier Code": [1, 2, 3, 5], "Cost Price": [2.25, 1.75, 3.75, 1.25]}

df_one = pd.DataFrame(dict_one)
df_two = pd.DataFrame(dict_two)

print("df_one (原始数据):")
print(df_one)
print("\ndf_two (更新数据源):")
print(df_two)

# 2. 合并两个 DataFrame
# 关键在于：
#   - 从 df_one 中只选择 'Supplier Code' 列，确保我们只关心 df_one 中存在的供应商。
#   - 与 df_two 进行合并，'on="Supplier Code"' 指定合并的键。
#   - 默认的 merge 类型是 'inner'，这意味着只有在两个 DataFrame 中都存在的键才会被保留。
df_merged = pd.merge(df_one[["Supplier Code"]], df_two, on="Supplier Code")

print("\n合并后的结果:")
print(df_merged)

# 3. 将结果输出到 CSV 文件
output_filename = "updated_prices.csv"
df_merged.to_csv(output_filename, index=False)
print(f"\n结果已保存到 {output_filename}")

代码解释：

1. 数据准备： 首先，我们创建了两个 Pandas DataFrame df_one 和 df_two，它们分别代表了你的 one.csv 和 two.csv 文件。在实际应用中，你会使用 pd.read_csv('your_file.csv') 来加载数据。
2. 选择关键列： df_one[["Supplier Code"]] 这一步至关重要。它从 df_one 中仅提取了 Supplier Code 列，形成了一个新的 DataFrame。这样做的好处是，在后续的合并操作中，我们只关注 df_one 中存在的供应商代码，并且确保最终结果中的 Cost Price 完全来自 df_two。
3. 执行合并： pd.merge(df_one[["Supplier Code"]], df_two, on="Supplier Code") 执行了核心的合并操作。
   • 第一个参数是左侧的 DataFrame (df_one[["Supplier Code"]])。
   • 第二个参数是右侧的 DataFrame (df_two)。
   • on="Supplier Code" 指定了用于合并的共同列。
   • 默认情况下，pd.merge() 执行的是内连接（how='inner'），这意味着只有在两个 DataFrame 的 Supplier Code 列中都存在的行才会被包含在结果中。这完美符合了“找到 subset of the all Supplier Code in ONE.csv that are present in TWO.csv”的需求。
4. 输出结果： df_merged.to_csv(output_filename, index=False) 将最终的 DataFrame 保存为一个新的 CSV 文件。index=False 参数用于防止 Pandas 将 DataFrame 的索引写入到 CSV 文件中。

预期输出：

   Supplier Code  Cost Price
0              1        2.25
1              2        1.75
2              3        3.75

这个结果正是我们所期望的：它包含了 df_one 中所有在 df_two 中也存在的供应商代码，并且它们的 Cost Price 已更新为 df_two 中的值。

注意事项与进一步考量

• 文件路径： 在实际应用中，请确保 pd.read_csv() 中的文件路径是正确的。
• 性能： 对于大型 CSV 文件（例如，one.csv 有 500 行，two.csv 有 10000 行），Pandas 的 merge 操作通常非常高效，因为它在底层使用了优化的算法。
• 合并类型 (how 参数)：
  • inner (默认): 只保留两个 DataFrame 中都存在的键。适用于查找共同的、匹配的记录。
  • left: 保留左侧 DataFrame 的所有键，并尝试从右侧 DataFrame 匹配。如果右侧没有匹配项，则右侧的列将填充 NaN。如果你想保留 one.csv 的所有供应商代码，即使它们不在 two.csv 中，但仍想更新那些存在的代码，可以使用 left 合并。
  • right: 类似于 left，但以右侧 DataFrame 为主。
  • outer: 保留所有键，无论它们存在于哪个 DataFrame 中，不匹配的列将填充 NaN。
• 列名冲突： 如果两个 DataFrame 中有除合并键之外的同名列，pd.merge() 会自动添加 _x 和 _y 后缀来区分它们。在我们的例子中，由于我们只从 df_one 选择了 Supplier Code，所以 Cost Price 列只存在于 df_two 中，不会发生冲突。
• 数据类型： 确保合并键（如 Supplier Code）在两个 DataFrame 中具有相同的数据类型，否则合并可能会失败或产生意外结果。

总结

通过 pd.merge() 函数，我们可以优雅而高效地解决两个 CSV 文件之间的数据比较和更新问题。通过精确选择要合并的列和理解合并类型，可以灵活地处理各种数据集成场景。这种方法不仅功能强大，而且在处理大规模数据集时表现出良好的性能，是 Pandas 数据处理工具箱中的一个重要组成部分。

以上就是使用 Pandas 高效比较与合并 CSV 文件：基于关键列更新数据的详细内容，更多请关注php中文网其它相关文章！