Pandas数据框中选择指定列及所有重复列的技巧

引言：处理Pandas数据框中的重复列名

在数据分析实践中，我们有时会遇到pandas数据框（dataframe）中存在重复列名的情况。这可能是由于数据合并、数据源结构限制或特定分析需求导致的。当需要从这样的数据框中选择特定的列时，标准的方法如df[col_list]可能无法满足需求，特别是当col_list中包含重复的列名时，它可能只返回第一个匹配的列，或者行为不符合预期。本教程将介绍一种强大而灵活的方法，以精确选择所有指定列，包括所有实例的重复列名。

考虑以下示例数据框，其中列名'x'出现了多次：

import pandas as pd
import numpy as np

# 示例数据框
data = {
    'a': [6, 6, 6, 8, 5],
    'x': [2, 6, 6, 3, 7],
    'x ': [7, 3, 7, 6, 5], # 注意这里为了演示，我将第二个'x'命名为'x '，实际场景中可能直接是'x'
    'x  ': [7, 1, 5, 1, 3],
    'z': [8, 1, 6, 8, 0]
}
# 重新创建DataFrame，明确指定列名以模拟重复
df = pd.DataFrame(np.array([[6,2,7,7,8],
                             [6,6,3,1,1],
                             [6,6,7,5,6],
                             [8,3,6,1,8],
                             [5,7,5,3,0]]),
                  columns=['a', 'x', 'x', 'x', 'z'])
print("原始数据框:")
print(df)

输出：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

原始数据框:
   a  x  x  x  z
0  6  2  7  7  8
1  6  6  3  1  1
2  6  6  7  5  6
3  8  3  6  1  8
4  5  7  5  3  0

我们的目标是选择列'a'以及所有名为'x'的列，得到如下结果：

   a  x  x  x
0  6  2  7  7
1  6  6  3  1
2  6  6  7  5
3  8  3  6  1
4  5  7  5  3

传统方法的局限性

如果尝试直接使用一个包含重复列名的列表进行选择，例如 df[['a', 'x', 'x', 'x']]，Pandas会抛出KeyError，因为它无法区分同名列的不同实例。而如果仅使用 df[['a', 'x']]，则只会选择第一个匹配的'x'列，无法满足选择所有'x'列的需求。

一些开发者可能会尝试手动循环检查列名，构建一个布尔列表或筛选列表，但这通常会比较冗长且效率不高。例如，用户提供的问题内容中展示了类似的手动构建col_commun列表的方法，虽然可以实现部分功能，但在面对复杂或大规模数据时，其可读性和性能可能不佳。

采用df.loc与布尔索引的解决方案

Pandas提供了强大的df.loc索引器，结合布尔数组，可以非常灵活地进行行和列的选择。解决上述问题的核心思想是构建一个布尔序列，该序列的长度与数据框的列数相同，并且在我们希望选择的列位置上为True。

我们将使用以下两个关键方法来构建这个布尔序列：

1. df.columns.duplicated(keep=False): 此方法用于识别数据框中所有重复的列名。keep=False参数至关重要，它会标记所有出现重复的列名实例为True，而不仅仅是第二个及以后的实例。如果keep设置为'first'或'last'，则只会标记除了第一次或最后一次出现之外的重复项。

   print("df.columns.duplicated(keep=False)的结果:")
   print(df.columns.duplicated(keep=False))

   登录后复制

   输出：

   df.columns.duplicated(keep=False)的结果:
   [False  True  True  True False]

   登录后复制

   可以看到，所有名为'x'的列都被标记为True。

2. df.columns.isin(['a']): 此方法用于检查数据框的列名是否在给定的列表中。它会返回一个布尔序列，其中列表中的列名对应位置为True。

   print("df.columns.isin(['a'])的结果:")
   print(df.columns.isin(['a']))

   登录后复制

   输出：

   df.columns.isin(['a'])的结果:
   [ True False False False False]

   登录后复制

   这里，只有列'a'被标记为True。

组合布尔条件进行选择

为了选择所有重复的列（即'x'的所有实例）以及指定的唯一列（即'a'），我们可以将上述两个布尔序列通过逻辑或操作符|进行组合。只要任一条件为True，最终的布尔序列在该位置上就为True。

# 组合布尔条件
selected_columns_mask = df.columns.duplicated(keep=False) | df.columns.isin(['a'])
print("组合后的布尔掩码:")
print(selected_columns_mask)

输出：

组合后的布尔掩码:
[ True  True  True  True False]

这个布尔掩码准确地标识了我们想要选择的所有列。

最后，我们将这个布尔掩码应用于df.loc的列索引器部分：

# 使用df.loc进行列选择
df_output = df.loc[:, selected_columns_mask]
print("\n期望的输出:")
print(df_output)

输出：

期望的输出:
   a  x  x  x
0  6  2  7  7
1  6  6  3  1
2  6  6  7  5
3  8  3  6  1
4  5  7  5  3

这正是我们期望的结果。

完整示例代码

import pandas as pd
import numpy as np

# 1. 创建示例数据框
df = pd.DataFrame(np.array([[6,2,7,7,8],
                             [6,6,3,1,1],
                             [6,6,7,5,6],
                             [8,3,6,1,8],
                             [5,7,5,3,0]]),
                  columns=['a', 'x', 'x', 'x', 'z'])
print("原始数据框:")
print(df)

# 2. 定义要选择的特定列（即使它们是唯一的）
specific_unique_cols = ['a']

# 3. 构建布尔掩码
# 找出所有重复的列名（所有实例都被标记为True）
duplicated_cols_mask = df.columns.duplicated(keep=False)

# 找出特定唯一列的掩码
specific_cols_mask = df.columns.isin(specific_unique_cols)

# 组合这两个掩码：选择所有重复列 OR 特定唯一列
final_selection_mask = duplicated_cols_mask | specific_cols_mask

print("\n最终用于列选择的布尔掩码:")
print(final_selection_mask)

# 4. 使用df.loc和布尔掩码选择列
df_selected = df.loc[:, final_selection_mask]

print("\n选择后的数据框:")
print(df_selected)

注意事项与最佳实践

1. keep=False的重要性: 在df.columns.duplicated()中，keep=False是实现此功能的核心。如果省略此参数或使用其他值，可能无法正确选择所有重复列的实例。
2. 列名重复的潜在问题: 尽管Pandas允许数据框中存在重复的列名，但在实际操作中应尽量避免。重复的列名可能导致混淆，并在某些Pandas操作（如groupby()、merge()等）中产生歧义或意外行为。如果可能，考虑在数据导入或预处理阶段对重复列进行重命名（例如，'x_1', 'x_2', 'x_3'）。
3. 灵活性: 这种布尔索引的方法非常灵活。你可以根据需要调整df.columns.isin()中的列表，以包含更多需要单独选择的唯一列。
4. 性能: 对于大型数据框，使用Pandas内置的矢量化操作（如duplicated()和isin()）通常比手动循环效率更高。

总结

本教程展示了在Pandas数据框中，如何利用df.loc结合布尔索引，高效且精确地选择包含重复名称的列以及指定的唯一列。通过理解并运用df.columns.duplicated(keep=False)和df.columns.isin()的组合，可以优雅地解决复杂的列筛选问题，提升数据处理的灵活性和代码的可读性。虽然重复列名应尽量避免，但掌握这种选择技巧，能在遇到此类数据时，确保分析工作的顺利进行。

以上就是Pandas数据框中选择指定列及所有重复列的技巧的详细内容，更多请关注php中文网其它相关文章！