处理Pandas读取Excel重复列名：如何访问特定重复列的数据-Python教程-PHP中文网

处理Pandas读取Excel重复列名：如何访问特定重复列的数据

碧海醫心

发布： 2025-11-02 10:40:27

原创

119人浏览过

处理Pandas读取Excel重复列名：如何访问特定重复列的数据

当使用pandas从excel文件读取数据时，如果文件中存在重复的列标题，pandas会自动为这些重复列添加数字后缀（如`.1`, `.2`）以区分。本教程将详细介绍如何识别并利用这一自动重命名机制，精确地访问和提取特定重复列（例如第二列）的数据，并提供实际的代码示例，帮助用户高效处理这类数据导入问题。

在数据分析和处理中，我们经常需要从各种数据源导入数据，其中Excel文件是常见的一种。然而，Excel文件有时会包含重复的列标题，这在直接使用Pandas读取时可能导致混淆或数据访问问题。本教程将深入探讨Pandas如何处理这种情况，并提供一种有效的方法来访问具有重复名称的特定列，例如获取第二次出现的列的数据。

Pandas处理重复列标题的机制

当Pandas的read_excel函数读取一个Excel文件时，如果检测到工作表中存在相同的列标题，它会采取一种自动重命名策略来确保每个列名都是唯一的。具体来说，第一次出现的列名会保持不变，而后续出现的同名列则会在其原始名称后追加一个点号和递增的数字后缀。例如，如果Excel中有三个名为“AISC_Manual_Label”的列，Pandas会将其分别命名为：

AISC_Manual_Label (第一次出现)
AISC_Manual_Label.1 (第二次出现)
AISC_Manual_Label.2 (第三次出现)

这种机制使得我们能够通过这些Pandas自动生成的唯一名称来精确地引用和操作每个列。

识别并访问特定重复列

要访问第二次出现的同名列的数据，关键在于识别Pandas为其生成的正确名称。通常，这意味着查找带有.1后缀的列名。

以下是一个详细的步骤和代码示例，演示如何从一个包含重复列名的Excel文件中读取数据，并提取第二次出现的列的数据：

1. 导入必要的库和加载数据

首先，我们需要导入pandas库，并使用read_excel函数加载Excel文件。由于原始问题中提到了一个在线的Excel文件，我们将使用requests和BytesIO来直接从URL加载数据，这在处理网络资源时非常有用。

降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情

import pandas as pd
import requests
from io import BytesIO

# AISC形状数据库的URL
url = "https://www.aisc.org/globalassets/product-files-not-searched/" \
      "manuals/aisc-shapes-database-v16.0.xlsx"

# 从URL获取Excel文件内容
response = requests.get(url)
data = BytesIO(response.content)

# 使用pandas读取Excel文件，指定工作表名称
# 注意：根据实际文件情况，可能需要指定sheet_name
df = pd.read_excel(data, sheet_name="Database v16.0")

# 打印DataFrame的头部和所有列名，以便检查
print("DataFrame头部示例：")
print(df.head())
print("\n所有列名：")
print(df.columns.tolist())

登录后复制

运行上述代码后，你会看到类似以下输出，其中列名如AISC_Manual_Label.1、h.1、b.1等已经由Pandas自动生成：

DataFrame头部示例：
      Type EDI_Std_Nomenclature AISC_Manual_Label  ...  T.1  WGi.1  WGo.1
0        W              W44X408           W44X408  ...  965    140  76.20
1        W              W44X368           W44X368  ...  965    140  76.20
2        W              W44X335           W44X335  ...  965    140  76.20
...    ...                  ...               ...  ...  ...    ...    ...

所有列名：
['Type', 'EDI_Std_Nomenclature', 'AISC_Manual_Label', ..., 'T.1', 'WGi.1', 'WGo.1']

登录后复制

通过查看df.columns.tolist()的输出，我们可以清晰地看到Pandas是如何处理重复列名的。例如，原始Excel中可能存在多个名为“AISC_Manual_Label”、“h”和“b”的列，Pandas将它们重命名为AISC_Manual_Label、AISC_Manual_Label.1，以及h、h.1，b、b.1等。

2. 选取第二次出现的列数据

现在我们已经知道Pandas为重复列生成的名称，就可以直接通过这些名称来选取所需的列。例如，如果我们需要第二次出现的AISC_Manual_Label、h和b列的数据，我们应该选择AISC_Manual_Label.1、h.1和b.1。

# 选取第二次出现的列数据
# 根据实际的列名和需求进行调整
subset_df = df[["AISC_Manual_Label.1", "h.1", "b.1"]]

print("\n选取的第二次出现列的数据子集：")
print(subset_df.head())

登录后复制

3. 将数据保存为TSV文件

如果需要将这些选定的数据保存为制表符分隔值（TSV）文件，可以使用Pandas的to_csv方法，并指定sep='\t'。

# 将选定的数据保存为TSV文件
output_filename = "profile_data_second_occurrence.tsv"
subset_df.to_csv(output_filename, sep="\t", index=False) # index=False表示不写入DataFrame的索引

print(f"\n数据已成功保存到 {output_filename}")

登录后复制

注意事项与最佳实践

始终检查列名： 在处理任何可能包含重复列名的Excel文件后，第一步就应该是打印df.columns.tolist()来检查Pandas实际生成的列名。这有助于避免因猜测列名而导致的错误。
理解命名规则： 牢记Pandas的自动命名规则（列名，列名.1，列名.2...），这对于准确访问数据至关重要。
区分行和列： 原始问题中提到了“第二行”，但实际上是关于“第二个同名列”的数据。理解Pandas如何处理列名重复与行数据重复是不同的。df.duplicated()主要用于识别和处理重复的行，而本教程关注的是列名重复。
处理缺失值： 在处理实际数据时，选取的列可能包含缺失值（例如Excel中的空单元格或–符号）。在进一步分析之前，可能需要进行数据清洗，例如使用df.fillna()或df.replace()处理这些值。