
本文介绍如何使用pandas安全、高效地将多个csv文件按行对齐合并,并动态添加新列,重点解决因列索引误用(如`df[2]`)导致的keyerror问题,并提供健壮的循环处理方案。
您遇到的 KeyError: 2 错误并非源于f-string语法(f'column_{i}' 完全合法),而是因为 df_source2[2] 这一写法试图用整数 2 作为列标签(label) 去索引DataFrame,但您的CSV数据中列名实际为 0, 1, 2(字符串类型),而Pandas默认将首行当作列名读取——若未显式指定header=None,pd.read_csv()会把第一行当作列标题,此时列名是字符串'0', '1', '2',而非整数0, 1, 2。因此 df_source2[2] 查找整数键失败,抛出KeyError。
✅ 正确做法是:明确指定列索引方式,并确保两文件行数严格对齐(否则赋值会引发长度不匹配错误)。以下是推荐的完整解决方案:
✅ 推荐方法:使用 pd.concat() 或 join() 实现安全列合并
import pandas as pd
# 读取基准文件(保留原始列名,避免歧义)
df_source1 = pd.read_csv("3_2_conv_perc_1.csv", header=None) # 强制无表头,列名为0,1,2...
# 假设要循环合并 3_2_conv_perc_2.csv 到 3_2_conv_perc_10.csv
for i in range(2, 11): # 从2开始到10
try:
filename = f"3_2_conv_perc_{i}.csv"
df_temp = pd.read_csv(filename, header=None)
# ✅ 安全提取第3列(索引为2)→ 使用 .iloc[:, 2](位置索引)或 ['2'](标签索引,若列名为字符串)
# 推荐用 .iloc 确保按位置取列,不受列名影响
new_col = df_temp.iloc[:, 2] # 第三列,所有行
# ✅ 检查行数是否一致(关键!防止静默截断或广播错误)
if len(df_source1) != len(new_col):
raise ValueError(f"行数不匹配:{filename} 有 {len(new_col)} 行,基准文件有 {len(df_source1)} 行")
# ✅ 动态添加新列(列名含i)
df_source1[f'column_{i}'] = new_col
print(f"✓ 已添加 {filename} 的第3列 → column_{i}")
except FileNotFoundError:
print(f"⚠ 警告:文件 {filename} 不存在,已跳过")
except Exception as e:
print(f"❌ 处理 {filename} 时出错:{e}")
# 最终保存结果
df_source1.to_csv("combined_result.csv", index=False, header=False)
print("✅ 合并完成,结果已保存至 combined_result.csv")⚠️ 关键注意事项:
- 永远显式指定 header=None:当CSV无真实表头(仅纯数字矩阵)时,避免Pandas误将首行当列名。
- 优先使用 .iloc[:, n] 而非 [n]:.iloc 基于整数位置,[] 基于标签;对于无表头数据,列标签是字符串,整数索引会失败。
- 务必校验行数一致性:大数据量下,缺失文件或格式异常易导致行数错位,引发静默错误或NaN填充。
-
内存优化建议:若文件极大(>90万行),可考虑分块读取或改用 Polars(答案中提及的高性能替代库),其API更函数式且内存更友好:
import polars as pl df1 = pl.read_csv("3_2_conv_perc_1.csv", has_header=False) for i in range(2, 11): df_i = pl.read_csv(f"3_2_conv_perc_{i}.csv", has_header=False) df1 = df1.with_columns(df_i.select(pl.col("column_2")).rename({ "column_2": f"column_{i}" }))
此方案兼顾健壮性、可读性与工程实践,彻底规避原始代码中的索引陷阱。










