如何将多个CSV文件中的交错数据合并为单一列

import pandas as pd
import os

# 假设 dfpt2 已经加载，作为初始数据集
# left_dataset = dfpt2 

directory_path = 'black_male_65up_unemp'

# 循环合并会导致问题
# for filename in os.listdir(directory_path):
#     if filename.endswith(".csv"):
#         csv_path = os.path.join(directory_path, filename)
#         df = pd.read_csv(csv_path)
#         # ... 数据清洗 ...
#         left_dataset = pd.merge(left_dataset, df, how='left', left_on=['state', 'year'], right_on=['NAME', 'year'], suffixes=('','_r'))

import pandas as pd
import os

# --- 1. 模拟初始数据集 dfpt2 （在实际应用中，dfpt2 可能来自文件加载或其他处理）---
# 假设 dfpt2 包含 'state', 'year', 'unemployment_rate' 等列
data_pt2 = {
    'state': ['California', 'New York'],
    'year': [2020, 2020],
    'unemployment_rate': [5.0, 6.0],
    'other_metric': [100, 120]
}
dfpt2 = pd.DataFrame(data_pt2)

# --- 2. 模拟创建一些CSV文件用于演示 ---
# 实际应用中，这些文件已存在于 'black_male_65up_unemp' 目录下
directory_path = 'black_male_65up_unemp'
os.makedirs(directory_path, exist_ok=True) # 确保目录存在

# 创建示例CSV文件
pd.DataFrame({
    'NAME': ['California', 'Florida'],
    'year': [2021, 2021],
    'unemployment_rate': [4.5, 5.5],
    'GEOID': [1,2], 'variable': ['A','B'], 'Unnamed: 0': [1,2], 'moe': [0.1,0.2],
    'other_metric': [105, 115]
}).to_csv(os.path.join(directory_path, 'data_2021.csv'), index=False)

pd.DataFrame({
    'NAME': ['New York', 'Texas'],
    'year': [2022, 2022],
    'unemployment_rate': [5.2, 4.8],
    'GEOID': [3,4], 'variable': ['C','D'], 'Unnamed: 0': [3,4], 'moe': [0.3,0.4],
    'other_metric': [130, 110]
}).to_csv(os.path.join(directory_path, 'data_2022.csv'), index=False)

# --- 3. 初始化一个列表，用于存储所有待合并的DataFrame ---
all_dataframes = []

# --- 4. 处理初始的 dfpt2 数据集 ---
# 对 dfpt2 进行清洗和标准化，确保其列名和数据格式与后续CSV文件保持一致
dfpt2['state'] = dfpt2['state'].str.lower()
# 如果 dfpt2 已经符合最终所需结构，可以直接添加
all_dataframes.append(dfpt2)

# --- 5. 遍历目录中的每个CSV文件并进行处理 ---
for filename in os.listdir(directory_path):
    if filename.endswith(".csv"):
        csv_path = os.path.join(directory_path, filename)
        df = pd.read_csv(csv_path)

        # 数据清洗和标准化
        # 将 'NAME' 列重命名为 'state' 以保持所有DataFrame的列名一致性
        df['NAME'] = df['NAME'].str.lower()
        df.rename(columns={'NAME': 'state'}, inplace=True)

        # 丢弃不需要的列。使用 errors='ignore' 可以防止在列不存在时报错。
        columns_to_drop = ['GEOID', 'variable', 'Unnamed: 0', 'moe']
        df.drop(columns=columns_to_drop, inplace=True, errors='ignore')

        # 将处理后的DataFrame添加到列表中
        all_dataframes.append(df)

# --- 6. 使用 pd.concat 将所有DataFrame垂直堆叠 ---
# ignore_index=True 会重置索引，避免合并后的索引重复或混乱
final_dataset = pd.concat(all_dataframes, ignore_index=True)

# 打印最终结果，查看数据是否已正确对齐到单一列
print("最终合并后的数据集：")
print(final_dataset)

# 验证关键列的唯一性，例如 'unemployment_rate' 应该只有一个
print("\n最终数据集的列名：")
print(final_dataset.columns)