Python教程：递归查找并合并多个子文件夹中的CSV文件

from pathlib import Path
import pandas as pd

parent_directory = Path('Sessions') # 相对路径，如果Sessions在当前工作目录下
# 或者 parent_directory = Path('/path/to/your/Sessions') # 绝对路径，请替换为实际路径

csv_files = list(parent_directory.rglob('*.csv'))
print(f"找到 {len(csv_files)} 个CSV文件。")
if csv_files:
    for file in csv_files[:5]: # 打印前5个文件路径作为示例
        print(file)

dfs_to_combine = []
for file_path in csv_files:
    try:
        df = pd.read_csv(file_path)
        dfs_to_combine.append(df)
    except pd.errors.EmptyDataError:
        print(f"警告: 文件 '{file_path}' 为空，跳过。")
    except Exception as e:
        print(f"错误: 读取文件 '{file_path}' 失败: {e}，跳过。")

if dfs_to_combine: # 确保列表不为空
    combined_df = pd.concat(dfs_to_combine, ignore_index=True)
    destination_path = parent_directory / 'weather_all.csv' # 合并后的文件路径

    # 确保输出目录存在，如果destination_path包含子目录
    destination_path.parent.mkdir(parents=True, exist_ok=True)

    combined_df.to_csv(destination_path, index=False, encoding='utf-8-sig')
    print(f"所有CSV文件已成功合并并保存到: {destination_path}")
else:
    print("没有可合并的数据。")

from pathlib import Path
import pandas as pd

def combine_nested_csvs(parent_dir_path, output_filename='weather_all.csv'):
    """
    递归查找指定父目录及其子目录中的所有CSV文件，
    并将它们合并成一个单一的CSV文件。

    Args:
        parent_dir_path (str or Path): 包含CSV文件的父目录路径。
        output_filename (str): 合并后CSV文件的名称。
    """
    parent_directory = Path(parent_dir_path)

    if not parent_directory.is_dir():
        print(f"错误: 目录 '{parent_dir_path}' 不存在。")
        return

    csv_files = list(parent_directory.rglob('*.csv'))

    if not csv_files:
        print(f"在 '{parent_dir_path}' 中没有找到任何CSV文件。")
        return

    print(f"找到 {len(csv_files)} 个CSV文件，开始读取和合并...")

    dfs_to_combine = []
    for file_path in csv_files:
        try:
            # 尝试读取文件，可以根据需要添加更多pd.read_csv的参数
            df = pd.read_csv(file_path)
            dfs_to_combine.append(df)
        except pd.errors.EmptyDataError:
            print(f"警告: 文件 '{file_path}' 为空，跳过。")
        except Exception as e:
            print(f"错误: 读取文件 '{file_path}' 失败: {e}，跳过。")

    if dfs_to_combine:
        combined_df = pd.concat(dfs_to_combine, ignore_index=True)
        destination_path = parent_directory / output_filename

        # 确保输出目录存在
        destination_path.parent.mkdir(parents=True, exist_ok=True)

        combined_df.to_csv(destination_path, index=False, encoding='utf-8-sig')
        print(f"所有CSV文件已成功合并并保存到: {destination_path}")
    else:
        print("没有可合并的数据。")

# 示例调用
# 假设你的 'Sessions' 目录与你的脚本在同一目录下
# combine_nested_csvs('Sessions', 'weather_all.csv')

# 如果 'Sessions' 在其他位置，请提供完整路径
# combine_nested_csvs('/Users/YourUser/Documents/Sessions', 'weather_all.csv')