高效处理与合并海量Arrow文件：优化rechunk性能策略

import os

def concatenate_files_content(list_of_filenames, output_filename, mode="r", skip_header=False):
    """
    将一系列文件的内容直接合并到指定输出文件。

    参数:
    list_of_filenames (list): 包含待合并文件路径的列表。
    output_filename (str): 合并后输出文件的路径。
    mode (str): 文件读取和写入模式 ("r" for text, "rb" for binary)。
    skip_header (bool): 如果为True，则跳过每个输入文件的第一行（适用于文本文件）。
    """
    if mode not in ["r", "rb"]:
        raise ValueError("mode must be 'r' for text or 'rb' for binary.")

    write_mode = "w" if mode == "r" else "wb"

    try:
        with open(output_filename, write_mode) as outfile:
            for filename in list_of_filenames:
                if not os.path.exists(filename):
                    print(f"Warning: File not found - {filename}. Skipping.")
                    continue

                with open(filename, mode) as infile:
                    if skip_header and mode == "r":
                        # 对于文本文件，跳过第一行
                        lines = infile.readlines()
                        if len(lines) > 0:
                            outfile.writelines(lines[1:])
                    else:
                        # 对于二进制文件或不跳过头部的文本文件
                        outfile.write(infile.read())
        print(f"Successfully concatenated files to {output_filename}")
    except IOError as e:
        print(f"An I/O error occurred: {e}")
    except Exception as e:
        print(f"An unexpected error occurred: {e}")

# 示例用法
# 假设你有一个文件列表
# list_of_arrow_files = ["data_2023-01-01.arrow", "data_2023-01-02.arrow", ...]
# concatenate_files_content(list_of_arrow_files, "all_data.arrow", mode="rb")

# 如果是文本文件且需要跳过头部
# list_of_csv_files = ["file1.csv", "file2.csv"]
# concatenate_files_content(list_of_csv_files, "all_data.csv", mode="r", skip_header=True)

import polars as pl

# 假设 file_list 是你的 Arrow 文件路径列表
# file_list = ["path/to/file1.arrow", "path/to/file2.arrow", ...]

# 逐个读取并合并，默认 rechunk=False
dataframes = [pl.read_ipc(f) for f in file_list]
combined_df = pl.concat(dataframes)

# 如果确实需要 rechunk，可以在合并后再单独执行
# combined_df = combined_df.rechunk()

import polars as pl

# 假设 file_list 是你的 Arrow 文件路径列表
# file_list = ["path/to/file1.arrow", "path/to/file2.arrow", ...]

# 创建 LazyFrame 列表
lazy_frames = [pl.scan_ipc(f) for f in file_list]

# 合并 LazyFrame
# 注意：pl.concat 在 LazyFrame 上默认不会立即执行 rechunk
combined_lazy_df = pl.concat(lazy_frames)

# 当需要结果时，调用 .collect()
# 此时 Polars 会执行优化后的查询计划，并按需进行 rechunk（如果后续有这样的操作）
# 如果你明确需要 rechunk，可以在 collect 之前或之后调用 .rechunk()
final_df = combined_lazy_df.collect()

# 如果在 collect 之前需要 rechunk，可以在 LazyFrame 阶段添加
# final_df = combined_lazy_df.rechunk().collect()

import polars as pl

# 使用 glob 模式读取所有 Arrow 文件
# Polars 会自动处理多个文件的读取和合并，通常比手动循环更高效
# 默认情况下，pl.read_ipc 读取多个文件时，其行为类似于 pl.concat(..., rechunk=False)
combined_df = pl.read_ipc("path/to/*.arrow")

# 如果需要 rechunk，可以后续调用
# combined_df = combined_df.rechunk()