Python快速掌握数据分析中批量文件处理技巧【教程】-Python教程-PHP中文网

Python快速掌握数据分析中批量文件处理技巧【教程】

舞夢輝影

发布： 2025-12-15 14:01:01

原创

552人浏览过

掌握glob找文件、pandas.concat合数据、pathlib理路径、tqdm+try控节奏四招，即可高效完成90%批量文件处理任务。

python快速掌握数据分析中批量文件处理技巧【教程】

批量处理文件是数据分析中高频又刚需的技能，掌握几个核心方法就能省下大量重复操作时间。关键不在于写得多，而在于用对工具、理清路径、避开常见坑。

不用手动列文件名，glob 能按通配符自动匹配路径。比如读取当前目录下所有 CSV 文件：

import glob
csv_files = glob.glob("*.csv") # 返回文件路径列表
支持多级匹配：glob.glob("data/2023_*.xlsx") 或 glob.glob("logs/**/*.log")（加 recursive=True）
注意：Windows 路径分隔符用 / 或 os.sep 更稳妥，避免反斜杠转义问题

逐个读再手动拼接效率低还易出错，concat 是标准解法：

import pandas as pd
dfs = [pd.read_csv(f) for f in csv_files]
combined = pd.concat(dfs, ignore_index=True)
加 ignore_index=True 重置行索引，避免重复索引；加 sort=False 可跳过列名自动排序（保持原始列顺序）
若文件字段不全一致，用 join="outer" 补齐缺失列（默认 NaN），或 join="inner" 只保留共有的列

处理文件名、后缀、父目录时，pathlib 比传统 os.path 更简洁可读：

Docky AI

多合一AI浏览器助手，解答问题、绘制图片、阅读文档、强化搜索结果、辅助创作

100

from pathlib import Path
p = Path("data/report_v2.xlsx")
print(p.stem) # "report_v2"
print(p.suffix) # ".xlsx"
print(p.parent) # Path("data")
批量重命名示例：for f in Path("raw").glob("*.txt"): f.rename(f.with_name("clean_" + f.stem + f.suffix))
创建目录无需判断是否存在：Path("output").mkdir(exist_ok=True)

实际处理几十上百个文件时，卡住或报错很常见，加两行代码就大幅改善体验：

用 tqdm 显示进度条：from tqdm import tqdm
for f in tqdm(csv_files, desc="Reading CSVs"):
单个文件读取出错不影响整体：try:
  df = pd.read_csv(f)
except Exception as e:
  print(f"跳过 {f} — {e}")
  continue
记录失败文件到日志文件，方便后续排查，比直接崩溃有用得多

基本上就这些。不需要背命令，理解 glob 找文件、concat 合数据、pathlib 理路径、tqdm + try 控节奏，四招组合就能覆盖 90% 的批量分析场景。

以上就是Python快速掌握数据分析中批量文件处理技巧【教程】的详细内容，更多请关注php中文网其它相关文章！