Python处理多层文件结构推荐pathlib.rglob(),批量读写需按需加载并指定编码,重命名移动要校验存在性,过滤统计用关键词或后缀,脚本化应加argparse、tqdm和错误日志。

遍历目录:用 os.walk() 和 pathlib 处理多层文件结构
处理多个文件时,第一步往往是找到它们。Python 提供了两种主流方式:传统 os.walk() 和更现代的 pathlib.Path.rglob()。
os.walk() 返回三元组(根路径、子目录名列表、文件名列表),适合需要同时操作目录层级信息的场景:
- 逐层进入子目录,可控制是否跳过某些文件夹(通过修改 dirnames 列表)
- 对每个目录下的文件做统一判断,比如只处理 .py 或 .txt 文件
- 示例中常配合 os.path.join(root, file) 构建完整路径,避免路径拼接错误
pathlib 更简洁直观,推荐新项目使用:
- Path("data").rglob("*.log") 直接获取所有匹配的日志文件路径对象
- 路径对象自带 .stem、.suffix、.parent 等属性,无需额外拆解字符串
- 支持链式调用,比如 p.resolve().is_file() 安全判断是否存在且为文件
批量读写文件:避免内存爆炸与编码陷阱
一次打开几百个文件?别直接用 open() 全部加载——容易触发 MemoryError 或乱码。关键在“按需”和“统一编码”。
立即学习“Python免费学习笔记(深入)”;
- 用 with open(...) 保证自动关闭,即使出错也不留句柄
- 文本文件务必显式指定 encoding="utf-8"(Windows 记事本保存的 ANSI 文件除外,可用 "gbk" 或 chardet 检测)
- 大文件不用 read() 全读,改用 for line in f: 逐行处理;二进制文件用 f.read(8192) 分块读取
- 写入前检查目标目录是否存在:Path(out_dir).mkdir(parents=True, exist_ok=True)
常见批量操作:重命名、移动、过滤与统计
实际工作中,多数需求逃不开这几类动作。核心是“先查后动”,加一层安全校验。
- 重命名:用 rename() 前先用 exists() 检查目标名是否已存在,避免覆盖;建议加时间戳或序号前缀,如 f"backup_{p.stem}_{int(time.time())}{p.suffix}"
- 移动/复制:shutil.move() 和 shutil.copy2() 保留修改时间等元数据;跨磁盘移动本质是复制+删除,大文件注意磁盘空间
- 按内容过滤:比如只处理含特定关键词的文件,可用 if "ERROR" in f.read():,但记得小文件才全文读,否则用正则逐行 scan
- 快速统计:统计总大小用 sum(p.stat().st_size for p in files),统计类型分布用 Counter(p.suffix for p in files)
封装成可复用脚本:加参数、进度条与错误日志
临时脚本跑一次就丢?稍加改造就能变成团队共享工具。
- 用 argparse 接收路径、后缀、动作类型等参数,比如 python batch.py -d ./logs -e .log --action clean
- 处理大量文件时加 tqdm(files) 显示进度条,用户不干等
- 异常不能吞掉:对每个文件单独 try/except,记录失败路径到 error.log,不影响其余文件执行
- 操作前打印将要处理的文件数和预估影响范围,加 --dry-run 参数先预览不执行










