os.walk()适合需完整目录结构和文件属性的场景,按深度优先生成(root, dirs, files)元组,支持就地修改dirs控制遍历;glob和pathlib.rglob()更适合模式匹配,后者返回Path对象更安全现代;权限与编码错误需主动处理而非忽略。

os.walk() 适合需要完整目录结构和文件属性的场景
当你要递归访问所有子目录、同时获取路径、子目录名列表和文件名列表时,os.walk() 是最直接的选择。它按深度优先顺序逐层生成元组 (root, dirs, files),且天然支持修改 dirs 列表来控制遍历范围(比如跳过某些目录)。
常见错误是直接在循环中对 dirs 做 remove() 或切片赋值但没注意原地修改要求;正确做法是用 dirs[:] = [d for d in dirs if not d.startswith('_')] 这类就地替换。
- 不自动过滤隐藏文件或特定后缀,需手动判断
file.endswith('.py') - 路径拼接务必用
os.path.join(root, file),避免硬拼root + '/' + file在 Windows 下出错 - 如果只需统计文件数或检查存在性,
os.walk()开销偏大,此时glob更轻量
glob.glob() 和 pathlib.Path.rglob() 更适合模式匹配驱动的查找
glob.glob() 返回符合 shell 风格通配符的**绝对或相对路径字符串列表**,比如 glob.glob('src/**/*.py', recursive=True);而 pathlib.Path('src').rglob('*.py') 返回的是 Path 对象,自带 .stem、.suffix、.is_file() 等方法,更现代也更安全。
容易踩的坑:旧版 glob 不支持 **,必须显式传 recursive=True;而 pathlib.rglob() 默认递归,但不支持 ~ 展开,需先用 Path.home() 替换。
立即学习“Python免费学习笔记(深入)”;
-
glob不区分大小写(Windows/macOS 默认行为),Linux 下则区分——跨平台脚本要注意 -
pathlib的rglob()结果不能直接传给open(),得先转成字符串或用.open()方法 - 大量小文件时,
glob比os.walk()快,因为它底层调用系统 glob,不构建完整目录树
遇到 PermissionError 或 UnicodeDecodeError 怎么办
权限错误通常出现在遍历系统目录(如 /proc、/sys)或用户无读取权的文件夹;解码错误多见于日志或混合编码的文本目录中。
两种方案:一是预判跳过,二是异常捕获后继续。不要用 try/except: pass 吞掉所有异常——至少记录路径和错误类型。
- 用
os.access(path, os.R_OK)提前检查可读性,再进os.walk() -
glob无法跳过权限错误,必须用pathlib.Path.rglob()配合ignore_errors=True(Python 3.12+)或手动 try/catch - 读取文件内容时报
UnicodeDecodeError,建议统一用encoding='utf-8', errors='replace'打开,避免中断流程
from pathlib import Pathdef safe_rglob(pattern: str, root: str = ".") -> list[Path]: p = Path(root) result = [] for f in p.rglob(pattern): try: if f.is_file(): result.append(f) except (PermissionError, OSError): continue return result
用法示例:找所有 .py 文件,跳过权限不足的路径
py_files = safe_rglob("*.py", "/usr")
实际项目里,别硬记哪个“更好”,先想清楚:要不要路径对象?是否依赖通配符?是否要精细控制遍历逻辑?这些决定了该选 os.walk()、glob 还是 pathlib。细节上,pathlib 的链式调用和类型提示支持越来越强,但老环境可能还在用 os.walk() 配合 fnmatch。










