Python文件IO默认阻塞，因调用操作系统同步系统调用（如read(2)），即使数据在页缓存中也需等待内核返回，机械硬盘或网络文件系统延迟可达毫秒级。
Python 文件 IO 默认是阻塞的，这意味着调用 read()、write()、open() 等操作时，程序会停在当前线程等待系统完成磁盘或缓冲区操作，期间无法执行其他任务。这是性能瓶颈的常见根源，尤其在高并发、大文件处理或实时响应场景中。
为什么文件IO会阻塞
底层上，Python 的内置文件对象基于操作系统提供的同步（blocking）系统调用（如 Linux 的 read(2) 和 write(2)）。即使数据已在页缓存中，Python 仍需等待内核返回结果；若涉及机械硬盘寻道、网络文件系统（NFS）、远程挂载（如 SMB/CIFS），延迟可能达毫秒甚至百毫秒级。
- 普通
open()返回的是同步文件对象，所有 I/O 方法都阻塞当前线程 -
os.read()/os.write()同样阻塞，且不带缓冲，更易暴露底层延迟 - 即使使用
buffering=0关闭缓冲，也不会解除阻塞，只影响数据暂存行为
典型性能瓶颈场景
以下情况容易因阻塞式 IO 拖慢整体性能：
- 单线程读取多个大文件（如日志分析），后一个文件必须等前一个
read()完成 - Web 服务中同步读配置/模板文件，每次请求都触发磁盘 IO，QPS 直接受限
- 数据管道中混合计算与 IO（如边读 CSV 边做数值转换），CPU 空转等待磁盘
- 使用
json.load(f)或pickle.load(f)处理大序列化文件，反序列化前已阻塞在读取阶段
如何缓解或绕过阻塞
不依赖第三方库的前提下，可从三方面入手：
立即学习“Python免费学习笔记（深入）”；
-
异步 IO：用
asyncio+aiofiles替代内置open，将 IO 调度交给事件循环，释放主线程。注意：aiofiles 本身不真正异步，而是在线程池中执行阻塞调用并 await 结果 -
多线程/进程：对独立文件操作，用
concurrent.futures.ThreadPoolExecutor并发读写；对 CPU 密集型 IO 后处理，优先选ProcessPoolExecutor -
预加载与内存映射：小到中等文件（如 f.read() 加载进内存复用；超大文件考虑
mmap.mmap()，按需访问磁盘区域，减少拷贝和阻塞时间
快速验证是否被IO阻塞
- 运行脚本时加
python -m cProfile -s cumulative your_script.py，重点观察read、write、open在总耗时中的占比 - 用
strace -e trace=read,write,openat python your_script.py 2>&1 | head -20（Linux）看系统调用耗时 - 在关键 IO 前后打时间戳：
time.time()，确认单次调用是否异常延迟（如 >10ms）
