文件锁用于防止多进程或线程同时读写同一文件导致数据冲突。1. fcntl模块在Unix/Linux下实现建议性锁,需所有进程遵守规则;2. portalocker库跨平台兼容,封装了fcntl和msvcrt,使用简单;3. 原子写入通过临时文件加os.rename()实现,适用于写操作频繁且读写不重叠的场景;4. 标志文件法通过创建.lock文件标记占用,轻量但需处理残留问题。生产环境推荐portalocker或fcntl方案,确保访问方遵循锁协议。

Python 中实现文件锁的主要目的是防止多个进程或线程同时读写同一文件,避免数据冲突或损坏。在多进程环境下尤其重要,因为不同进程无法通过线程锁(如 threading.Lock)进行同步。以下是几种常见的 Python 文件锁实现方式。
1. 使用 fcntl 模块(Unix/Linux)
fcntl 是 Unix/Linux 系统下的文件控制接口,可通过它实现建议性文件锁(advisory lock)。这种方式不会强制阻止其他未加锁的程序访问文件,因此需要所有访问方都遵循加锁规则。
示例代码:import fcntl import timedef write_with_lock(filename, content): with open(filename, 'a') as f: try: fcntl.flock(f.fileno(), fcntl.LOCK_EX) # 排他锁 f.write(content + '\n') f.flush() finally: fcntl.flock(f.fileno(), fcntl.LOCK_UN) # 释放锁
使用示例
write_with_lock('log.txt', 'Hello from process')
说明:LOCK_EX 表示排他锁,适用于写操作;LOCK_SH 表示共享锁,适用于读操作。LOCK_UN 用于释放锁。
2. 使用 portalocker 库(跨平台)
portalocker 是一个跨平台的文件锁封装库,底层在 Windows 上使用 msvcrt,在 Unix 上使用 fcntl,简化了多平台开发中的兼容问题。
立即学习“Python免费学习笔记(深入)”;
安装方式:pip install portalocker
import portalockerwith open('data.txt', 'w') as f: portalocker.lock(f, portalocker.LOCK_EX) f.write('Critical data')
自动解锁
支持 LOCK_EX(排他锁)、LOCK_SH(共享锁)和 LOCK_NB(非阻塞模式)。
专为中小型企业定制的网络办公软件,富有竞争力的十大特性: 1、独创 web服务器、数据库和应用程序全部自动傻瓜安装,建立企业信息中枢 只需3分钟。 2、客户机无需安装专用软件,使用浏览器即可实现全球办公。 3、集成Internet邮件管理组件,提供web方式的远程邮件服务。 4、集成语音会议组件,节省长途话费开支。 5、集成手机短信组件,重要信息可直接发送到员工手机。 6、集成网络硬
3. 使用 tempfile 和原子写入(避免锁)
某些场景下可避免显式加锁,采用“原子写入”策略:先写入临时文件,再重命名为目标文件。在大多数文件系统中,rename 操作是原子的。
示例代码:import osdef atomic_write(filename, content): temp_filename = filename + '.tmp' with open(temp_filename, 'w') as f: f.write(content) f.flush() os.fsync(f.fileno()) # 确保写入磁盘 os.rename(temp_filename, filename) # 原子操作
此方法适合写操作频繁但读写不同时发生的场景,简单且无需锁机制。
4. 使用文件锁标志文件(基于文件存在性)
通过创建一个“.lock”文件来标记资源正在被使用。虽然不够严谨,但在轻量级场景中可行。
示例代码:import os import timelock_file = 'data.txt.lock'
def acquire_lock(): while os.path.exists(lock_file): time.sleep(0.1) with open(lock_file, 'w') as f: f.write(str(os.getpid()))
def release_lock(): if os.path.exists(lock_file): os.remove(lock_file)
注意:需处理异常和进程崩溃后残留锁文件的问题,可用 atexit 或信号捕获清理。
基本上就这些常见方法。选择哪种取决于你的运行环境、是否跨平台、以及对可靠性的要求。对于生产环境,推荐使用 portalocker 或基于 fcntl 的方案,并确保所有访问方都遵守锁协议。









