
本文详细阐述了如何使用python在unix-like系统上计算常规文件在磁盘上的实际占用空间。针对文件系统块分配原理,提供了一个高效的python函数,能够基于文件的逻辑大小和文件系统块大小进行精确计算,并包含性能优化策略。文章同时明确了该方案的适用范围、系统兼容性限制以及对空文件处理的注意事项,旨在帮助开发者准确管理存储资源,尤其是在创建固定大小镜像容器时。
在文件系统管理和存储规划中,理解文件在磁盘上的“实际占用空间”至关重要。这与我们通常看到的文件“逻辑大小”有所不同。例如,在创建固定大小的磁盘镜像(如使用dd命令)时,如果仅依据文件的逻辑大小来预留空间,可能会因文件系统块分配机制导致空间不足的错误。本文将深入探讨文件系统的工作原理,并提供使用Python计算常规文件实际磁盘占用的方法。
文件系统在磁盘上存储数据时,并非以字节为单位精确分配,而是以固定大小的“块”(Block)或“簇”(Cluster)为单位。一个文件,即使其逻辑大小远小于一个块,也至少会占用一个块的空间。如果文件大小超过一个块,它将占用多个块,且通常会向上取整到最近的块大小倍数。
例如,如果文件系统块大小为4096字节,一个逻辑大小为100字节的文件将占用4096字节;一个逻辑大小为4100字节的文件将占用8192字节(两个块)。
要计算文件的实际磁盘占用,我们需要获取文件的逻辑大小以及其所在文件系统的块大小。Python的os模块提供了所需的功能。
立即学习“Python免费学习笔记(深入)”;
以下是一个计算常规文件在磁盘上实际占用空间的函数:
import os
import stat
def size_on_disk(path: str) -> int:
'''
获取常规文件在磁盘上的实际占用空间。
参数:
path (str): 文件的路径。
返回:
int: 文件在磁盘上实际占用的字节数。
抛出:
NotImplementedError: 如果路径指向的不是常规文件。
'''
st = os.lstat(path) # 获取文件状态,包括逻辑大小和设备ID
# 检查是否为常规文件。此函数仅适用于常规文件。
if not stat.S_ISREG(st.st_mode):
raise NotImplementedError(f"路径 '{path}' 指向的不是常规文件,无法计算磁盘占用。")
st_vfs = os.statvfs(path) # 获取文件系统状态,包括文件系统块大小
# 文件系统块大小 (fragment size)
block_size = st_vfs.f_frsize
# 计算文件逻辑大小需要多少个块
# divmod 返回 (商, 余数)
n_blocks, rem_bytes = divmod(st.st_size, block_size)
# 如果有余数,说明需要额外一个块
# bool(rem_bytes) 在 rem_bytes > 0 时为 True (1),否则为 False (0)
actual_blocks = n_blocks + bool(rem_bytes)
return actual_blocks * block_size
# 示例用法
if __name__ == "__main__":
# 创建一个测试文件
test_file_path = "test_file.txt"
with open(test_file_path, "w") as f:
f.write("Hello, World!") # 逻辑大小13字节
try:
logical_size = os.path.getsize(test_file_path)
disk_size = size_on_disk(test_file_path)
print(f"文件: {test_file_path}")
print(f"逻辑大小: {logical_size} 字节")
print(f"磁盘占用: {disk_size} 字节")
# 创建一个空文件
empty_file_path = "empty_file.txt"
open(empty_file_path, "a").close()
logical_size_empty = os.path.getsize(empty_file_path)
disk_size_empty = size_on_disk(empty_file_path)
print(f"\n文件: {empty_file_path}")
print(f"逻辑大小: {logical_size_empty} 字节")
print(f"磁盘占用: {disk_size_empty} 字节") # 注意:此函数对空文件返回0
except NotImplementedError as e:
print(f"错误: {e}")
except FileNotFoundError:
print(f"文件 '{test_file_path}' 或 '{empty_file_path}' 未找到。")
finally:
# 清理测试文件
if os.path.exists(test_file_path):
os.remove(test_file_path)
if os.path.exists(empty_file_path):
os.remove(empty_file_path)代码解析:
如果需要计算同一卷(磁盘分区)上大量文件的磁盘占用,反复调用os.statvfs()会带来显著的性能开销,因为每次调用都需要查询文件系统信息。由于同一卷上的所有文件共享相同的f_frsize,我们可以缓存os.statvfs()的结果,通过文件的设备ID (st.st_dev) 来识别卷。
以下是带有缓存机制的优化版本:
import os
import stat
STATVFS_CACHE = {} # 缓存文件系统状态信息的字典
def size_on_disk_cached(path: str) -> int:
'''
获取常规文件在磁盘上的实际占用空间,并使用缓存优化性能。
参数:
path (str): 文件的路径。
返回:
int: 文件在磁盘上实际占用的字节数。
抛出:
NotImplementedError: 如果路径指向的不是常规文件。
'''
st = os.lstat(path)
if not stat.S_ISREG(st.st_mode):
raise NotImplementedError(f"路径 '{path}' 指向的不是常规文件,无法计算磁盘占用。")
# 使用文件所在的设备ID (st.st_dev) 作为缓存键
if st.st_dev not in STATVFS_CACHE:
STATVFS_CACHE[st.st_dev] = os.statvfs(path)
st_vfs = STATVFS_CACHE[st.st_dev]
block_size = st_vfs.f_frsize
n_blocks, rem_bytes = divmod(st.st_size, block_size)
actual_blocks = n_blocks + bool(rem_bytes)
return actual_blocks * block_size
# 示例用法(略,与非缓存版本类似,但在处理大量文件时性能更优)通过STATVFS_CACHE字典,我们使用st.st_dev(设备ID)作为键来存储os.statvfs()的结果。这样,对于同一设备上的后续文件,可以直接从缓存中获取文件系统块大小,避免重复的系统调用。
在使用上述函数时,请务必注意以下几点:
本文提供了一个在类Unix系统上使用Python计算常规文件实际磁盘占用空间的实用函数。通过理解文件系统块分配的原理,并结合os.lstat和os.statvfs,我们可以精确地获取文件在磁盘上的真实存储需求。通过引入缓存机制,可以进一步优化在处理大量文件时的性能。然而,开发者在使用此方案时,务必牢记其系统兼容性、文件类型限制、元数据未包含以及空文件和稀疏文件处理的特殊情况,以确保在具体应用场景中做出准确的判断和实现。
以上就是Python 实现:计算常规文件在磁盘上的实际占用空间的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号