使用Python准确计算文件在磁盘上的实际占用空间

import os
import stat

def size_on_disk(path: str) -> int:
    """
    获取常规文件在磁盘上的实际占用空间。
    此函数仅适用于：
    - 常规文件（非目录、符号链接或特殊文件）
    - Linux, Unix, 或 Mac OS 系统（不支持 Windows）
    - 仅计算文件内容所占用的inode空间，不包含文件名和元数据。
    """
    st = os.lstat(path)

    # 检查是否为常规文件
    if not stat.S_ISREG(st.st_mode):
        raise NotImplementedError(f"路径 '{path}' 不是常规文件，此函数不支持。")

    # 获取文件系统信息
    st_vfs = os.statvfs(path)

    # f_frsize 是文件系统块大小 (fragment size)
    # 计算所需的块数
    n_blocks, rem_bytes = divmod(st.st_size, st_vfs.f_frsize)

    # 如果有余数，说明需要额外一个块
    total_blocks = n_blocks + bool(rem_bytes)

    # 返回实际占用的字节数
    return total_blocks * st_vfs.f_frsize

# 示例用法
if __name__ == "__main__":
    # 创建一个测试文件
    with open("test_file.txt", "w") as f:
        f.write("Hello, World!") # 逻辑大小 13 字节

    try:
        disk_size = size_on_disk("test_file.txt")
        print(f"文件 'test_file.txt' 的逻辑大小: {os.path.getsize('test_file.txt')} 字节")
        print(f"文件 'test_file.txt' 在磁盘上的实际占用空间: {disk_size} 字节")

        # 尝试计算一个目录的占用空间（会抛出 NotImplementedError）
        # os.mkdir("test_dir")
        # print(size_on_disk("test_dir"))
    except NotImplementedError as e:
        print(f"错误: {e}")
    except FileNotFoundError:
        print("请确保文件 'test_file.txt' 存在。")
    finally:
        if os.path.exists("test_file.txt"):
            os.remove("test_file.txt")
        # if os.path.exists("test_dir"):
        #     os.rmdir("test_dir")

import os
import stat

# 全局缓存字典，存储设备ID到statvfs对象的映射
STATVFS_CACHE = {}

def size_on_disk_cached(path: str) -> int:
    """
    获取常规文件在磁盘上的实际占用空间，并缓存文件系统信息以提高性能。
    此函数同样受限于：
    - 常规文件（非目录、符号链接或特殊文件）
    - Linux, Unix, 或 Mac OS 系统（不支持 Windows）
    - 仅计算文件内容所占用的inode空间，不包含文件名和元数据。
    """
    st = os.lstat(path)

    if not stat.S_ISREG(st.st_mode):
        raise NotImplementedError(f"路径 '{path}' 不是常规文件，此函数不支持。")

    # 使用 st.st_dev 作为缓存键
    if not (st_vfs := STATVFS_CACHE.get(st.st_dev)):
        # 如果缓存中没有，则调用 os.statvfs 并存入缓存
        STATVFS_CACHE[st.st_dev] = (st_vfs := os.statvfs(path))

    n_blocks, rem_bytes = divmod(st.st_size, st_vfs.f_frsize)
    return (n_blocks + bool(rem_bytes)) * st_vfs.f_frsize

# 示例用法
if __name__ == "__main__":
    # 创建多个测试文件
    with open("test_file_1.txt", "w") as f:
        f.write("A" * 10)
    with open("test_file_2.txt", "w") as f:
        f.write("B" * 200)
    with open("test_file_3.txt", "w") as f:
        f.write("C" * 5000) # 逻辑大小大于一个块

    files_to_check = ["test_file_1.txt", "test_file_2.txt", "test_file_3.txt"]

    print("\n--- 使用缓存的函数计算 ---")
    for f_name in files_to_check:
        try:
            disk_size = size_on_disk_cached(f_name)
            print(f"文件 '{f_name}' 的逻辑大小: {os.path.getsize(f_name)} 字节")
            print(f"文件 '{f_name}' 在磁盘上的实际占用空间: {disk_size} 字节")
        except NotImplementedError as e:
            print(f"错误: {e}")
        except FileNotFoundError:
            print(f"请确保文件 '{f_name}' 存在。")

    print(f"\n缓存内容: {STATVFS_CACHE}") # 查看缓存是否生效

    # 清理测试文件
    for f_name in files_to_check:
        if os.path.exists(f_name):
            os.remove(f_name)