使用Python计算文件在磁盘上的实际占用空间（Size on Disk）

import os
import stat

def size_on_disk(path: str) -> int:
    '''
    获取常规文件在磁盘上的实际占用空间（Size on Disk）。

    参数:
        path (str): 文件的路径。

    返回:
        int: 文件在磁盘上占用的字节数。

    抛出:
        NotImplementedError: 如果路径指向的不是常规文件。
    '''
    st = os.lstat(path)  # 获取文件状态
    if not stat.S_ISREG(st.st_mode):
        raise NotImplementedError(f'路径 "{path}" 指向的不是常规文件，不支持计算。')

    st_vfs = os.statvfs(path)  # 获取文件系统状态
    block_size = st_vfs.f_frsize  # 文件系统的基本分配单元大小（块大小）

    # 计算文件所需的块数
    # divmod(a, b) 返回 (a // b, a % b)
    n_blocks, rem_bytes = divmod(st.st_size, block_size)

    # 如果有余数，说明需要额外一个块来存储剩余数据
    if rem_bytes > 0:
        n_blocks += 1

    return n_blocks * block_size

# 示例用法
if __name__ == '__main__':
    # 创建一个临时文件进行测试
    test_file_path = "test_file.txt"
    with open(test_file_path, "w") as f:
        f.write("Hello, World!") # 13 bytes

    try:
        logical_size = os.path.getsize(test_file_path)
        disk_size = size_on_disk(test_file_path)
        print(f"文件: {test_file_path}")
        print(f"逻辑大小 (st_size): {logical_size} 字节")
        print(f"磁盘占用大小 (Size on Disk): {disk_size} 字节")

        # 再次创建一个大小刚好是块倍数的文件（假设块大小为4096）
        with open("test_file_4k.txt", "wb") as f:
            f.write(b'\0' * 4096)
        logical_size_4k = os.path.getsize("test_file_4k.txt")
        disk_size_4k = size_on_disk("test_file_4k.txt")
        print(f"\n文件: test_file_4k.txt")
        print(f"逻辑大小 (st_size): {logical_size_4k} 字节")
        print(f"磁盘占用大小 (Size on Disk): {disk_size_4k} 字节")

    except NotImplementedError as e:
        print(f"错误: {e}")
    finally:
        # 清理临时文件
        if os.path.exists(test_file_path):
            os.remove(test_file_path)
        if os.path.exists("test_file_4k.txt"):
            os.remove("test_file_4k.txt")

import os
import stat

# 全局缓存字典，用于存储文件系统的状态信息
# 键为设备ID (st_dev)，值为文件系统状态对象 (statvfs_result)
STATVFS_CACHE = {}

def size_on_disk_cached(path: str) -> int:
    '''
    获取常规文件在磁盘上的实际占用空间（Size on Disk），并使用缓存优化性能。

    参数:
        path (str): 文件的路径。

    返回:
        int: 文件在磁盘上占用的字节数。

    抛出:
        NotImplementedError: 如果路径指向的不是常规文件。
    '''
    st = os.lstat(path)
    if not stat.S_ISREG(st.st_mode):
        raise NotImplementedError(f'路径 "{path}" 指向的不是常规文件，不支持计算。')

    # 尝试从缓存中获取文件系统信息
    # 如果缓存中没有，则调用 os.statvfs() 并存入缓存
    st_vfs = STATVFS_CACHE.get(st.st_dev)
    if st_vfs is None:
        st_vfs = os.statvfs(path)
        STATVFS_CACHE[st.st_dev] = st_vfs

    block_size = st_vfs.f_frsize

    n_blocks, rem_bytes = divmod(st.st_size, block_size)
    if rem_bytes > 0:
        n_blocks += 1

    return n_blocks * block_size

# 示例用法 (与之前类似，但使用 size_on_disk_cached)
if __name__ == '__main__':
    # 创建多个临时文件进行测试
    test_files = {
        "test_file_1.txt": "Hello, World!",
        "test_file_2.txt": "This is a slightly longer string to test.",
        "test_file_3.txt": b'\0' * 1024 # 1KB
    }
    for fname, content in test_files.items():
        with open(fname, "wb" if isinstance(content, bytes) else "w") as f:
            f.write(content)

    try:
        print("使用缓存的 size_on_disk_cached 函数:")
        for fname, _ in test_files.items():
            logical_size = os.path.getsize(fname)
            disk_size = size_on_disk_cached(fname)
            print(f"文件: {fname}, 逻辑大小: {logical_size} 字节, 磁盘占用: {disk_size} 字节")

        # 再次调用，此时文件系统信息应已缓存，速度更快
        print("\n再次调用 (应使用缓存):")
        for fname, _ in test_files.items():
            logical_size = os.path.getsize(fname)
            disk_size = size_on_disk_cached(fname)
            print(f"文件: {fname}, 逻辑大小: {logical_size} 字节, 磁盘占用: {disk_size} 字节")

    except NotImplementedError as e:
        print(f"错误: {e}")
    finally:
        # 清理临时文件
        for fname in test_files.keys():
            if os.path.exists(fname):
                os.remove(fname)