使用装饰器和字典缓存函数结果：避免 setdefault 的陷阱-Python教程-PHP中文网

使用装饰器和字典缓存函数结果：避免 setdefault 的陷阱

花韻仙語

发布： 2025-09-23 16:37:01

原创

298人浏览过

使用装饰器和字典缓存函数结果：避免 setdefault 的陷阱

本文旨在帮助读者理解如何使用 Python 装饰器实现函数结果缓存，提高代码执行效率。我们将深入探讨使用 dict.setdefault 方法的潜在问题，并提供一种更健壮的缓存实现方案，包括处理可变参数和关键字参数，以及如何避免全局缓存带来的问题。

装饰器与函数缓存

装饰器是 Python 中一种强大的元编程工具，允许我们在不修改函数本身代码的情况下，增强函数的功能。函数缓存是一种常见的优化技术，通过存储函数调用结果，避免重复计算，从而提高程序性能。

setdefault 的陷阱

最初，我们可能会尝试使用字典的 setdefault 方法来实现缓存。setdefault 的本意是：如果键不存在于字典中，则插入具有指定值的键。然而，在函数缓存的场景下，直接使用 setdefault 可能会导致不必要的函数调用。

考虑以下代码片段：

def wrapper2(*args, **kwargs):
    global cache
    return cache.setdefault(args, func(*args, **kwargs))

登录后复制

这段代码看起来似乎很简洁，但实际上 func(*args, **kwargs) 会在 setdefault 被调用之前执行。也就是说，无论 args 是否已经存在于 cache 中，func 都会被调用一次。这违背了缓存的初衷，即避免重复计算。

return cache.setdefault(args, func(*args, **kwargs)) 等价于：

result = func(*args, **kwargs)
return cache.setdefault(args, result)

登录后复制

因此，func 总是在 cache.setdefault 之前被调用。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

查看详情

改进的缓存装饰器

为了避免 setdefault 的陷阱，我们需要显式地检查缓存中是否存在结果，如果不存在才调用函数。同时，为了让装饰器更具通用性，我们需要解决以下几个问题：

避免全局缓存： 每个被装饰的函数应该拥有自己的缓存，而不是共享一个全局缓存。
处理可变参数和关键字参数： 缓存键需要包含 *args 和 **kwargs 的信息。
保留原始函数信息： 使用 functools.wraps 装饰器可以保留原始函数的元数据，例如函数名和文档字符串，这对于调试和代码维护非常重要。

以下是一个改进后的缓存装饰器示例：

import functools

def cacheDecorator(func):
    cache = {}  # 每个函数一个缓存

    @functools.wraps(func)  # 保留原始函数信息
    def wrapper(*args, **kwargs):
        # 创建缓存键，包含 args 和 kwargs
        cache_key = (args, tuple(sorted(kwargs.items()))) # Ensure kwargs are consistently ordered
        if cache_key in cache:
            return cache[cache_key]
        else:
            ret_val = func(*args, **kwargs)
            cache[cache_key] = ret_val
            return ret_val

    return wrapper

登录后复制

代码解释：

cache = {}： 在 cacheDecorator 函数内部创建了一个字典 cache，用于存储当前函数的缓存。
@functools.wraps(func)： 使用 functools.wraps 装饰器，将原始函数 func 的元数据复制到 wrapper 函数，例如 __name__、__doc__ 等。
cache_key = (args, tuple(sorted(kwargs.items())))： 创建缓存键。这里将 args 和 kwargs 都包含在内。由于字典是无序的，为了确保相同的关键字参数以相同的顺序出现，我们对 kwargs.items() 进行了排序。tuple()的使用是因为字典的键必须是可哈希的，而字典本身是不可哈希的，元组可以作为字典的键。
if cache_key in cache:： 检查缓存中是否存在对应的结果。
return cache[cache_key]： 如果缓存命中，直接返回缓存中的结果。
*`ret_val = func(args, kwargs)`： 如果缓存未命中，调用原始函数 func 计算结果。
cache[cache_key] = ret_val： 将计算结果存储到缓存中。
return ret_val： 返回计算结果。

使用示例：

import time

@cacheDecorator
def expensive_function(a, b, c=1):
    """
    一个耗时的函数，用于演示缓存效果。
    """
    print("Executing expensive_function...")
    time.sleep(2)  # 模拟耗时操作
    return a * b + c

print(expensive_function(1, 2))
print(expensive_function(1, 2))
print(expensive_function(1, 2, c=3)) # Different arguments, so not cached
print(expensive_function(1, 2, c=3)) # Now cached

登录后复制

在这个例子中，expensive_function 只会在第一次调用时执行耗时操作。后续使用相同参数的调用将直接从缓存中获取结果，大大提高了效率。

注意事项

可变数据类型： 如果函数的参数是可变数据类型（例如列表或字典），并且在函数内部被修改，那么缓存可能会失效，因为缓存键对应的对象已经发生了变化。在这种情况下，应该考虑复制参数，或者避免缓存具有可变参数的函数。
缓存大小限制： 在实际应用中，应该考虑缓存的大小限制，避免占用过多的内存。可以使用 lru_cache 装饰器（functools.lru_cache）来实现带有 LRU (Least Recently Used) 策略的缓存。