数据缓存的核心目的是减少重复计算或i/o操作以提高程序效率，实现方式分为内存缓存和持久化缓存。1. 使用functools.lru_cache适用于输入固定、调用频繁的函数，通过maxsize控制缓存上限，且参数需为可哈希类型；2. 使用pickle适合结构简单、更新不频繁的数据，通过手动文件io进行序列化与反序列化；3. 使用shelve提供字典式磁盘存储，适合中间结果和配置信息，但不适用于高并发场景。选择策略时应根据性能需求、数据保留要求及数据量大小合理选用，并注意清理机制设计。
在Python项目中，数据缓存是一个常见的优化手段。它的核心目的就是减少重复计算或I/O操作，提高程序执行效率。实现方式大致可以分为两类：内存缓存和持久化缓存。根据你的需求不同，选择合适的策略能带来明显性能提升。
下面从两个常用场景出发，讲讲具体怎么实现。
使用functools.lru_cache做函数级缓存
如果你有一些输入固定、输出可预测且调用频繁的函数，比如斐波那契数列、解析固定字符串等，可以用Python标准库中的lru_cache装饰器。
立即学习“Python免费学习笔记（深入）”；
from functools import lru_cache
@lru_cache(maxsize=128)
def fib(n):
if n < 2:
return n
return fib(n-1) + fib(n-2)这段代码会把最近调用过的参数和结果缓存在内存中。好处是写法简单、开销小，适合小型缓存场景。
需要注意几点：
-
maxsize控制缓存条目上限，设为None表示不限制 - 被装饰的函数参数必须是可哈希类型（如int、str、tuple）
- 如果函数有副作用或依赖外部状态，慎用此方法
使用pickle或shelve做持久化缓存
当程序重启后仍需要保留缓存数据时，就需要将缓存写入磁盘。这时候可以用pickle或更高级一点的shelve模块。
用pickle手动保存和读取
适用于结构简单、更新不频繁的数据：
import pickle
# 保存缓存
data = {'key': 'value'}
with open('cache.pkl', 'wb') as f:
pickle.dump(data, f)
# 加载缓存
with open('cache.pkl', 'rb') as f:
data = pickle.load(f)优点是灵活，缺点是每次都要手动处理文件IO，数据量大时效率不高。
用shelve像字典一样操作持久化存储
import shelve
with shelve.open('mycache') as db:
db['result_1'] = some_data
print(db.get('result_1'))这种方式更像是一个“磁盘上的字典”，使用起来非常方便，适合缓存一些中间结果、配置信息等。
注意：
-
shelve底层默认使用dbm格式，不同系统支持略有差异 - 不建议用于高并发或多线程写入场景
- 慎用复杂对象序列化，容易导致反序列化失败
根据场景选对策略
缓存不是万能的，关键是要按需选用。比如：
- 如果追求极致性能，考虑
lru_cache或第三方库如cachetools - 如果需要跨进程或跨次运行保留数据，就走持久化路线
- 如果数据量很大，考虑分片存储或使用专用缓存服务（如Redis）
另外，缓存清理机制也很重要。你可以定期清理过期缓存，或者设置最大容量自动淘汰旧数据。
基本上就这些。缓存设计看起来不复杂，但要真正用好，还是得结合实际业务场景来调整细节。
