pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。

为什么 pickle 不该用于不可信数据
pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。
常见错误现象:AttributeError: Can't get attribute 'XXX' on —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。
- 永远不用
pickle.load()或pickle.loads()处理来源不明的数据 - 内部服务间短生命周期通信(如 Celery 任务参数)可谨慎使用,但需确保 worker 和 producer 共享完全一致的代码版本
- 替代方案优先选
json+ 自定义编码器,或msgpack(需禁用 ext types)
如何安全地序列化带方法/状态的自定义类
Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable。
实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:
立即学习“Python免费学习笔记(深入)”;
class CacheEntry:
def __init__(self, key, value, ttl=300):
self.key = key
self.value = value
self.ttl = ttl
self._created_at = time.time() # 不保存
self._lock = threading.Lock() # 不保存
def __getstate__(self):
state = self.__dict__.copy()
state.pop('_lock', None)
state.pop('_created_at', None)
return state
- 避免在
__getstate__中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list) - 若必须恢复复杂状态(如重连数据库连接),在
__setstate__中惰性重建,而非存连接对象本身 - 测试时用
assert hasattr(obj, '_lock')验证反序列化后是否缺失预期属性
json 序列化 datetime / bytes / Decimal 的兼容写法
json.dumps() 默认不认 datetime、bytes、Decimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2023,1,1)) 是 '2023-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。
推荐用显式转换 + 统一协议:
-
datetime→ ISO 格式字符串:dt.isoformat(),反序列化用datetime.fromisoformat()(注意时区) -
bytes→ base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用base64.b64decode(s) -
Decimal→float或str:金融场景必须用str(d),避免浮点精度丢失
封装成可复用的 encoder:
class SafeJSONEncoder(json.JSONEncoder):
def default(self, obj):
if isinstance(obj, datetime):
return obj.isoformat()
if isinstance(obj, bytes):
return base64.b64encode(obj).decode('ascii')
if isinstance(obj, Decimal):
return str(obj)
return super().default(obj)
性能敏感场景下 msgpack 和 protobuf 怎么选
msgpack 是 json 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言。
选型关键点:
- 纯 Python 内部通信(如 Redis 缓存)、且结构简单 → 用
msgpack.packb(obj, strict_types=True),开strict_types避免自动转int/float - 要和 Go/Java 服务交互,或字段频繁增减 → 必须上
protobuf,用optional字段和oneof控制演进 - 别用
msgpack存numpy.ndarray:默认会转成 list,巨慢;改用msgpack_numpy插件或直接np.save到 BytesIO
容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。










