0

0

Python 对象序列化与反序列化最佳实践

冷炫風刃

冷炫風刃

发布时间:2026-01-26 19:25:35

|

875人浏览过

|

来源于php中文网

原创

pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。

python 对象序列化与反序列化最佳实践

为什么 pickle 不该用于不可信数据

pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。

常见错误现象:AttributeError: Can't get attribute 'XXX' on —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。

  • 永远不用 pickle.load()pickle.loads() 处理来源不明的数据
  • 内部服务间短生命周期通信(如 Celery 任务参数)可谨慎使用,但需确保 worker 和 producer 共享完全一致的代码版本
  • 替代方案优先选 json + 自定义编码器,或 msgpack(需禁用 ext types)

如何安全地序列化带方法/状态的自定义类

Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable

实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:

立即学习Python免费学习笔记(深入)”;

class CacheEntry:
    def __init__(self, key, value, ttl=300):
        self.key = key
        self.value = value
        self.ttl = ttl
        self._created_at = time.time()  # 不保存
        self._lock = threading.Lock()    # 不保存
def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_lock', None)
    state.pop('_created_at', None)
    return state

  • 避免在 __getstate__ 中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list)
  • 若必须恢复复杂状态(如重连数据库连接),在 __setstate__ 中惰性重建,而非存连接对象本身
  • 测试时用 assert hasattr(obj, '_lock') 验证反序列化后是否缺失预期属性

json 序列化 datetime / bytes / Decimal 的兼容写法

json.dumps() 默认不认 datetimebytesDecimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2023,1,1))'2023-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。

微信 WeLM
微信 WeLM

WeLM不是一个直接的对话机器人,而是一个补全用户输入信息的生成模型。

下载

推荐用显式转换 + 统一协议:

  • datetime → ISO 格式字符串:dt.isoformat(),反序列化用 datetime.fromisoformat()(注意时区)
  • bytes → base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用 base64.b64decode(s)
  • Decimalfloatstr金融场景必须用 str(d),避免浮点精度丢失

封装成可复用的 encoder:

class SafeJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime):
            return obj.isoformat()
        if isinstance(obj, bytes):
            return base64.b64encode(obj).decode('ascii')
        if isinstance(obj, Decimal):
            return str(obj)
        return super().default(obj)

性能敏感场景下 msgpackprotobuf 怎么选

msgpackjson 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言

选型关键点:

  • 纯 Python 内部通信(如 Redis 缓存)、且结构简单 → 用 msgpack.packb(obj, strict_types=True),开 strict_types 避免自动转 int/float
  • 要和 Go/Java 服务交互,或字段频繁增减 → 必须上 protobuf,用 optional 字段和 oneof 控制演进
  • 别用 msgpacknumpy.ndarray:默认会转成 list,巨慢;改用 msgpack_numpy 插件或直接 np.save 到 BytesIO

容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

778

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

686

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

769

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

740

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1445

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

571

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

581

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

752

2023.08.11

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

31

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.1万人学习

Django 教程
Django 教程

共28课时 | 3.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号