0

0

Python 大量对象创建的内存优化方法

冷漠man

冷漠man

发布时间:2026-01-27 14:50:40

|

244人浏览过

|

来源于php中文网

原创

用 __slots__ 可将实例内存压缩至原来的1/3~1/5,因禁用__dict__和__weakref__,属性转为固定偏移存储;需显式声明属性名,父类启用则子类也须定义,否则优化失效。

python 大量对象创建的内存优化方法

__slots__ 禁用动态属性能省多少内存?

默认情况下,Python 每个实例都带一个 __dict__ 字典来存属性,哪怕只存 2–3 个字段,也要额外占用 ~240 字节。上万对象时,这部分开销就非常可观。

__slots__ 后,实例不再有 __dict____weakref__,属性直接映射到预分配的固定偏移量,内存可压缩到原来的 1/3~1/5。

  • 必须显式声明所有允许的属性名:__slots__ = ('id', 'name', 'score')
  • 不能动态赋值未声明的属性,否则报 AttributeError: 'X' object has no attribute 'xxx'
  • 父类用了 __slots__,子类也得定义,否则父类的优化会被子类的 __dict__ 覆盖
  • 如果需要偶尔支持动态属性,可保留 '__dict__' 在 slots 元组里,但那就失去大部分优化效果

对象池(__new__ + 缓存)适合哪些场景?

不是所有对象都适合池化。只有满足「创建开销大 + 生命周期短 + 实例可复用」三个条件时才值得做,比如网络连接、线程本地配置、坐标点(若业务中大量重复构造相同值)。

常见误用是拿它优化普通数据容器(如 User),反而因哈希/查找引入额外开销,且容易引发状态残留 bug。

立即学习Python免费学习笔记(深入)”;

  • 用弱引用字典 weakref.WeakValueDictionary 存缓存,避免对象永久驻留
  • 重写 __new__ 时,先查池、命中则跳过 super().__new__,未命中再创建并存入池
  • 注意:池化后对象状态必须重置(例如在 __init__ 或复用前清空字段),否则上次使用残留的数据会污染下次调用
  • 并发环境下需加锁(如 threading.Lock),但锁本身可能成为瓶颈,建议按 key 分片加锁

array.arraystruct.pack 替代对象列表真能提速?

当你要存的是同构数值数据(比如十万条 (x: float, y: float, z: float)),用对象列表是典型的空间浪费:每个 Point 实例至少 48 字节 + 3 × 24 字节浮点对象引用 + 冗余类型信息。

Figma
Figma

Figma 是一款基于云端的 UI 设计工具,可以在线进行产品原型、设计、评审、交付等工作。

下载

换成 array.array('d', [...])struct.pack('ddd', x, y, z) 打包成二进制块,内存直接降到 1/5 以内,且 CPU 缓存友好,遍历速度通常快 3–10 倍。

  • array.array 只支持基础类型('i', 'd', 'B' 等),不支持嵌套或混合类型
  • struct 需自己管理偏移和解包逻辑,适合固定结构+批量读写;array 更适合单值追加和随机访问
  • 如果后续要频繁按字段过滤(如 “找出所有 y > 10 的点”),纯 array 会逼你写 C 风格循环,此时可考虑 numpy.ndarray —— 它底层也是紧凑内存布局,还带向量化操作

为什么 __del__ 和弱回调不适合内存敏感场景?

很多人想靠 __del__ 主动归还资源或清理缓存,但这不可靠:CPython 中它依赖引用计数归零触发,PyPy/其他实现甚至不保证调用时机;循环引用下更可能永不触发。

弱引用回调(weakref.ref(obj, callback))看似优雅,但 callback 执行时机不确定,且每次注册都会产生额外对象(弱引用本身也有开销),在高频创建/销毁场景下反而增加 GC 压力。

  • 真正可控的方式是显式生命周期管理:用上下文管理器(with)、手动 .close()、或把对象生命周期绑定到某个明确的 owner 上
  • 如果必须自动清理,优先用 weakref.finalize(比 __del__ 更可靠),但仍要避免在 finalize 里做耗时或依赖其他对象的操作
  • 最省心的做法其实是别让对象活太久——用生成器替代一次性列表,用迭代器替代全量加载,从源头减少存活对象数

内存优化不是堆技巧,而是对数据建模方式的重新审视。一个 __slots__ 能省几百 MB,但若本该用 array 存的数据硬套 class,再怎么调参也救不回来。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

578

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

101

2025.10.23

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

395

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

575

2023.08.10

class在c语言中的意思
class在c语言中的意思

在C语言中,"class" 是一个关键字,用于定义一个类。想了解更多class的相关内容,可以阅读本专题下面的文章。

469

2024.01.03

python中class的含义
python中class的含义

本专题整合了python中class的相关内容,阅读专题下面的文章了解更多详细内容。

13

2025.12.06

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

502

2023.08.10

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

9

2026.01.27

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

107

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.3万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号