0

0

Python中列表字面量、range与迭代器内存行为深度解析

DDD

DDD

发布时间:2025-09-16 10:31:15

|

673人浏览过

|

来源于php中文网

原创

python中列表字面量、range与迭代器内存行为深度解析

Python在处理列表推导式时采用即时求值策略,即使结果立即被转换为迭代器,也会首先在内存中完整构建列表。这意味着匿名列表字面量和具名列表变量在初始内存占用上差异不大。核心区别在于列表对象何时解除引用并变为垃圾回收的候选者:匿名列表在表达式求值后立即可能被回收,而具名列表则会保留至变量生命周期结束。

Python的求值策略:即时求值 (Eager Evaluation)

理解Python中列表字面量与迭代器的内存行为,首先需要明确Python的求值策略。与某些“惰性求值”语言不同,Python在执行大多数表达式时,会采用“即时求值”(Eager Evaluation)策略。这意味着,在将一个表达式的值传递给函数、将其赋值给变量或在其他操作中使用它之前,Python会完整地计算出该表达式的最终结果。

对于列表推导式(List Comprehension)而言,这一原则尤为重要。无论列表推导式的结果是否被立即存储到变量中,或者是否立即被转换为其他形式,它都会首先在内存中生成一个完整的列表对象。

列表字面量与内存分配的实际情况

让我们通过提供的代码示例来具体分析这一过程。

代码示例 1:具名列表与迭代器

立即学习Python免费学习笔记(深入)”;

# CODE 1
my_list = [l for l in range(5000)] # 创建并存储一个包含5000个整数的列表
my_iter1 = iter(my_list)

在这段代码中,[l for l in range(5000)] 会生成一个包含从0到4999共5000个整数的完整列表。这个列表对象随后被赋值给变量 my_list。因此,在 my_list 变量被创建时,内存中已经分配了足够的空间来存储这5000个整数及其对应的列表结构(大约41880字节,具体取决于Python版本和系统架构)。iter(my_list) 只是从这个已存在的列表 my_list 中创建一个迭代器对象 my_iter1,它本身并不会额外创建大量的数据副本,而是持有对 my_list 的引用。

代码示例 2:匿名列表与迭代器

# CODE 2
my_iter2 = iter([i for i in range(5000)]) # 直接将列表推导式的结果转换为迭代器

对于这段代码,核心问题在于 [i for i in range(5000)] 是否仍然会创建完整的列表。答案是肯定的。根据Python的即时求值原则,iter() 函数在执行之前,其参数 [i for i in range(5000)] 必须先被完整计算。这意味着,一个包含5000个整数的完整列表会首先在内存中被创建,作为一个临时的、匿名的对象。然后,iter() 函数会从这个临时列表对象中生成一个迭代器 my_iter2。

因此,从初始内存占用的角度来看,CODE 1 和 CODE 2 在列表生成阶段所需的内存空间是基本相同的。两者都会在某一时刻在内存中完整地构建一个包含5000个整数的列表。

蝉妈妈AI
蝉妈妈AI

电商人专属的AI营销助手

下载

迭代器对象的创建与内存生命周期

虽然初始内存占用相似,但 CODE 1 和 CODE 2 在内存中列表对象的“生命周期”或“可见性”上存在关键差异:

  • CODE 1 (my_list = ...; my_iter1 = iter(my_list)): 列表对象被 my_list 变量引用。只要 my_list 变量存在且指向该列表,这个列表对象就不会被Python的垃圾回收机制回收。即使 my_iter1 迭代完毕,只要 my_list 仍然存在,列表占用的内存就不会被释放。内存的释放通常发生在 my_list 被重新赋值、被删除(del my_list)或当 my_list 所在的函数作用域结束时。

  • CODE 2 (my_iter2 = iter([...])): 列表对象是由 [i for i in range(5000)] 表达式创建的一个临时、匿名的对象。一旦 iter() 函数从这个临时列表成功创建了迭代器 my_iter2,并且没有其他任何地方引用这个临时列表对象,那么这个列表对象就立即变为垃圾回收的候选者。Python的垃圾回收器会在适当的时机回收这部分内存。这意味着,虽然它在短时间内占用了大量内存,但其生命周期可能非常短暂。

总结来说,两者都要求在某个时间点为完整的列表分配内存。主要区别在于这个列表对象是否被一个具名变量长期引用,从而影响其在内存中的驻留时间。

内存优化策略与替代方案

如果你的目标是处理大量数据,并且希望避免一次性在内存中构建整个列表,那么直接将列表推导式的结果转换为迭代器(如CODE 2)并不是最佳的内存优化方案。Python提供了更高效的替代方案:

  1. 直接使用可迭代对象 range: range() 本身就是一个惰性生成序列的可迭代对象,它不会在内存中创建所有数字。

    # 优化方案 1: 直接使用 range 作为迭代器源
    my_iter_range = iter(range(5000))
    # 或者更直接地,range对象本身就是迭代器,可以直接遍历
    my_range_obj = range(5000)

    在这种情况下,range(5000) 对象只存储起始值、结束值和步长,占用的内存非常小,它会在每次迭代时按需生成下一个数字。

  2. 使用生成器表达式 (Generator Expression): 生成器表达式与列表推导式的语法非常相似,但它使用圆括号 () 而不是方括号 []。生成器表达式不会一次性生成所有元素,而是返回一个生成器对象,该对象在每次迭代时按需生成一个值。

    # 优化方案 2: 使用生成器表达式
    my_generator_iter = (i for i in range(5000))

    my_generator_iter 是一个生成器对象,它同样只在需要时才计算并返回下一个值,从而大大减少了内存占用。

代码示例对比(内存高效方案):

import sys

# 原始CODE 1 (高内存占用,长期持有)
my_list_code1 = [l for l in range(5000)]
print(f"CODE 1 - my_list_code1 内存占用: {sys.getsizeof(my_list_code1)} 字节")
# 输出示例: CODE 1 - my_list_code1 内存占用: 40056 字节 (Python 3.x)

# 原始CODE 2 (高内存占用,但生命周期短)
# 无法直接测量临时列表的内存,但其创建过程占用与CODE 1列表相同的内存
my_iter2 = iter([i for i in range(5000)])
# 此处无法直接打印临时列表的内存占用,但其创建过程是等价的

# 优化方案 1: 直接使用 range
my_range_obj = range(5000)
print(f"优化方案 1 - my_range_obj 内存占用: {sys.getsizeof(my_range_obj)} 字节")
# 输出示例: 优化方案 1 - my_range_obj 内存占用: 48 字节

# 优化方案 2: 使用生成器表达式
my_generator_iter = (i for i in range(5000))
print(f"优化方案 2 - my_generator_iter 内存占用: {sys.getsizeof(my_generator_iter)} 字节")
# 输出示例: 优化方案 2 - my_generator_iter 内存占用: 104 字节

运行上述代码,你会发现 my_list_code1 的内存占用远大于 my_range_obj 和 my_generator_iter,后者通常只有几十到一百多字节,而 my_list_code1 则会是几万字节。

注意事项与总结

  • Python的即时求值是核心: 列表推导式 [expr for item in iterable] 总是会构建一个完整的列表对象。
  • 迭代器与源数据的关系: iter() 函数从一个已存在的(或临时创建的)可迭代对象中创建迭代器。它本身不会改变源数据的内存占用,只是提供了一种遍历源数据的方式。
  • 内存生命周期: 具名变量引用的对象会持续占用内存直到引用解除;匿名临时对象在完成其用途后会迅速变为垃圾回收的候选者。
  • 真正的内存优化: 如果需要处理大量数据且不希望一次性加载到内存,应优先考虑使用 range 对象、生成器表达式或自定义生成器函数。这些机制实现了惰性求值,按需生成数据,从而显著降低内存开销。
  • 适用场景: 对于小规模数据或需要随机访问元素的场景,列表推导式依然是简洁高效的选择。但在处理大数据时,理解并利用迭代器和生成器的惰性特性至关重要。

通过理解Python的求值机制和不同数据结构的内存行为,开发者可以编写出更加高效和内存友好的代码。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

718

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

627

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

744

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1236

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

575

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

700

2023.08.11

php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

74

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号