生成器是创建迭代器的简洁方式,通过yield按需生成值,节省内存;迭代器通过__iter__和__next__实现遍历协议,支持惰性计算,适用于处理大文件、无限序列和构建数据管道,提升性能与资源利用率。

Python中的生成器(Generator)和迭代器(Iterator)是处理序列数据,尤其是大型或无限序列时非常重要的概念。简单来说,迭代器是一个对象,它能记住遍历的位置,并且可以通过
next()
yield
return
理解生成器和迭代器,其实就是理解Python如何高效地处理数据流。
迭代器(Iterator)
迭代器是Python中一个非常基础且核心的协议。任何实现了迭代器协议的对象都可以被称为迭代器。这个协议要求对象必须实现两个特殊方法:
立即学习“Python免费学习笔记(深入)”;
__iter__(self)
for...in
iter()
__next__(self)
StopIteration
我们平时用的列表、元组、字符串、字典等都是“可迭代对象”(Iterable),它们内部实现了
__iter__
iter()
my_list = [1, 2, 3] my_iterator = iter(my_list) # my_iterator 现在是一个迭代器 print(next(my_iterator)) # 输出 1 print(next(my_iterator)) # 输出 2 print(next(my_iterator)) # 输出 3 # print(next(my_iterator)) # 再次调用会抛出 StopIteration
迭代器的核心价值在于其“按需生成”的特性。它不会一次性把所有数据都加载到内存中,而是每次请求时才计算或读取下一个数据,这对于处理海量数据或无限序列尤其有效。
生成器(Generator)
生成器是创建迭代器的一种更优雅、更Pythonic的方式。你不需要手动去定义一个类,实现
__iter__
__next__
yield
当一个函数包含
yield
每当你对这个生成器对象调用
next()
for
yield
next()
return
yield
StopIteration
def simple_generator():
print("开始生成...")
yield 1
print("生成了 1")
yield 2
print("生成了 2")
yield 3
print("生成了 3,生成器结束")
gen = simple_generator() # 调用函数,但代码未执行,返回一个生成器对象
print("第一次 next:")
print(next(gen)) # 执行到第一个 yield 1
print("第二次 next:")
print(next(gen)) # 从上次暂停处继续执行到 yield 2
print("第三次 next:")
print(next(gen)) # 从上次暂停处继续执行到 yield 3
# print(next(gen)) # 再次调用会抛出 StopIteration除了生成器函数,Python还提供了生成器表达式,它类似于列表推导式,但使用圆括号而非方括号,直接返回一个生成器对象:
squares_generator = (x * x for x in range(5)) # 这是一个生成器表达式 print(list(squares_generator)) # 将生成器转换为列表,输出 [0, 1, 4, 9, 16]
生成器极大地简化了迭代器的创建过程,让代码更简洁、可读性更高,同时保留了迭代器按需生成、节省内存的优点。
生成器函数与普通函数的核心差异在于它们的执行模型和返回值机制。一个普通函数,从被调用开始,会一直执行到
return
return
return
None
而生成器函数则完全不同。当一个包含
yield
next()
for
yield
yield
next()
这就像是普通函数给你一张照片,一次性的;而生成器函数则给你一台电影放映机,你可以随时暂停、播放,每次只看一帧,而且电影的状态(播放到哪了)始终是保存的。这种行为在很多场景下都非常有用,尤其是处理大量数据流时。
在实际开发中,选择生成器还是列表,主要取决于你对数据的处理需求以及资源的考量,特别是内存。通常来说,以下几种情况,我会倾向于优先使用生成器:
处理海量数据或无限序列: 这是生成器最典型的应用场景。如果你的数据量非常大,比如几GB甚至几十GB的日志文件,或者你需要处理一个理论上无限的序列(例如斐波那契数列),将所有数据一次性加载到内存中会迅速耗尽系统资源,甚至导致程序崩溃。生成器能够按需生成数据,每次只在内存中保留当前处理的数据项,极大地降低了内存占用。比如,读取一个大文件时,逐行使用
f.readline()
for line in f:
f.readlines()
“惰性计算”(Lazy Evaluation): 当你不需要立即获得所有结果,或者结果的计算成本很高时,生成器是理想选择。它只在你真正请求下一个值时才进行计算。例如,你可能需要对一个非常大的数据集进行一系列复杂的转换,但最终只需要前100个结果。如果使用列表,所有的转换都会被立即执行,即使大部分结果最终会被丢弃。而生成器则只会计算并转换你需要的那100个结果,节省了大量的计算资源和时间。
构建数据管道(Data Pipelines): 在数据处理流程中,经常需要将多个操作串联起来,形成一个处理链。生成器非常适合构建这种管道。每个生成器可以负责一个特定的转换步骤,并将处理后的数据“yield”给下一个生成器,形成一个高效、低内存占用的数据流。这比创建多个中间列表来存储每个步骤的结果要优雅和高效得多。
生成器表达式的简洁性: 对于一些简单的、一次性的序列生成需求,生成器表达式比列表推导式更节省内存,也更简洁。比如
(x*x for x in range(10**6))
[x*x for x in range(10**6)]
总结一下,如果你的数据量可控且你确实需要随机访问或多次遍历整个数据集,那么列表可能更方便。但只要涉及到大规模数据、按需计算或构建高效数据流,生成器几乎总是更优的选择。
Python的迭代协议是其语言设计中一个非常核心且优雅的机制,它定义了对象如何被遍历。简单来说,一个对象如果想被
for
list()
tuple()
sum()
__iter__()
__next__()
__iter__(self)
self
iter()
__iter__()
__iter__()
__next__()
__next__(self)
__next__()
StopIteration
next()
__next__()
__iter__()
self
__next__()
在实际开发中,理解迭代协议及其应用,能让你写出更灵活、更高效、更符合Python惯例的代码:
自定义可迭代对象和迭代器: 当你需要创建自己的数据结构,并希望它能像内置类型一样被
for
__iter__
__next__
class MyRange:
def __init__(self, start, end):
self.current = start
self.end = end
def __iter__(self):
return self # MyRange 实例本身就是迭代器
def __next__(self):
if self.current < self.end:
num = self.current
self.current += 1
return num
raise StopIteration
# 应用:自定义一个像range()一样的序列
for i in MyRange(1, 5):
print(i) # 输出 1 2 3 4资源管理和数据流处理: 文件对象就是一个很好的例子。当你打开一个文件,
for line in file_object:
__next__
生成器作为迭代协议的语法糖: 正如前面提到的,生成器函数和生成器表达式是创建迭代器最简单、最Pythonic的方式。它们自动处理了
__iter__
__next__
StopIteration
理解迭代协议,不仅能让你更好地使用Python的内置功能,还能让你在设计自己的类和数据处理流程时,能够创建出更符合Python哲学、更易于集成和扩展的组件。
以上就是解释一下Python的生成器(Generator)和迭代器(Iterator)。的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号