Python中生成器函数用法详解 Python中yield关键字教程-Python教程-PHP中文网

Python中生成器函数用法详解 Python中yield关键字教程

尼克

发布： 2025-08-27 16:43:01

原创

201人浏览过

生成器函数与普通函数的本质区别在于：普通函数执行后返回值并销毁状态，而生成器函数通过yield暂停并保持状态，返回生成器对象实现惰性求值和内存高效迭代。

python中生成器函数用法详解 python中yield关键字教程

Python中的生成器函数和

yield

登录后复制

关键字，是处理大量数据或构建高效迭代器时非常强大的工具。它们的核心思想在于“按需生成”数据，而不是一次性将所有数据加载到内存中，这在很多场景下能显著提升性能和资源利用率。简单来说，

yield

登录后复制

让一个函数能够暂停执行并返回一个值，然后在下次需要时从暂停的地方继续执行。

当我第一次接触

yield

登录后复制

的时候，说实话，感觉有点“反直觉”。我们习惯了函数执行到

return

登录后复制

就彻底结束，但

yield

登录后复制

完全打破了这个模式。一个函数如果包含了

yield

登录后复制

语句，它就不再是一个普通的函数，而变成了一个生成器函数。调用它并不会立即执行函数体，而是返回一个生成器对象。这个对象才是真正可迭代的。

每次我们从生成器对象中请求下一个值（比如通过

for

登录后复制

循环或者手动调用

next()

登录后复制

），生成器函数就会从上次暂停的地方继续执行，直到遇到下一个

yield

登录后复制

语句，再次暂停并“吐出”一个值。当函数体执行完毕，或者遇到

return

登录后复制

（在生成器中

return

登录后复制

会终止迭代，并可选地返回一个值，但通常我们不这么用），生成器就会抛出

StopIteration

登录后复制

异常，表示没有更多的数据了。

这种“惰性求值”的机制，是我认为

yield

登录后复制

最迷人的地方。想象一下，你要处理一个几GB甚至几十GB的文件，如果一次性读入内存，你的程序可能直接就崩溃了。但用生成器，你可以一行一行地读取、处理，每次只占用极少的内存。

立即学习“Python免费学习笔记（深入）”；

# 一个简单的生成器函数示例
def my_range(n):
    i = 0
    while i < n:
        yield i
        i += 1

# 使用生成器
print("通过for循环迭代:")
for num in my_range(5):
    print(num)

print("\n手动通过next()获取:")
gen = my_range(3)
print(next(gen)) # 输出 0
print(next(gen)) # 输出 1
print(next(gen)) # 输出 2
try:
    print(next(gen)) # 尝试获取第四个值，会触发StopIteration
except StopIteration:
    print("迭代结束了！")

登录后复制

你看，它就像一个聪明的工厂，不是一次性生产所有产品，而是接到订单才生产一个，然后等着下一个订单。

Python生成器函数与普通函数有何本质区别？

我觉得理解生成器和普通函数的核心差异，是掌握

yield

登录后复制

的关键一步。最直观的区别在于，普通函数执行到

return

登录后复制

语句后，会立即终止，并将

return

登录后复制

后的值（或

None

登录后复制

）作为结果返回给调用者。函数的局部变量和执行状态都会被销毁。

而生成器函数，它遇到

yield

登录后复制

后，会暂停当前的执行，将

yield

登录后复制

后面的值返回。但关键在于，它会“记住”当前的执行状态——包括所有的局部变量和执行到哪一行。下次调用它时，它会从上次暂停的地方继续执行，而不是从头开始。这就像你读一本小说，读到一半合上书，下次打开时能直接从上次的章节继续读，而不是每次都从第一页开始。

从技术层面讲，普通函数返回的是一个具体的值，而生成器函数返回的是一个迭代器（或者说生成器对象），这个对象实现了迭代器协议（即有

__iter__

登录后复制

和

__next__

登录后复制

方法）。这意味着你可以用

for

登录后复制

循环去遍历它，或者用

next()

登录后复制

函数逐个获取值。这种差异，直接决定了它们在内存管理和处理大型数据集时的效率天壤之别。

在哪些实际场景下，我们应该优先考虑使用Python生成器？

我个人在使用Python处理数据时，一旦发现需要迭代处理大量数据，或者数据源是流式的、无限的，我几乎会本能地想到生成器。

AI卡通生成器

免费在线AI卡通图片生成器 | 一键将图片或文本转换成精美卡通形象

查看详情

处理大型文件或数据集： 这是最典型的应用场景。比如你需要读取一个日志文件，分析其中包含特定关键字的行。如果文件有几十GB，你不可能一次性读入内存。用生成器，你可以逐行读取，逐行处理，内存占用始终保持在一个非常低的水平。

def read_large_file(filepath):
    # 实际应用中，这里应该处理文件不存在等异常
    try:
        with open(filepath, 'r', encoding='utf-8') as f:
            for line in f:
                yield line.strip()
    except FileNotFoundError:
        print(f"文件未找到: {filepath}")
        # 可以选择抛出异常或返回空生成器
        return

# 假设有一个很大的'access.log'文件
# 创建一个模拟的大文件
with open('test_access.log', 'w') as f:
    for i in range(10000):
        f.write(f"Line {i}: This is a log entry. {'ERROR' if i % 100 == 0 else ''}\n")

print("\n处理模拟日志文件:")
for log_entry in read_large_file('test_access.log'):
    if "ERROR" in log_entry:
        print(f"发现错误日志: {log_entry}")

登录后复制

生成无限序列： 比如斐波那契数列，或者一个计数器。你无法一次性生成所有这些数字，因为它们是无限的。生成器可以按需提供。

def fibonacci_sequence():
    a, b = 0, 1
    while True: # 无限循环，因为斐波那契数列是无限的
        yield a
        a, b = b, a + b

print("\n生成斐波那契数列的前10个数字:")
fib_gen = fibonacci_sequence()
for _ in range(10):
    print(next(fib_gen)) # 打印前10个斐波那契数

登录后复制

数据管道和流式处理： 当你需要对数据进行一系列转换时，生成器可以构建一个高效的“管道”。每个生成器函数负责一个步骤，数据在管道中流动，每次只处理一小块，而不是在每个步骤都创建中间列表。

def filter_evens(numbers):
    for num in numbers:
        if num % 2 == 0:
            yield num

def square_numbers(numbers):
    for num in numbers:
        yield num * num

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
# 传统方式可能需要创建中间列表，占用更多内存
# evens = [n for n in data if n % 2 == 0]
# squared_evens = [n*n for n in evens]

# 生成器管道
print("\n通过生成器管道处理数据:")
processed_data = square_numbers(filter_evens(data))
for res in processed_data:
    print(res) # 输出 4, 16, 36, 64, 100

登录后复制

这种链式调用，在我看来，不仅高效，代码也更清晰。

Python中的生成器表达式（Generator Expression）是什么？它与生成器函数有何异同？

当我们谈到生成器时，除了生成器函数，还有一个非常简洁且同样强大的工具——生成器表达式。我常常把它看作是列表推导式（List Comprehension）的“惰性”版本。

生成器表达式的语法非常像列表推导式，只是它使用圆括号

()

登录后复制

而不是方括号

[]

登录后复制

。

# 列表推导式：立即创建一个包含所有元素的列表
# my_list = [x * x for x in range(1000000)] # 会立即占用大量内存，慎用大范围

# 生成器表达式：创建一个生成器对象，按需生成值
my_gen_exp = (x * x for x in range(1000000)) # 几乎不占用内存，直到你迭代它

print("\n生成器表达式示例:")
print(f"生成器表达式对象: {my_gen_exp}")
print(f"第一个值: {next(my_gen_exp)}") # 输出 0
print(f"第二个值: {next(my_gen_exp)}") # 输出 1
# 我们可以继续迭代
for _ in range(3):
    print(next(my_gen_exp)) # 输出 4, 9, 16

登录后复制

区别：

语法： 生成器函数使用
```
def
```
登录后复制
定义和
```
yield
```
登录后复制
关键字；生成器表达式是类似推导式的单行语法，用圆括号包裹。
返回类型： 生成器函数返回一个生成器对象；生成器表达式直接生成一个生成器对象。
复杂性： 生成器函数可以包含多行逻辑、条件判断、循环甚至异常处理，适合复杂的逻辑；生成器表达式更适合简单的、单行可表达的转换或过滤操作。
重用性： 生成器函数可以有参数，可以被多次调用以创建新的生成器实例；生成器表达式通常是即时创建，如果需要多次迭代同一个逻辑，可能需要重新创建表达式（或者将其封装到函数中）。

相同点：

惰性求值： 两者都实现了惰性求值，按需生成数据，而不是一次性生成所有数据。
内存效率： 都非常内存高效，尤其是在处理大型数据集时。
迭代器协议： 两者都返回实现了迭代器协议的对象，可以被
```
for
```
登录后复制
循环遍历，或通过
```
next()
```
登录后复制
获取值。

在我看来，如果你需要一个简单的、一次性的迭代器，生成器表达式是优雅且高效的选择。但如果逻辑更复杂，或者你需要封装更强的复用性，那么生成器函数无疑是更好的工具。选择哪一个，更多时候取决于你代码的复杂度和可读性需求。

以上就是Python中生成器函数用法详解 Python中yield关键字教程的详细内容，更多请关注php中文网其它相关文章！