在 async def 中不能直接 yield from 异步生成器,须用 async for + yield 手动展开;或借助 aiostream.stream.chain 等库封装;切勿误用 to_thread 或 run_in_executor。

async def 里直接 yield from 会报错
Python 的 yield from 本身不支持异步迭代器,所以在 async def 函数里写 yield from async_gen() 会触发 SyntaxError: 'yield from' inside async function。这不是语法糖缺失,而是语义冲突:yield from 期望一个同步可迭代对象,而异步生成器返回的是 async_iterator。
用 async for + yield 手动展开嵌套
这是最通用、兼容性最好的做法。把外层异步生成器变成驱动内层异步生成器的“调度器”,用 async for 消费子生成器,再用 yield 向上传递值。
示例:
async def inner():
yield 1
await asyncio.sleep(0.1)
yield 2
async def outer():
等价于想写的 yield from inner()
async for x in inner():
yield x # 注意:这里 yield 是同步的,但整体函数仍是 async def
- 必须用
async for,不能用普通for,否则报TypeError: 'async_generator' object is not iterable -
yield在async def中合法,它让函数返回async_generator,不是普通生成器 - 这种写法在 Python 3.6+ 全版本可用,无额外依赖
用 aiostream 或 asyncstdlib 做语法糖封装
如果嵌套层级深、重复多,可以借助第三方库避免样板代码。比如 aiostream.stream.chain 能把多个异步生成器串成一个:
from aiostream import streamasync def gen_a(): yield "a"; yield "aa" async def gen_b(): yield "b"
async def chained(): async for x in stream.chain(gen_a(), gen_b()): yield x
-
aiostream的chain、merge、map都返回新的异步生成器,支持嵌套组合 -
asyncstdlib提供类似标准库的itertools.chain异步版,但注意其chain返回的是AsyncIterator,不能直接yield from,仍需async for驱动 - 引入依赖前确认项目已接受异步工具链的维护成本
别误用 asyncio.to_thread 或 run_in_executor
有人试图把异步生成器丢进线程里“同步化”来骗过 yield from,比如:yield from await asyncio.to_thread(list, inner()) —— 这完全错误。
-
inner()返回的是异步生成器对象,不是可 await 的协程,list(inner())会报TypeError: 'async_generator' object is not subscriptable - 即使包装成协程,
list()也无法消费异步生成器;必须用async for或aiter/anext - 这种思路混淆了并发模型:异步生成器的暂停/恢复靠事件循环,不是线程调度
嵌套异步生成器的本质是控制流委托,不是 I/O 卸载,强行绕到线程只会掩盖问题并引入竞态或死锁。










