如何用Python源码理解协程运行机制 分析Python源码中的async与await

蓮花仙者
发布: 2025-08-05 12:01:01
原创
699人浏览过

协程是一种用户态轻量级线程,允许单线程中实现并发。1.async声明协程函数,返回可被事件循环调度的协程对象,并标记为co_coroutine。2.await用于挂起当前协程,调用__await__或__iter__方法等待结果,期间保存状态并交出控制权。3.事件循环负责调度协程,通过轮询和激活机制管理执行流程,使用select模块监听事件。4.调试协程可通过日志、pdb或专用工具如aiodebug辅助。5.协程适用于io密集型任务,切换开销小且无需锁;多线程适合cpu密集型任务,能利用多核但开销大且需处理竞态条件。

如何用Python源码理解协程运行机制 分析Python源码中的async与await

协程,简单来说,就是一种用户态的轻量级线程,它允许你在单线程中实现并发,而无需像传统线程那样进行上下文切换的开销。理解Python协程的运行机制,关键在于理解

async
登录后复制
await
登录后复制
这两个关键字在源码层面的作用。

如何用Python源码理解协程运行机制 分析Python源码中的async与await

理解

async
登录后复制
await
登录后复制
,需要深入到Python解释器的内部,特别是事件循环和生成器的状态管理。
async
登录后复制
声明一个函数为协程函数,而
await
登录后复制
则用于挂起当前协程,等待另一个协程完成。这种挂起和恢复操作,依赖于事件循环的调度。

用Python源码理解协程运行机制,需要关注async和await的实现,以及事件循环的运作方式。

立即学习Python免费学习笔记(深入)”;

如何用Python源码理解协程运行机制 分析Python源码中的async与await

async
登录后复制
关键字究竟做了什么?

async
登录后复制
关键字的作用远不止表面上声明一个函数为协程那么简单。实际上,它会改变函数的行为,使其返回一个协程对象。这个协程对象是一个生成器,但它不是普通的生成器,而是一个可以被事件循环调度的特殊生成器。

在Python源码中,

async
登录后复制
关键字的处理涉及到对函数对象
__code__
登录后复制
属性的修改,以及对函数返回值的包装。具体来说,
async
登录后复制
函数会被标记为CO_COROUTINE,这个标记告诉解释器这是一个协程函数。

如何用Python源码理解协程运行机制 分析Python源码中的async与await

要理解得更深入,可以看看

async def
登录后复制
对应的字节码。例如:

import dis

async def my_coroutine():
    await asyncio.sleep(1)
    return "Done"

dis.dis(my_coroutine)
登录后复制

输出的字节码会包含

GET_AWAITABLE
登录后复制
GET_AITER
登录后复制
等指令,这些指令是协程机制的关键。

await
登录后复制
背后的魔法

await
登录后复制
关键字是协程的核心,它实现了协程的挂起和恢复。当一个协程遇到
await
登录后复制
表达式时,它会暂停执行,并将控制权交还给事件循环。事件循环会选择另一个可以执行的协程继续执行。当
await
登录后复制
等待的协程完成时,事件循环会重新激活之前的协程,让它从暂停的地方继续执行。

await
登录后复制
表达式实际上调用了
__await__
登录后复制
方法,如果对象没有实现
__await__
登录后复制
方法,会尝试调用
__iter__
登录后复制
方法。这使得
await
登录后复制
可以用于等待协程、Future对象,甚至是实现了迭代器的对象。

在源码层面,

await
登录后复制
涉及到对生成器状态的保存和恢复。当协程被挂起时,它的状态会被保存起来,包括当前的执行位置、局部变量等。当协程被重新激活时,它的状态会被恢复,就像什么都没发生过一样。

文心快码
文心快码

文心快码(Comate)是百度推出的一款AI辅助编程工具

文心快码 35
查看详情 文心快码

事件循环:协程的调度中心

事件循环是协程的调度中心,它负责管理所有的协程,并在合适的时机激活它们。事件循环会不断地轮询所有的协程,检查它们是否已经准备好执行。如果一个协程已经准备好执行,事件循环就会激活它,让它执行一段时间。当协程遇到

await
登录后复制
表达式时,它会被挂起,事件循环会选择另一个可以执行的协程继续执行。

Python的

asyncio
登录后复制
库提供了事件循环的实现。可以通过
asyncio.get_event_loop()
登录后复制
获取当前的事件循环,并使用
loop.run_until_complete()
登录后复制
运行协程。

要深入理解事件循环,可以阅读

asyncio
登录后复制
库的源码,特别是
_SelectorEventLoop
登录后复制
类的实现。这个类使用了
select
登录后复制
模块来监听文件描述符上的事件,并在事件发生时激活相应的协程。

如何调试协程?

调试协程可能会比较棘手,因为协程的执行是异步的,很难跟踪它的执行流程。可以使用Python的

pdb
登录后复制
调试器,或者使用一些专门的协程调试工具,例如
aiodebug
登录后复制

另外,可以使用日志来记录协程的执行过程。在协程的关键位置添加日志语句,可以帮助你了解协程的执行流程,并找到问题所在。

例如:

import asyncio
import logging

logging.basicConfig(level=logging.DEBUG)

async def my_coroutine(i):
    logging.debug(f"Coroutine {i}: Starting")
    await asyncio.sleep(1)
    logging.debug(f"Coroutine {i}: Finishing")
    return f"Coroutine {i} Done"

async def main():
    results = await asyncio.gather(*(my_coroutine(i) for i in range(3)))
    print(results)

if __name__ == "__main__":
    asyncio.run(main())
登录后复制

协程与多线程的区别

协程和多线程都可以实现并发,但它们之间有很大的区别。多线程是真正的并行,它可以利用多核CPU的优势,同时执行多个线程。而协程是单线程的并发,它通过时间片轮转的方式,在不同的协程之间切换执行。

协程的优势在于它的开销非常小,创建和切换协程的成本远低于创建和切换线程的成本。另外,协程不需要锁机制,因为它们是在同一个线程中执行的,不会出现竞态条件。

多线程的优势在于它可以利用多核CPU的优势,真正地并行执行多个任务。但多线程的开销比较大,创建和切换线程的成本很高。另外,多线程需要锁机制来避免竞态条件,这会增加程序的复杂性。

选择协程还是多线程,取决于具体的应用场景。如果任务是IO密集型的,例如网络请求、文件读写等,那么协程是一个不错的选择。如果任务是CPU密集型的,例如计算、图像处理等,那么使用多线程可能更合适。

以上就是如何用Python源码理解协程运行机制 分析Python源码中的async与await的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门推荐
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号