掌握 Python asyncio 任务执行顺序：从并发到顺序执行的策略

理解 Python asyncio 中的并发与顺序执行

python的asyncio模块为编写并发代码提供了强大的支持，特别适用于i/o密集型任务，如网络请求、数据库操作等。通过使用async/await语法，开发者可以编写出看似同步但实际是非阻塞的代码，从而提高程序的效率和响应速度。然而，在使用asyncio时，一个常见的误区是对任务执行顺序的理解，尤其是在涉及asyncio.gather()时。

asyncio.gather()：并发执行与结果收集

asyncio.gather()是一个非常实用的工具，它允许我们同时运行多个协程（coroutine）或Future，并等待它们全部完成。它的主要作用是并发执行任务，并将所有任务的结果以它们被传递给gather时的顺序返回。

考虑以下场景：你需要从多个网站抓取数据。如果这些抓取任务彼此独立，即一个网站的数据抓取不依赖于另一个网站的结果，那么使用asyncio.gather()是提高效率的理想选择。

import asyncio

async def fetch_data(url):
    """模拟从指定URL抓取数据，耗时2秒"""
    await asyncio.sleep(2)
    print(f"数据已从 {url} 抓取")
    return f"数据来自 {url}"

async def main_concurrent():
    websites = ["site1.com", "site2.com", "site3.com"]

    # 使用 asyncio.gather() 并发执行所有抓取任务
    print("开始并发抓取...")
    tasks = [fetch_data(url) for url in websites]
    results = await asyncio.gather(*tasks) # 等待所有任务完成
    print("所有并发抓取任务完成。")
    print(f"结果顺序（与输入顺序一致）: {results}")

if __name__ == "__main__":
    asyncio.run(main_concurrent())

运行上述代码，你会发现输出的print消息（例如 "数据已从 site1.com 抓取"）的顺序可能是不确定的。虽然asyncio.gather()会等待所有任务完成后才继续，并且最终返回的结果列表会按照传入tasks的顺序排列，但各个任务的实际完成时间点（以及它们内部的print语句的触发时机）是不受gather控制的，它们是并发进行的。这正是asyncio实现并发的本质。

任务依赖与顺序执行的需求

然而，在某些情况下，任务之间存在严格的依赖关系。例如，你可能需要先从site1.com获取一个令牌，然后才能使用该令牌去site2.com抓取数据，接着用site2.com的数据作为输入去处理site3.com。在这种情况下，简单的并发执行会导致逻辑错误，因为后续任务可能在依赖的前置任务完成之前就开始执行。

立即学习“Python免费学习笔记（深入）”；

当对任务的完成顺序有严格要求时，asyncio.gather()就不再适用。我们需要确保一个任务完全结束后，下一个任务才能开始。

解决方案：循环逐个 await 任务

要强制实现任务的顺序执行，最直接有效的方法是避免使用asyncio.gather()，转而通过循环逐个await每个任务。这样，每次循环迭代都会等待当前任务彻底完成，然后才进入下一次迭代，启动下一个任务。

行者AI

行者AI绘图创作，唤醒新的灵感，创造更多可能

100

查看详情

import asyncio

async def fetch_data_sequentially(url):
    """模拟从指定URL抓取数据，耗时2秒"""
    print(f"正在从 {url} 抓取数据...")
    await asyncio.sleep(2)
    print(f"数据已从 {url} 抓取")
    return f"数据来自 {url}"

async def main_sequential():
    websites = ["site1.com", "site2.com", "site3.com"]
    all_results = []

    print("开始顺序抓取...")
    for url in websites:
        # 逐个await任务，确保上一个任务完成后才开始下一个
        result = await fetch_data_sequentially(url)
        all_results.append(result)
    print("所有顺序抓取任务完成。")
    print(f"结果顺序: {all_results}")

if __name__ == "__main__":
    asyncio.run(main_sequential())

运行上述修正后的代码，你会观察到print消息的输出严格按照websites列表中URL的顺序进行，即site1.com的数据抓取完成后，才会开始site2.com，以此类推。这正是满足了任务间依赖关系的顺序执行需求。

总结与注意事项

1. 并发 vs. 顺序：

   • asyncio.gather()适用于并发执行相互独立的任务，以最大化I/O效率。它不保证任务的完成顺序，但会按照输入顺序收集结果。
   • 当任务之间存在严格的依赖关系，要求前一个任务完成后才能开始下一个任务时，应使用循环逐个await任务。

2. 选择正确的工具：

   • 如果你的任务是I/O密集型且彼此独立，目标是尽可能快地完成所有任务，那么asyncio.gather()是首选。
   • 如果任务必须按照特定顺序执行，因为后续任务依赖于前一个任务的结果或状态，那么循环await是唯一的正确方式。

3. 性能考量：

   • 顺序执行虽然保证了顺序，但会牺牲并发带来的性能提升。如果每个任务都需要较长时间，顺序执行的总耗时将是所有任务耗时之和。
   • 并发执行的总耗时理论上取决于最慢的那个任务，因为它同时运行多个任务。

理解asyncio中并发和顺序执行的本质区别，是编写高效、正确异步代码的关键。根据你的具体业务逻辑和任务间的依赖关系，选择最合适的执行策略，将有助于避免不必要的调试和程序行为异常。

以上就是掌握 Python asyncio 任务执行顺序：从并发到顺序执行的策略的详细内容，更多请关注php中文网其它相关文章！