Python asyncio 异步编程：理解与实现任务的顺序执行

asyncio 并发模型概述

python 的 asyncio 库是构建并发应用程序的强大工具，它通过协程（coroutines）和事件循环（event loop）实现单线程内的并发。在处理 i/o 密集型任务，如网络请求、文件读写时，asyncio 能够显著提高程序的效率，因为它允许程序在等待 i/o 完成时切换到其他任务，而不是阻塞。

asyncio.gather() 是一个常用的函数，用于并发地运行多个协程，并等待它们全部完成。它的设计目标是最大化并行度，即同时启动所有给定的协程，并在所有协程都完成后返回它们的结果。然而，这也就意味着 asyncio.gather() 并不保证这些协程的完成顺序与它们在列表中出现的顺序一致，而是取决于每个协程内部的 I/O 等待时间。

考虑以下一个模拟从多个网站抓取数据的场景：

import asyncio

async def fetch_data(url):
    """模拟从指定URL抓取数据的异步操作"""
    # 模拟网络延迟或数据处理时间
    await asyncio.sleep(2)
    print(f"数据已从 {url} 获取")
    return f"Data from {url}"

async def main_concurrent():
    """使用 asyncio.gather() 并发执行任务"""
    websites = ["site1.com", "site2.com", "site3.com"]

    print("--- 启动并发数据抓取 ---")
    tasks = [fetch_data(url) for url in websites]
    # gather 会同时启动所有任务
    await asyncio.gather(*tasks)
    print("--- 并发数据抓取完成 ---")

if __name__ == "__main__":
    asyncio.run(main_concurrent())

运行上述代码，你会发现输出的顺序可能不是 site1.com、site2.com、site3.com 严格按序排列。例如，site2.com 的数据可能在 site1.com 之前打印，或者它们的完成时间交错。这是 asyncio.gather() 预期中的行为，它旨在并发执行，而非保证顺序。

理解并发与顺序执行的差异

在异步编程中，理解“并发”与“顺序执行”的区别至关重要。

立即进入“豆包AI人工智官网入口”；

立即学习“豆包AI人工智能在线问答入口”；

• 并发 (Concurrency): 指的是程序在同一时间段内处理多个任务的能力。这些任务可能在宏观上看起来是同时进行的，但在微观上，如果只有一个执行线程，它们是通过快速切换上下文来完成的。asyncio 就是实现并发的典型例子，它通过事件循环在不同的协程之间切换，以充分利用 I/O 等待时间。asyncio.gather() 正是实现并发任务调度的主要工具。
• 顺序执行 (Sequential Execution): 指的是任务严格按照预定的先后顺序依次完成。一个任务必须在前一个任务完全结束后才能开始。当任务之间存在数据依赖性时，即后续任务的输入依赖于前一个任务的输出，或者任务的执行必须遵循特定的业务流程时，顺序执行是不可或缺的。

如果你的项目需求是数据抓取过程对每个网站必须是顺序的，例如，从 site2.com 抓取的数据处理需要依赖 site1.com 抓取到的某些信息，那么 asyncio.gather() 的并发特性将无法满足这种严格的顺序要求。

实现任务的严格顺序执行

当异步任务之间存在强烈的顺序依赖，或者业务逻辑要求它们必须按特定顺序执行时，我们不能依赖 asyncio.gather() 的并发调度。此时，最直接且有效的方法是利用 await 关键字，在循环中逐个等待每个异步任务完成。

以下是实现严格顺序执行的示例代码：

import asyncio

async def fetch_data(url):
    """模拟从指定URL抓取数据的异步操作"""
    # 模拟网络延迟或数据处理时间
    await asyncio.sleep(2)
    print(f"数据已从 {url} 获取")
    return f"Data from {url}"

async def main_sequential():
    """通过循环 await 实现任务的顺序执行"""
    websites = ["site1.com", "site2.com", "site3.com"]

    print("--- 启动顺序数据抓取 ---")
    for url in websites:
        # 每次循环都会等待当前的 fetch_data 协程完全执行完毕
        # 然后才会进入下一次循环，启动下一个协程
        await fetch_data(url)
    print("--- 顺序数据抓取完成 ---")

if __name__ == "__main__":
    asyncio.run(main_sequential())

代码解释：

豆包AI编程

豆包推出的AI编程助手

483

查看详情

在这个修改后的 main_sequential 函数中，我们不再使用 asyncio.gather()。取而代之的是，我们遍历 websites 列表，并在循环内部对每一个 fetch_data(url) 协程直接使用 await 关键字。

await 关键字的作用是暂停当前协程（main_sequential），直到它所等待的另一个协程（fetch_data(url)）完成执行并返回结果。一旦 fetch_data(url) 完成，main_sequential 协程会从 await 的位置恢复执行，然后进入循环的下一个迭代，启动并等待下一个 fetch_data 协程。

通过这种方式，我们强制保证了 fetch_data("site1.com") 必须完全执行完毕，包括其内部的 asyncio.sleep(2) 和 print 语句，之后 fetch_data("site2.com") 才会开始执行，以此类推。因此，输出将严格按照 site1.com、site2.com、site3.com 的顺序打印。

选择策略：并发还是顺序？

在 asyncio 编程中，选择并发还是顺序执行取决于你的具体需求和任务特性：

1. 何时使用 asyncio.gather() (并发):

   • 任务相互独立： 各个任务之间没有数据依赖，它们的执行结果互不影响。
   • 追求整体效率： 目标是尽可能快地完成所有任务的总和，而不关心单个任务的完成顺序。
   • I/O 密集型任务： 当任务大部分时间都在等待外部资源（如网络响应、数据库查询）时，并发能充分利用这些等待时间来处理其他任务，从而提高整体吞吐量。

2. 何时使用循环 await (顺序):

   • 任务存在依赖关系： 后续任务的执行或其输入数据严格依赖于前一个任务的输出或状态。
   • 严格的业务流程： 业务逻辑要求必须按照特定的步骤依次完成，例如，先创建订单再支付，先登录再访问受保护资源。
   • 调试和可预测性： 在某些情况下，为了简化调试或确保输出的可预测性，即使任务可以并发，也可能选择顺序执行。

注意事项

• 性能权衡： 采用顺序执行意味着你放弃了 asyncio 带来的并发优势。如果任务本身是 CPU 密集型的，或者你只是为了确保输出顺序而牺牲了潜在的并发性，那么程序的总运行时间会是所有任务运行时间的简单叠加，可能比并发执行慢得多。
• 错误处理： 在实际项目中，无论是并发还是顺序执行，都需要考虑任务失败时的错误处理机制。对于顺序执行，一个任务的失败可能会阻止后续任务的执行。你可以使用 try...except 块来捕获单个 await 调用的异常。
• 复杂依赖： 对于更复杂的依赖图，例如某些任务可以并发，但另一些任务又依赖于它们的结果，可能需要结合使用 asyncio.create_task()、asyncio.wait() 和 asyncio.gather() 来精细化任务编排。

总结

理解 asyncio 的核心在于区分并发和顺序执行。asyncio.gather() 是实现并发的利器，适用于相互独立的任务，以提高整体效率。然而，当异步任务之间存在严格的顺序依赖时，必须通过在循环中逐个 await 任务来强制实现串行执行。正确选择任务执行策略，是高效且健壮地使用 asyncio 进行异步编程的关键。

以上就是Python asyncio 异步编程：理解与实现任务的顺序执行的详细内容，更多请关注php中文网其它相关文章！