0

0

Python Asyncio: 在同步循环中高效调度与执行异步任务

碧海醫心

碧海醫心

发布时间:2025-12-03 13:31:01

|

979人浏览过

|

来源于php中文网

原创

Python Asyncio: 在同步循环中高效调度与执行异步任务

本文旨在解决在python同步循环中调用异步函数时遇到的“coroutine was never awaited”警告。通过深入讲解`asyncio.task`的调度机制和`asyncio.gather`的并发执行能力,本教程将展示如何在同步上下文中正确创建、管理并等待多个异步任务完成,从而避免阻塞并充分利用异步编程的优势。

在Python中处理并发操作时,asyncio库提供了强大的异步编程框架。然而,将异步函数(协程)直接嵌入到传统的同步循环中,往往会导致意料之外的行为和警告。本教程将详细阐述这一常见问题,并提供基于asyncio.Task和asyncio.gather的专业解决方案。

问题描述:同步循环中的异步函数调用陷阱

当尝试在一个同步函数(如一个普通的for循环)内部直接调用一个异步函数时,Python解释器会发出RuntimeWarning: coroutine 'async_function' was never awaited的警告。这是因为异步函数调用会返回一个协程对象,但这个对象并未被await关键字“等待”执行,也未被事件循环调度为任务。

考虑以下示例代码:

import asyncio

async def async_function():
    """一个模拟异步操作的协程"""
    print("Executing async_function...")
    await asyncio.sleep(1)
    print("async_function finished.")

def sync_function_problem():
    """错误的同步函数,直接调用异步函数"""
    print("Starting sync_function_problem...")
    for i in range(3):
        print(f"Loop iteration {i}: Calling async_function()")
        async_function() # 这里仅仅创建了一个协程对象,但没有await它
    print("sync_function_problem finished.")

# 尝试运行,会产生警告且异步函数不会实际执行
# sync_function_problem()

运行上述sync_function_problem()会发现,async_function内部的print语句不会被执行,同时控制台会输出RuntimeWarning。这是因为async_function()的调用仅仅创建了一个协程对象,而没有将其提交给asyncio的事件循环进行调度和执行。asyncio.run()通常用于执行单个顶级协程,但它不适用于在一个同步函数内部批量调度多个协程。

立即学习Python免费学习笔记(深入)”;

解决方案核心:asyncio.Task 与 asyncio.gather

要在一个同步循环中正确地调度和执行多个异步函数,我们需要借助asyncio提供的两个核心工具:asyncio.Task和asyncio.gather。

Autoppt
Autoppt

Autoppt:打造高效与精美PPT的AI工具

下载
  1. asyncio.Task: asyncio.Task是asyncio中用于并发执行协程的核心机制。当一个协程被封装成一个Task时,它就被提交给了事件循环,事件循环会在适当的时机开始执行这个协程,并在其等待I/O时切换到其他任务,从而实现并发。
  2. asyncio.gather: asyncio.gather是一个协程,它接受多个可等待对象(如协程或Task)作为参数,并并发地运行它们,直到所有可等待对象都完成。它返回一个包含所有结果的列表,其顺序与输入的顺序一致。

实战演练:在同步循环中调度并执行异步任务

以下是使用asyncio.Task和asyncio.gather来解决上述问题的正确方法:

import asyncio
import time

async def async_function(task_id):
    """一个模拟异步操作的协程,带有一个ID"""
    print(f"Task {task_id}: Starting...")
    await asyncio.sleep(1) # 模拟耗时I/O操作
    print(f"Task {task_id}: Finished.")
    return f"Result from Task {task_id}"

def sync_function_correct():
    """正确的同步函数,在循环中调度并等待异步任务"""
    print("Starting sync_function_correct...")

    # 1. 获取当前事件循环
    # 注意:在Python 3.7+,推荐使用asyncio.run()来启动顶层协程。
    # 如果在一个非asyncio环境(如主脚本的同步部分)中启动,get_event_loop()是必要的。
    try:
        loop = asyncio.get_running_loop()
    except RuntimeError:
        loop = asyncio.new_event_loop()
        asyncio.set_event_loop(loop)

    tasks = []
    for i in range(5): # 假设我们想并发执行5个异步任务
        # 2. 为每个异步函数创建一个Task
        # create_task()将协程包装成一个Task并将其提交给事件循环
        task = loop.create_task(async_function(i))
        tasks.append(task)
        print(f"Loop iteration {i}: Task {i} scheduled.")

    print("All tasks scheduled. Now waiting for them to complete...")

    # 3. 使用asyncio.gather等待所有Task完成
    # asyncio.gather(*tasks)创建一个新的协程,它会等待tasks列表中的所有任务完成
    # run_until_complete()会运行事件循环,直到asyncio.gather协程完成
    results = loop.run_until_complete(asyncio.gather(*tasks))

    print("All tasks completed.")
    print("Results:", results)

    # 4. 如果事件循环是由new_event_loop创建的,需要关闭
    if not loop.is_running(): # 确保只关闭自己创建的循环
         loop.close()
    print("sync_function_correct finished.")

# 运行正确的同步函数
start_time = time.time()
sync_function_correct()
end_time = time.time()
print(f"Total execution time: {end_time - start_time:.2f} seconds")

代码解析:

  1. 获取事件循环: asyncio.get_event_loop()(或更现代的asyncio.get_running_loop()结合asyncio.new_event_loop())用于获取或创建一个事件循环实例。事件循环是asyncio应用程序的核心,负责调度和执行协程。
  2. 创建任务: 在循环内部,我们不再直接调用async_function(),而是使用loop.create_task(async_function(i))。这会将async_function(i)返回的协程对象包装成一个Task,并将其添加到事件循环的待执行队列中。此时,任务仅仅被“安排”了,但尚未开始执行。
  3. 收集任务并等待: 循环结束后,我们得到了一个包含所有Task对象的列表tasks。为了等待所有这些任务完成,我们使用asyncio.gather(*tasks)。*tasks将列表中的所有任务作为单独的参数传递给gather。gather本身是一个协程,它会等待所有传入的任务。
  4. 运行事件循环: 最后,loop.run_until_complete(asyncio.gather(*tasks))会启动事件循环。事件循环会开始执行所有已创建的任务,并在asyncio.gather返回时停止。由于asyncio.sleep(1)的存在,你会看到所有任务几乎同时开始,并在大约1秒后几乎同时完成,这正是并发执行的体现。

运行上述代码,你会发现所有任务的“Starting...”和“Finished.”消息几乎是并发出现的,总执行时间约为1秒多一点(取决于任务数量,但主要由最长的await asyncio.sleep决定),而不是每个任务1秒的总和。

关键概念与最佳实践

  • 协程与任务的区别: 协程是可暂停和可恢复的函数。任务是协程的包装器,负责将其调度到事件循环中执行。当你await一个协程时,你直接等待它的完成;当你创建一个任务时,你只是告诉事件循环“请在后台运行这个协程”。
  • asyncio.run() vs loop.run_until_complete():
    • asyncio.run(coro) (Python 3.7+): 这是一个高级函数,用于运行顶层协程。它会自动处理事件循环的创建、运行和关闭,是启动asyncio应用程序的推荐方式。它内部会创建一个新的事件循环,运行给定的协程,然后关闭循环。
    • loop.run_until_complete(future): 这是一个低级方法,用于在现有事件循环上运行一个可等待对象(如协程或Future)直到它完成。它不会自动创建或关闭事件循环。在同步函数中,当需要手动管理事件循环时(如在非async函数中启动asyncio操作),它非常有用。
  • 并发而非并行: asyncio实现的是并发(concurrency),而非并行(parallelism)。这意味着在任何给定时刻,只有一个任务真正在CPU上执行。当一个任务遇到await表达式(如await asyncio.sleep()或等待网络I/O)时,它会暂停执行,并将控制权交还给事件循环,事件循环会选择下一个准备好运行的任务。
  • 错误处理: 在实际应用中,asyncio.gather可以接受return_exceptions=True参数。如果设置为True,即使某个任务抛出异常,gather也会收集所有结果和异常,而不是立即抛出第一个异常。这对于处理可能失败的并发操作非常有用。

总结

在Python同步循环中有效管理异步函数,关键在于理解asyncio事件循环的工作原理,并正确使用asyncio.Task来调度协程,以及asyncio.gather来并发等待它们的完成。通过这种方式,我们不仅可以避免“coroutine was never awaited”警告,还能充分利用asyncio的非阻塞特性,显著提升程序的效率和响应能力。掌握这些技术是构建高性能Python异步应用的基础。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

759

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

639

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

762

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1265

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

549

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

709

2023.08.11

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

68

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 4.2万人学习

Django 教程
Django 教程

共28课时 | 3.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号