分析异步Python

DDD
发布: 2025-02-01 08:16:26
转载
798人浏览过

介绍

应用程序分析是一个分析程序以确定其特征的过程:执行时间不同的代码零件和资源用法。

分析的主要阶段总是或多或少相同的:

    测量执行时间
  1. 。执行不同的代码零件需要多少时间?
  2. 分析内存使用
  3. 。程序的不同部分消耗了多少内存? 识别瓶颈
  4. 。代码的哪些部分减慢了程序或使用太多资源?
  5. > >性能优化
  6. 。采取措施根据获得的数据提高执行速度和资源利用效率。
  7. 有限数量的异步代码的特定瓶颈。 让我们将每种类型与代码示例匹配。
  8. >
-

异步python中的瓶颈的主要类型

阻止操作

import asyncio
import time

async def main():
    print('start')
    # blocking call
    time.sleep(3)  # this blocks the entire event loop
    print('end')

asyncio.run(main())
登录后复制

顺序调用异步任务

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = ["http://medium.com"] * 10
    async with aiohttp.clientsession() as session:
        # inefficient: sequential requests
        for url in urls:
            await fetch(session, url)

asyncio.run(main())
登录后复制

过度上下文切换

import asyncio

async def tiny_task():
    await asyncio.sleep(0.0001)

async def main():
    # excessive context switching due to many small tasks
    await asyncio.gather(*(tiny_task() for _ in range(100000)))

asyncio.run(main())
登录后复制

资源饥饿

import asyncio

async def long_running_task():
    await asyncio.sleep(10)
    print("long task executed")

async def quick_task():
 await asyncio.sleep(1)
    print("quick task executed")

async def main():
    await asyncio.gather(
        long_running_task(),
        quick_task()  # may be delayed excessively
    )

asyncio.run(main())
登录后复制

内存开销

import asyncio

async def large_data_task():
    data = "lorep ipsum" * 10**8  # large memory usage
    await asyncio.sleep(1)

async def main():
    tasks = [large_data_task() for _ in range(100)]  # high memory consumption
    await asyncio.gather(*tasks)

asyncio.run(main())
登录后复制

-

顺便说一句,探查者一般如何工作?

>单独的文章将专门用于详细的评论,因为现在我们可以将自己限制在基本分类中:

>确定性剖析师

。主要代表是内置的cprofile。该探测器计算每个函数的调用数量以及功能所花费的时间。问题在于,异步呼叫的等待时间没有考虑到。
  • 统计剖面。普通代表是鳞状,py-spy,yappi,pyinsprument,奥斯汀。这样的探索者以某种频率进行了该过程的“快照”,并应用了统计分析的方法来搜索瓶颈。

    -
  • 使用鳞片进行分析

    为什么要鳞?因为此工具允许分析cpu和内存,因此在github上具有10k 星星,并且该项目正在积极开发。 >让我们看看上面列表中每个“有问题”代码的scalene所说的。

    >
  • 我们将像这样运行斜角:

36277728875

阻止操作

>您可以立即看到问题线,并立即阻止呼叫 - python的2%,在系统呼叫中的98%的时间。

顺序调用异步任务

>这里有点复杂。您可以看到90%的时间用于系统调用,但是该行已更改 - 现在它是本身。最好是记住这种剖面输出的模式。

过度上下文切换

calling asynchronous tasks sequentially我们看到内存消耗如何在>中增长 - 任务的“拆分”太贪婪了。

> 资源饥饿

再次,系统与python的时间比不支持python操作。excessive context switching>

内存开销

在这里,斯卡琳为我们做了一切,并立即向我们展示了有问题的代码。>

-

resource starvation 结论

>应该注意的是,对于三种情况 - “

立即学习Python免费学习笔记(深入)”;

阻止操作

”,“

依次调用异步任务

>”和“memory overhead> resource starvation

”相同的图片 - 系统%>> python%。澄清原因实际上需要开发人员。

如果您知道瓶颈的主要类型,并且准备仔细阅读profiler输出,那么python并不是一项艰巨且相当令人愉快的任务。

p.s.

这篇文章最初是在我一年多以前发布的。

>

以上就是分析异步Python的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:dev.to网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号