0

0

强大的 Python 性能优化技术,可实现更快的代码

DDD

DDD

发布时间:2024-12-14 10:42:02

|

836人浏览过

|

来源于dev.to

转载

强大的 python 性能优化技术,可实现更快的代码

作为一名 python 开发人员,我了解到优化代码对于创建高性能应用程序至关重要。在本文中,我将分享我用来增强 python 代码性能的七种强大技术,重点介绍提高执行速度和内存效率的实用方法。

生成器和迭代器

优化 python 代码最有效的方法之一是使用生成器和迭代器。这些工具在处理大型数据集时特别有用,因为它们允许我们处理数据,而无需立即将所有内容加载到内存中。

当我需要处理太大而无法轻松容纳在内存中的序列时,我经常使用生成器。这是生成素数的生成器函数的示例:

def prime_generator():
    yield 2
    primes = [2]
    candidate = 3
    while true:
        if all(candidate % prime != 0 for prime in primes):
            primes.append(candidate)
            yield candidate
        candidate += 2

这个生成器允许我处理无限的素数序列,而无需将它们全部存储在内存中。我可以这样使用它:

primes = prime_generator()
for _ in range(10):
    print(next(primes))

列表推导式和生成器表达式

立即学习Python免费学习笔记(深入)”;

列表推导式和生成器表达式是传统循环的简洁且通常更快的替代方案。它们对于创建新列表或迭代序列特别有用。

这是一个对偶数进行平方的列表理解的示例:

numbers = range(10)
squared_evens = [x**2 for x in numbers if x % 2 == 0]

对于较大的序列,我更喜欢生成器表达式以节省内存:

numbers = range(1000000)
squared_evens = (x**2 for x in numbers if x % 2 == 0)

高性能容器数据类型

python 中的集合模块提供了多种高性能容器数据类型,可以显着提高代码效率。

当我需要从列表两端快速追加和弹出时,我经常使用 deque(双端队列):

from collections import deque

queue = deque(['a', 'b', 'c'])
queue.append('d')
queue.appendleft('e')

计数器是另一种用于计算可哈希对象的有用数据类型:

from collections import counter

word_counts = counter(['apple', 'banana', 'apple', 'cherry'])

用于快速查找的集合和字典

集合和字典在内部使用哈希表,这使得它们的查找和成员资格测试速度非常快。每当我需要检查集合中是否存在某个项目或需要从列表中删除重复项时,我都会使用它们。

这是使用集合进行快速成员资格测试的示例:

numbers = set(range(1000000))
print(500000 in numbers)  # this is much faster than using a list

使用 numba 进行即时编译

对于数值计算,numba 可以通过即时编译显着提高速度。以下是使用 numba 加速计算曼德尔布罗特集的函数的示例:

from numba import jit
import numpy as np

@jit(nopython=true)
def mandelbrot(h, w, maxit=20):
    y, x = np.ogrid[-1.4:1.4:h*1j, -2:0.8:w*1j]
    c = x + y*1j
    z = c
    divtime = maxit + np.zeros(z.shape, dtype=int)

    for i in range(maxit):
        z = z**2 + c
        diverge = z*np.conj(z) > 2**2
        div_now = diverge & (divtime == maxit)
        divtime[div_now] = i
        z[diverge] = 2

    return divtime

此函数比纯 python 等效函数快 100 倍。

c-speed 的 cython

当我需要更快的速度时,我会转向 cython。 cython 允许我将 python 代码编译为 c,从而显着提高性能。这是 cython 函数的简单示例:

def factorial(int n):
    cdef int i
    cdef int result = 1
    for i in range(2, n + 1):
        result *= i
    return result

这个 cython 函数可以比纯 python 实现快几倍。

分析和优化

在优化之前,确定瓶颈在哪里至关重要。我使用 cprofile 进行计时,使用 memory_profiler 进行内存使用分析。

多奥淘宝客程序API免费版 F8.0
多奥淘宝客程序API免费版 F8.0

多奥淘宝客程序免费版拥有淘宝客站点的基本功能,手动更新少,管理简单等优点,适合刚接触网站的淘客们,或者是兼职做淘客们。同样拥有VIP版的模板引擎技 术、强大的文件缓存机制,但没有VIP版的伪原创跟自定义URL等多项创新的搜索引擎优化技术,除此之外也是一款高效的API数据系统实现无人值守全自动 化运行的淘宝客网站程序。4月3日淘宝联盟重新开放淘宝API申请,新用户也可使用了

下载

这是我如何使用 cprofile:

import cprofile

def my_function():
    # some code here

cprofile.run('my_function()')

内存分析:

from memory_profiler import profile

@profile
def my_function():
    # some code here

my_function()

这些工具帮助我将优化工作集中在能产生最大影响的地方。

使用 functools.lru_cache 进行记忆

记忆化是我用来缓存昂贵函数调用结果的一种技术。 functools.lru_cache 装饰器使这变得简单:

from functools import lru_cache

@lru_cache(maxsize=none)
def fibonacci(n):
    if n < 2:
        return n
    return fibonacci(n-1) + fibonacci(n-2)

这可以通过避免冗余计算来显着加快递归函数的速度。

使用 itertools 进行高效迭代

itertools 模块提供了一系列快速、内存高效的工具来创建迭代器。我经常将它们用于组合序列或生成排列等任务。

这是使用 itertools.combinations 的示例:

from itertools import combinations

items = ['a', 'b', 'c', 'd']
for combo in combinations(items, 2):
    print(combo)

编写高性能 python 代码的最佳实践

多年来,我开发了几种编写高效 python 代码的最佳实践:

  1. 优化循环:我尝试将尽可能多的代码移到循环之外。对于嵌套循环,我确保内部循环尽可能快。

  2. 减少函数调用开销:对于经常调用的非常小的函数,我考虑使用内联函数或 lambda 表达式。

  3. 使用适当的数据结构:我为任务选择正确的数据结构。例如,我使用集合进行快速成员资格测试,使用字典进行快速键值查找。

  4. 最小化对象创建:创建新对象可能会很昂贵,尤其是在循环内。我尝试尽可能重用对象。

  5. 使用内置函数和库:python 的内置函数和标准库通常经过优化并且比自定义实现更快。

  6. 避免全局变量:访问全局变量比访问局部变量慢。

  7. 使用 'in' 进行成员资格测试:对于列表、元组和集合,使用 'in' 比循环更快。

这是一个包含其中几种实践的示例:

from collections import defaultdict

def process_data(data):
    result = defaultdict(list)
    for item in data:
        key = item['category']
        value = item['value']
        if value > 0:
            result[key].append(value)
    return {k: sum(v) for k, v in result.items()}

此函数使用 defaultdict 来避免显式检查键是否存在,在单个循环中处理数据,并使用字典理解进行最终计算。

总之,优化 python 代码是一项需要实践和经验的技能。通过应用这些技术并始终衡量优化的影响,您可以编写出不仅优雅而且高性能的 python 代码。请记住,过早的优化是万恶之源,因此请务必首先分析您的代码,以确定真正需要优化的地方。


我们的创作

一定要看看我们的创作:

投资者中心 | 投资者中央西班牙语 | 投资者中德意志 | 智能生活 | 时代与回响 | 令人费解的谜团 | 印度教 | 精英开发 | js学校


我们在媒体上

科技考拉洞察 | 时代与回响世界 | 投资者中央媒体 | 令人费解的谜团 | 科学与时代媒介 | 现代印度教

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

745

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

634

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

757

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1259

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

705

2023.08.11

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

77

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号