在python中计算数据累积和,最常用的方法是使用numpy的cumsum函数或pandas的cumsum方法。1. numpy的cumsum支持多维数组操作,默认展平数组进行累加,也可通过axis参数指定轴向,如axis=0按列累加、axis=1按行累加;2. pandas的cumsum适用于series和dataframe,保留索引与列名,便于表格数据分析,并支持skipna参数处理缺失值及groupby结合实现分组累积求和;3. 性能方面,numpy和pandas的cumsum基于c语言实现,高效稳定,是首选方案,仅在特定简单场景下可考虑itertools.accumulate等替代方式。
Python中计算数据累积和,最常用也最便捷的方式就是利用NumPy库的cumsum函数,或者在处理表格数据时,使用Pandas库的DataFrame或Series对象自带的cumsum方法。它们能高效地对数组或序列中的元素进行逐个累加,并返回一个新数组或序列,其中每个元素是原数组从开头到当前位置所有元素的总和。
在Python中,要实现数据的累积和计算,NumPy和Pandas库提供了极其方便且高效的cumsum函数。这几乎是我在数据分析工作中处理序列累加时,不假思索就会选择的方法。
使用NumPy的cumsum:
立即学习“Python免费学习笔记(深入)”;
NumPy的ndarray对象本身就支持cumsum方法,或者你可以直接调用numpy.cumsum()函数。它会沿着指定的轴(默认为展平后的数组)计算累积和。
import numpy as np # 1D数组的累积和 data_1d = np.array([1, 2, 3, 4, 5]) cumulative_sum_1d = np.cumsum(data_1d) print("1D数组累积和:", cumulative_sum_1d) # 输出: 1D数组累积和: [ 1 3 6 10 15] # 2D数组的累积和(默认展平) data_2d = np.array([[1, 2], [3, 4]]) cumulative_sum_2d_flat = np.cumsum(data_2d) print("2D数组展平后累积和:", cumulative_sum_2d_flat) # 输出: 2D数组展平后累积和: [ 1 3 6 10]
使用Pandas的cumsum:
Pandas的Series和DataFrame对象也内置了cumsum方法,这在处理表格数据时尤为方便。它能自动保留索引和列名,让结果更具可读性。
import pandas as pd # Series的累积和 s = pd.Series([10, 20, 30, 40, 50]) cumulative_sum_s = s.cumsum() print("\nSeries累积和:\n", cumulative_sum_s) # 输出: # Series累积和: # 0 10 # 1 30 # 2 60 # 3 100 # 4 150 # dtype: int64 # DataFrame的累积和(默认按列,即axis=0) df = pd.DataFrame({ 'A': [1, 2, 3], 'B': [10, 20, 30], 'C': [100, 200, 300] }) cumulative_sum_df_col = df.cumsum() print("\nDataFrame按列累积和:\n", cumulative_sum_df_col) # 输出: # DataFrame按列累积和: # A B C # 0 1 10 100 # 1 3 30 300 # 2 6 60 600
这两种方法,无论是面对简单的数字序列,还是复杂的多维数据表,都能提供高效且直观的累积和计算能力。
我刚开始接触NumPy的axis参数时,确实有点绕,感觉它总是在玩“反直觉”的游戏。但一旦你理解了,axis其实就是指操作发生时,哪个维度会被“压缩”或者说“遍历”掉。对于多维数组,numpy.cumsum()的axis参数决定了累积和是按行计算还是按列计算,这在处理表格数据或图像数据时尤为关键。
import numpy as np data_2d = np.array([ [1, 2, 3], [4, 5, 6], [7, 8, 9] ]) print("原始2D数组:\n", data_2d) # 沿着axis=0(列方向)累积求和 cumsum_axis_0 = np.cumsum(data_2d, axis=0) print("\n沿着axis=0累积和(按列累加):\n", cumsum_axis_0) # 解释: # 第1列: [1, 1+4, 1+4+7] = [1, 5, 12] # 第2列: [2, 2+5, 2+5+8] = [2, 7, 15] # 第3列: [3, 3+6, 3+6+9] = [3, 9, 18] # 沿着axis=1(行方向)累积求和 cumsum_axis_1 = np.cumsum(data_2d, axis=1) print("\n沿着axis=1累积和(按行累加):\n", cumsum_axis_1) # 解释: # 第1行: [1, 1+2, 1+2+3] = [1, 3, 6] # 第2行: [4, 4+5, 4+5+6] = [4, 9, 15] # 第3行: [7, 7+8, 7+8+9] = [7, 15, 24]
在实际应用中,比如你有一个记录了每天不同产品销售额的表格,如果想看每天每种产品的累计销售额,可能就需要axis=0。而如果你想看每天所有产品销售额的累计总和,那可能就需要先对行求和,再进行累积,或者考虑更复杂的聚合方式。理解这个轴向,是掌握NumPy多维操作的关键一步。
很多时候,数据里总有那么些“空洞”,NaN就是其中之一。cumsum默认会把它们一路“传染”下去,这在某些场景下是合理的,但有时你可能希望跳过。而分组累积求和,这简直是数据分析的“瑞士之刃”,尤其在处理时间序列或者分类数据时,它能帮你快速看到每个组内部的累积趋势。
处理缺失值(NaN):
Pandas的cumsum方法有一个skipna参数,默认是True,表示在计算过程中会跳过NaN值,并将NaN视为0进行累加,但结果中仍然保留NaN的位置。如果设置为False,那么遇到NaN后,后续的累积和都将是NaN。
import pandas as pd import numpy as np s_with_nan = pd.Series([10, 20, np.nan, 30, 40]) print("原始Series(含NaN):\n", s_with_nan) # skipna=True (默认行为): 跳过NaN,但NaN位置仍为NaN cumsum_skipna_true = s_with_nan.cumsum(skipna=True) print("\ncumsum(skipna=True):\n", cumsum_skipna_true) # 解释:NaN位置依然是NaN,但后续的30是基于20累加的,而不是基于NaN。 # skipna=False: 遇到NaN后,后续都变为NaN cumsum_skipna_false = s_with_nan.cumsum(skipna=False) print("\ncumsum(skipna=False):\n", cumsum_skipna_false) # 解释:一旦遇到NaN,累积过程就中断,后续都变成了NaN。
分组累积求和:
这是Pandas中非常强大的一个功能组合,通过groupby()方法结合cumsum(),可以实现对数据按某个或多个类别进行分组后,再在每个组内独立进行累积和计算。
import pandas as pd data = { 'Category': ['A', 'A', 'B', 'A', 'B', 'A', 'B'], 'Value': [10, 5, 15, 8, 12, 3, 20] } df = pd.DataFrame(data) print("原始DataFrame:\n", df) # 按Category分组后,对Value进行组内累积求和 df['Cumulative_Value_Per_Category'] = df.groupby('Category')['Value'].cumsum() print("\n按Category分组后的累积和:\n", df) # 解释: # Category A: [10, 10+5, (跳过B), 15+8, (跳过B), 23+3] -> [10, 15, NaN, 23, NaN, 26, NaN] (索引对应) # Category B: [(跳过A), (跳过A), 15, (跳过A), 15+12, (跳过A), 27+20] -> [NaN, NaN, 15, NaN, 27, NaN, 47] (索引对应)
这种分组累积求和在分析销售数据(按产品类别累计)、用户行为(按用户ID累计登录时长)或财务报表(按部门累计支出)等场景中,都表现得极其高效和实用。
我总觉得,当你开始考虑性能的时候,说明你处理的数据量已经不小了。cumsum在Python生态里,尤其是NumPy和Pandas的版本,基本就是最优解了。它们底层都是用C语言实现的,因此对于大型数组或DataFrame,其执行效率非常高,通常不需要我们去手动优化。
为什么cumsum是首选?
一些“替代方案”或“理解性”的实现(在特定场景下):
虽然cumsum是标准答案,但在某些特殊情况下,或者仅仅是为了理解其工作原理,你可能会遇到或考虑其他方法。
纯Python循环(仅用于理解,不推荐用于性能敏感场景): 这是最直观的实现方式,但性能极差,尤其是在数据量大时。
data = [1, 2, 3, 4, 5] cumulative_sum_py = [] current_sum = 0 for x in data: current_sum += x cumulative_sum_py.append(current_sum) print("纯Python循环累积和:", cumulative_sum_py)
itertools.accumulate(适用于迭代器和内存敏感场景):itertools模块提供了很多用于迭代器的工具,accumulate就是其中之一。它返回一个迭代器,按需生成累积和,这在处理非常大的序列时可能比一次性加载到内存更节省资源,因为它不需要一次性创建整个结果列表。
from itertools import accumulate data = [1, 2, 3, 4, 5] cumulative_sum_itertools = list(accumulate(data)) print("itertools.accumulate累积和:", cumulative_sum_itertools) # 也可以指定一个二元操作函数,例如累积乘积 import operator cumulative_product = list(accumulate(data, operator.mul)) print("itertools.accumulate累积乘积:", cumulative_product)
itertools.accumulate的优点在于它的“惰性”计算和内存效率,它更适合处理流式数据或当你不需要一次性获得所有结果,而是逐个处理时。但它不如NumPy/Pandas那样直接支持多维数组的轴向操作或DataFrame的复杂索引结构。
总而言之,在Python中进行数据累积和计算,NumPy和Pandas的cumsum函数几乎总是你的首选。它们在性能、功能和易用性之间找到了完美的平衡。只有在非常特殊、对内存极致敏感且数据结构简单的场景下,itertools.accumulate才可能成为一个有益的补充。
以上就是Python中如何计算数据累积和?cumsum函数详解的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号