基于DataFrame中ID列构建不同DataFrame：处理多重NaN值-Python教程-PHP中文网

基于DataFrame中ID列构建不同DataFrame：处理多重NaN值

霞舞

发布： 2025-08-06 18:22:12

原创

271人浏览过

基于dataframe中id列构建不同dataframe：处理多重nan值

本文介绍了如何基于包含多个NaN值的DataFrame，根据特定ID规则构建多个新的DataFrame。核心思路是利用某一列的非NaN值生成ID，然后根据ID和目标列筛选并创建新的DataFrame，最终得到所需的数据结构。通过本文，读者可以掌握处理缺失数据和数据重塑的有效方法。

在数据分析和处理中，经常会遇到包含缺失值（NaN）的DataFrame。有时我们需要根据特定规则，将这些DataFrame拆分成多个更小、更专注的DataFrame，以便进行更细致的分析。本文将介绍一种基于ID列的方法，从包含多个NaN值的DataFrame中构建多个不同的DataFrame。

核心思路：

生成ID列： 基于DataFrame中的某一列（例如'a'列），根据其非NaN值的连续性生成ID。从一个非NaN单元格开始，直到下一个非NaN单元格出现之前，这些行的ID都相同。
创建子DataFrame： 根据生成的ID列和目标列（例如'b'列、'c'列等），创建新的DataFrame。
移除NaN值： 在新创建的DataFrame中，移除包含NaN值的行。

具体步骤与代码示例：

假设我们有以下DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame({'a':[10, np.nan, np.nan, 22, np.nan],
                   'b':[23, 12, 7, 4, np.nan],
                   'c':[13, np.nan, np.nan, np.nan, 65]})
print(df)

登录后复制

输出：

      a     b     c
0  10.0  23.0  13.0
1   NaN  12.0   NaN
2   NaN   7.0   NaN
3  22.0   4.0   NaN
4   NaN   NaN  65.0

登录后复制

1. 生成ID列：

使用notna().cumsum()方法，基于'a'列的非NaN值生成ID列。

df['id'] = df['a'].notna().cumsum()
print(df)

登录后复制

输出：

      a     b     c  id
0  10.0  23.0  13.0   1
1   NaN  12.0   NaN   1
2   NaN   7.0   NaN   1
3  22.0   4.0   NaN   2
4   NaN   NaN  65.0   2

登录后复制

2. 创建子DataFrame并移除NaN值：

超级简历WonderCV

免费求职简历模版下载制作，应届生职场人必备简历制作神器

271

查看详情

分别创建包含'id'列和目标列的DataFrame，并使用dropna()方法移除NaN值。

df_a = df[['id','a']].dropna()
df_b = df[['id','b']].dropna()
df_c = df[['id','c']].dropna()

print("df_a:\n", df_a)
print("df_b:\n", df_b)
print("df_c:\n", df_c)

登录后复制

输出：

df_a:
    id     a
0   1  10.0
3   2  22.0
df_b:
    id     b
0   1  23.0
1   1  12.0
2   1   7.0
3   2   4.0
df_c:
    id     c
0   1  13.0
4   2  65.0

登录后复制

3. 重置索引（可选）：

如果需要，可以使用reset_index(drop=True)方法重置索引，使索引从0开始连续。

df_a = df[['id','a']].dropna().reset_index(drop=True)
print("df_a with reset index:\n", df_a)

登录后复制

输出：

df_a with reset index:
    id     a
0   1  10.0
1   2  22.0

登录后复制

完整代码示例：

import pandas as pd
import numpy as np

df = pd.DataFrame({'a':[10, np.nan, np.nan, 22, np.nan],
                   'b':[23, 12, 7, 4, np.nan],
                   'c':[13, np.nan, np.nan, np.nan, 65]})

df['id'] = df['a'].notna().cumsum()
df_a = df[['id','a']].dropna().reset_index(drop=True)
df_b = df[['id','b']].dropna().reset_index(drop=True)
df_c = df[['id','c']].dropna().reset_index(drop=True)

print("df_a:\n", df_a)
print("df_b:\n", df_b)
print("df_c:\n", df_c)

登录后复制

注意事项：

ID的生成基于'a'列的非NaN值。如果需要基于其他列生成ID，只需将df['a'].notna()替换为相应的列即可。
dropna()方法默认移除包含任何NaN值的行。如果需要更精细的控制，可以使用subset参数指定需要检查的列。
reset_index(drop=True)方法会丢弃原来的索引，并生成新的从0开始的连续索引。如果需要保留原来的索引，可以省略drop=True参数。

总结：

本文介绍了一种利用pandas库处理包含NaN值的DataFrame，并根据特定ID规则构建多个新的DataFrame的方法。这种方法可以有效地将原始数据分解成更小、更易于管理的部分，方便进行后续的数据分析和处理。通过灵活运用notna().cumsum()、dropna()和reset_index()等方法，可以根据实际需求定制数据处理流程。

以上就是基于DataFrame中ID列构建不同DataFrame：处理多重NaN值的详细内容，更多请关注php中文网其它相关文章！