本文介绍了如何基于包含多个NaN值的DataFrame，根据特定ID规则构建多个新的DataFrame。核心思路是利用某一列的非NaN值生成ID，然后根据ID和目标列筛选并创建新的DataFrame，最终得到所需的数据结构。通过本文，读者可以掌握处理缺失数据和数据重塑的有效方法。
在数据分析和处理中，经常会遇到包含缺失值（NaN）的DataFrame。有时我们需要根据特定规则，将这些DataFrame拆分成多个更小、更专注的DataFrame，以便进行更细致的分析。本文将介绍一种基于ID列的方法，从包含多个NaN值的DataFrame中构建多个不同的DataFrame。
核心思路：
- 生成ID列： 基于DataFrame中的某一列（例如'a'列），根据其非NaN值的连续性生成ID。从一个非NaN单元格开始，直到下一个非NaN单元格出现之前，这些行的ID都相同。
- 创建子DataFrame： 根据生成的ID列和目标列（例如'b'列、'c'列等），创建新的DataFrame。
- 移除NaN值： 在新创建的DataFrame中，移除包含NaN值的行。
具体步骤与代码示例：
假设我们有以下DataFrame：
import pandas as pd
import numpy as np
df = pd.DataFrame({'a':[10, np.nan, np.nan, 22, np.nan],
'b':[23, 12, 7, 4, np.nan],
'c':[13, np.nan, np.nan, np.nan, 65]})
print(df)输出：
a b c 0 10.0 23.0 13.0 1 NaN 12.0 NaN 2 NaN 7.0 NaN 3 22.0 4.0 NaN 4 NaN NaN 65.0
1. 生成ID列：
使用notna().cumsum()方法，基于'a'列的非NaN值生成ID列。
df['id'] = df['a'].notna().cumsum() print(df)
输出：
a b c id 0 10.0 23.0 13.0 1 1 NaN 12.0 NaN 1 2 NaN 7.0 NaN 1 3 22.0 4.0 NaN 2 4 NaN NaN 65.0 2
2. 创建子DataFrame并移除NaN值：
分别创建包含'id'列和目标列的DataFrame，并使用dropna()方法移除NaN值。
df_a = df[['id','a']].dropna()
df_b = df[['id','b']].dropna()
df_c = df[['id','c']].dropna()
print("df_a:\n", df_a)
print("df_b:\n", df_b)
print("df_c:\n", df_c)输出：
df_a:
id a
0 1 10.0
3 2 22.0
df_b:
id b
0 1 23.0
1 1 12.0
2 1 7.0
3 2 4.0
df_c:
id c
0 1 13.0
4 2 65.03. 重置索引（可选）：
如果需要，可以使用reset_index(drop=True)方法重置索引，使索引从0开始连续。
df_a = df[['id','a']].dropna().reset_index(drop=True)
print("df_a with reset index:\n", df_a)输出：
df_a with reset index:
id a
0 1 10.0
1 2 22.0完整代码示例：
import pandas as pd
import numpy as np
df = pd.DataFrame({'a':[10, np.nan, np.nan, 22, np.nan],
'b':[23, 12, 7, 4, np.nan],
'c':[13, np.nan, np.nan, np.nan, 65]})
df['id'] = df['a'].notna().cumsum()
df_a = df[['id','a']].dropna().reset_index(drop=True)
df_b = df[['id','b']].dropna().reset_index(drop=True)
df_c = df[['id','c']].dropna().reset_index(drop=True)
print("df_a:\n", df_a)
print("df_b:\n", df_b)
print("df_c:\n", df_c)注意事项：
- ID的生成基于'a'列的非NaN值。如果需要基于其他列生成ID，只需将df['a'].notna()替换为相应的列即可。
- dropna()方法默认移除包含任何NaN值的行。如果需要更精细的控制，可以使用subset参数指定需要检查的列。
- reset_index(drop=True)方法会丢弃原来的索引，并生成新的从0开始的连续索引。如果需要保留原来的索引，可以省略drop=True参数。
总结：
本文介绍了一种利用pandas库处理包含NaN值的DataFrame，并根据特定ID规则构建多个新的DataFrame的方法。这种方法可以有效地将原始数据分解成更小、更易于管理的部分，方便进行后续的数据分析和处理。通过灵活运用notna().cumsum()、dropna()和reset_index()等方法，可以根据实际需求定制数据处理流程。
