Pandas DataFrame中基于抽样数据高效添加新列的指南

import pandas as pd
import numpy as np

# 假设我们有一个名为'test.csv'的原始数据文件
# 为了演示，我们创建一个虚拟的DataFrame
data = {'colA': np.random.rand(100),
        'colB': np.random.randint(1, 100, 100),
        'colC': np.random.choice(['X', 'Y', 'Z'], 100)}
df = pd.DataFrame(data)

print("原始DataFrame的头部：")
print(df.head())
print(f"原始DataFrame的行数：{len(df)}")

# 1. 从原始DataFrame中抽取5%的样本
# random_state用于确保结果的可复现性
# replace=False确保不会抽取到重复的行索引
df_sample = df.sample(frac=0.05, random_state=42, replace=False)

# 2. 给抽样数据添加新列'Flag'，并赋值为'Y'
df_sample["Flag"] = 'Y'

print("\n抽样DataFrame的头部：")
print(df_sample.head())

# 3. 使用pd.merge基于索引将'Flag'列添加回原始DataFrame
# left_index=True 和 right_index=True 确保基于索引合并
# how='left' 表示保留原始DataFrame的所有行，即使在df_sample中没有匹配的索引
df_merged = pd.merge(df, df_sample[['Flag']], left_index=True, right_index=True, how='left')

# 4. 填充未标记（即非抽样）行的'Flag'列为'N'或NaN
df_merged['Flag'] = df_merged['Flag'].fillna('N') # 或 df_merged['Flag'].fillna(pd.NA)

print("\n合并后的DataFrame的头部：")
print(df_merged.head())
print(f"合并后的DataFrame的行数：{len(df_merged)}")
print("\n'Flag'列的分布：")
print(df_merged['Flag'].value_counts())

import pandas as pd
import numpy as np

data = {'colA': np.random.rand(100),
        'colB': np.random.randint(1, 100, 100),
        'colC': np.random.choice(['X', 'Y', 'Z'], 100)}
df_loc = pd.DataFrame(data)

print("原始DataFrame的头部：")
print(df_loc.head())
print(f"原始DataFrame的行数：{len(df_loc)}")

# 1. 抽取5%的样本，并获取这些样本的索引
sampled_indices = df_loc.sample(frac=0.05, random_state=42, replace=False).index

# 2. 初始化新列'Flag'，默认为'N'
df_loc['Flag'] = 'N'

# 3. 使用.loc根据抽样索引直接赋值为'Y'
df_loc.loc[sampled_indices, 'Flag'] = 'Y'

print("\n使用.loc赋值后的DataFrame的头部：")
print(df_loc.head())
print(f"使用.loc赋值后的DataFrame的行数：{len(df_loc)}")
print("\n'Flag'列的分布：")
print(df_loc['Flag'].value_counts())

import pandas as pd
import numpy as np

data = {'colA': np.random.rand(100),
        'colB': np.random.randint(1, 100, 100),
        'colC': np.random.choice(['X', 'Y', 'Z'], 100)}
df_np = pd.DataFrame(data)

print("原始DataFrame的头部：")
print(df_np.head())
print(f"原始DataFrame的行数：{len(df_np)}")

# 1. 抽取5%的样本，并获取这些样本的索引
sampled_indices = df_np.sample(frac=0.05, random_state=42, replace=False).index

# 2. 使用numpy.where创建新列'Flag'
# 条件：df_np的索引是否在sampled_indices中
# 如果条件为真，赋值为'Y'；否则，赋值为'N'
df_np['Flag'] = np.where(df_np.index.isin(sampled_indices), 'Y', 'N')

print("\n使用numpy.where赋值后的DataFrame的头部：")
print(df_np.head())
print(f"使用numpy.where赋值后的DataFrame的行数：{len(df_np)}")
print("\n'Flag'列的分布：")
print(df_np['Flag'].value_counts())