
本文旨在解决使用 Pandas 向 DataFrame 添加新列时,列名成功添加但数据为空的问题。通过分析常见原因,提供多种解决方案,包括使用 np.where 条件赋值、正确理解 pd.concat 的用法,以及避免在循环中修改 DataFrame 等,帮助读者高效地向 DataFrame 添加所需数据。
在使用 Pandas 处理 Excel 数据时,经常需要在 DataFrame 中添加新的列。然而,有时会出现添加了列名,但列中的数据却为空的情况。 这通常是由于多种原因造成的,例如赋值方式不正确、循环中的错误操作,或者对 Pandas 函数的理解有偏差。以下将针对这些常见问题,提供详细的解决方案。
解决方案一:使用 np.where 进行条件赋值
如果新列的值取决于其他列的条件判断,可以使用 numpy.where 函数进行条件赋值。 这种方法简洁高效,避免了使用循环遍历 DataFrame 的低效操作。
import pandas as pd
import numpy as np
# 示例 DataFrame
data = {'cellname1': ['A', 'B', 'C', 'A'],
'cellname1value': [1, 2, 3, 1],
'cellname2': ['A', 'D', 'C', 'B'],
'cellname2value': [1, 4, 3, 5],
'cellname3': ['A', 'B', 'E', 'A'],
'cellname3value': [1, 2, 6, 1]}
df = pd.DataFrame(data)
# 添加新列,初始值为空
df['resultcellname'] = ''
df['resultcellnamevalue'] = ''
# 使用 np.where 进行条件赋值
df['resultcellname'] = np.where((df['cellname1'] == df['cellname2']) & (df['cellname1value'] == df['cellname2value']), df['cellname1'], df['resultcellname'])
df['resultcellnamevalue'] = np.where((df['cellname1'] == df['cellname2']) & (df['cellname1value'] == df['cellname2value']), df['cellname1value'], df['resultcellnamevalue'])
df['resultcellname'] = np.where((df['cellname1'] == df['cellname3']) & (df['cellname1value'] == df['cellname3value']), df['cellname1'], df['resultcellname'])
df['resultcellnamevalue'] = np.where((df['cellname1'] == df['cellname3']) & (df['cellname1value'] == df['cellname3value']), df['cellname1value'], df['resultcellnamevalue'])
df['resultcellname'] = np.where((df['cellname2'] == df['cellname3']) & (df['cellname2value'] == df['cellname3value']), df['cellname2'], df['resultcellname'])
df['resultcellnamevalue'] = np.where((df['cellname2'] == df['cellname3']) & (df['cellname2value'] == df['cellname3value']), df['cellname2value'], df['resultcellnamevalue'])
print(df)代码解释:
- 首先,我们创建了一个示例 DataFrame。
- 然后,我们添加了两个新的空列 'resultcellname' 和 'resultcellnamevalue'。
- 使用 np.where 函数,如果 cellname1 和 cellname2 以及 cellname1value 和 cellname2value 的值相等,则将 cellname1 的值赋给 resultcellname,否则保持 resultcellname 的原有值。resultcellnamevalue 同理。
- 重复上述步骤,比较 cellname1 和 cellname3,以及 cellname2 和 cellname3。
注意事项:
- np.where 函数的第一个参数是条件,第二个参数是条件为真时的值,第三个参数是条件为假时的值。
- 可以根据实际需求,组合多个条件判断。
解决方案二:避免在循环中修改 DataFrame
在循环中直接修改 DataFrame 是一个非常低效的操作,尤其是在处理大型数据集时。 每次修改都会导致 Pandas 重新分配内存,从而显著降低性能。 建议尽量避免在循环中修改 DataFrame,而是先将需要添加的数据存储在一个列表中,最后一次性添加到 DataFrame 中。
import pandas as pd
# 示例 DataFrame
data = {'col1': [1, 2, 3, 4, 5]}
df = pd.DataFrame(data)
# 创建一个空列表,用于存储新列的数据
new_col_data = []
# 循环遍历 DataFrame 的每一行
for index, row in df.iterrows():
# 根据某些条件计算新列的值
if row['col1'] > 3:
new_value = row['col1'] * 2
else:
new_value = row['col1'] + 1
# 将新值添加到列表中
new_col_data.append(new_value)
# 将列表添加到 DataFrame 中
df['new_col'] = new_col_data
print(df)代码解释:
- 首先,我们创建了一个示例 DataFrame。
- 然后,我们创建了一个空列表 new_col_data,用于存储新列的数据。
- 循环遍历 DataFrame 的每一行,根据 col1 的值计算 new_col 的值,并将结果添加到 new_col_data 列表中。
- 最后,将 new_col_data 列表赋值给 DataFrame 的新列 new_col。
注意事项:
- 确保 new_col_data 列表的长度与 DataFrame 的行数相同。
- 可以使用 apply 函数代替循环,提高代码的可读性和效率。
解决方案三:正确理解 pd.concat 的用法
pd.concat 函数用于连接 Pandas 对象,包括 DataFrame 和 Series。 如果使用不当,可能会导致数据丢失或产生意想不到的结果。
在提供的原始代码中,存在以下问题:
dfH=pd.concat([dfH.loc[common_values]],
axis=1)这行代码试图将 dfH.loc[common_values] 与 dfH 沿列方向连接,但是 dfH.loc[common_values] 的结果可能不是你想要的。 dfH.loc[common_values] 会尝试根据 common_values 中的值作为索引来选择 dfH 中的行。 如果 common_values 中的值不是 dfH 的索引,则会出错。 即使 common_values 中的值是 dfH 的索引,连接后的结果也可能不是你期望的。
正确的用法:
如果想要将一个 Series 或 DataFrame 添加到现有的 DataFrame 中,可以直接赋值:
dfH['new_column'] = some_series
或者,如果确实需要使用 pd.concat,请确保连接的对象具有相同的索引,并且指定正确的 axis。
总结:
在向 Pandas DataFrame 添加新列时,需要注意赋值方式、避免在循环中修改 DataFrame,以及正确理解 Pandas 函数的用法。 通过选择合适的解决方案,可以高效地向 DataFrame 添加所需数据,并避免出现数据为空的问题。










