Pandas DataFrame列赋值中的NaN问题：深入理解索引对齐与解决方案

本文深入探讨了Pandas DataFrame在进行列赋值时，因索引不对齐导致出现`NaN`值的常见问题。通过详细的代码示例，揭示了Pandas在赋值过程中如何基于索引进行数据匹配，并解释了当源数据与目标DataFrame索引不一致时产生`NaN`的原因。文章提供了使用`.loc`结合`.values`属性的有效解决方案，以确保数据正确填充，并强调了在Pandas操作中理解和管理索引的重要性。

在数据分析和处理中，Pandas是Python生态系统中不可或缺的工具。然而，在使用Pandas DataFrame进行列赋值时，开发者有时会遇到新列被意外填充为NaN（Not a Number）值的情况，即使源数据本身是完整的。这通常是由于Pandas在赋值过程中默认执行的索引对齐机制所导致的。理解这一机制是编写健壮Pandas代码的关键。

索引对齐机制简介

Pandas DataFrame在执行许多操作，包括列赋值时，会尝试根据索引来对齐数据。当您尝试将一个Series或DataFrame赋值给现有DataFrame的一个新列时，Pandas会比较赋值源（Series/DataFrame）的索引和目标DataFrame的索引。

• 如果索引完全匹配，数据将按位置正确填充。
• 如果索引部分匹配，Pandas会根据匹配的索引填充数据，对于目标DataFrame中存在但赋值源中不存在的索引，以及赋值源中存在但目标DataFrame中不存在的索引，都将填充NaN。
• 如果索引完全不匹配，或者长度不一致且未明确指示如何处理，则可能导致整个列被NaN填充，或者数据错位。

常见问题场景：过滤后Series的赋值

考虑以下场景，我们从一个DataFrame中通过布尔掩码筛选出两组数据，并尝试将它们作为新列添加到另一个DataFrame中。

import pandas as pd

# 示例数据
text = pd.DataFrame(["it", "never", "forget", "it", "hello", "listener's", 
                     "books", "at", "cya", "in", "the", "village", 
                     "deliberate", "mistake", "hello", "again", "i'd", 
                     "seen", "the", "thing", "and", "i'd", "love", "to", "check"])

# 创建布尔掩码
c_mask = text[0] == "i'd"
v_mask = c_mask.shift(fill_value=False) # 获取'i\'d'的下一个词

# 初始化一个新的DataFrame
check_c = pd.DataFrame()

# 尝试赋值第一列
check_c["contractions"] = text[c_mask]

# 尝试赋值第二列
check_c["followup"] = text[v_mask]

print(check_c)

输出结果:

   contractions followup
16          i'd      NaN
21          i'd      NaN

从输出可以看出，contractions列被正确填充，但followup列却完全是NaN。这令人困惑，因为text[v_mask]本身并不是空的，它包含了有效的数据。

问题根源分析

问题的核心在于索引不对齐。让我们检查一下涉及到的Series的索引：

1. text[c_mask] 得到的Series，其索引是 [16, 21]。当它被赋值给 check_c["contractions"] 时，check_c 的索引就被设定为 [16, 21]。
2. text[v_mask] 得到的Series，其索引是 [17, 22]。这些是原始 text DataFrame中对应于布尔掩码为True的行的索引。

当执行 check_c["followup"] = text[v_mask] 时，Pandas会尝试将 text[v_mask] (索引为 [17, 22]) 的值对齐到 check_c (索引为 [16, 21])。由于 check_c 的索引 [16, 21] 与 text[v_mask] 的索引 [17, 22] 没有共同的元素，Pandas在 check_c 的 [16, 21] 位置上找不到对应的 text[v_mask] 值，因此在 followup 列的所有位置都填充了 NaN。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

值得注意的是，如果先赋值 followup，再赋值 contractions，则 followup 列会正常填充，而 contractions 列则会变成 NaN，这进一步证实了索引对齐是问题的关键。

解决方案

解决这类问题的方法是明确告诉Pandas在赋值时忽略索引对齐，或者确保源数据的索引与目标DataFrame的索引相匹配。最直接有效的方法是提取赋值源的底层数值（NumPy数组），然后进行赋值。

import pandas as pd

text = pd.DataFrame(["it", "never", "forget", "it", "hello", "listener's", 
                     "books", "at", "cya", "in", "the", "village", 
                     "deliberate", "mistake", "hello", "again", "i'd", 
                     "seen", "the", "thing", "and", "i'd", "love", "to", "check"])

c_mask = text[0] == "i'd"
v_mask = c_mask.shift(fill_value=False)

check_c = pd.DataFrame()

# 正确赋值第一列 (索引对齐在这里是隐式的，因为check_c是空的，其索引由第一个Series决定)
check_c["contractions"] = text[c_mask]

# 解决方案：使用 .loc 结合 .values
# text.loc[v_mask, 0] 精确选择了原始DataFrame中v_mask为True的行，以及第0列的数据
# .values 将这些数据提取为NumPy数组，丢弃了原始索引
check_c["followup"] = text.loc[v_mask, 0].values

print(check_c)

输出结果:

   contractions followup
0           i'd     seen
1           i'd     love

解释：

1. text.loc[v_mask, 0]：这行代码利用 .loc 索引器，根据 v_mask 精确地从 text DataFrame中选取了对应的行，并指定了第 0 列。结果是一个Series，其索引是原始DataFrame中匹配行的索引（例如 [17, 22]）。
2. .values：这是关键一步。它将Series转换为一个纯粹的NumPy数组。NumPy数组没有索引的概念，因此当它被赋值给 check_c["followup"] 时，Pandas会直接按顺序填充数据，而不会尝试进行索引对齐。前提是赋值源（NumPy数组）的长度与目标列的行数相匹配。

在这个例子中，check_c 有2行（索引 0 和 1），而 text.loc[v_mask, 0].values 也有2个元素，因此它们可以完美地按位置匹配。

注意事项与最佳实践

• 理解索引是Pandas的核心：在处理Pandas DataFrame时，始终要意识到索引的存在及其在数据操作中的作用。
• 使用 .loc 和 .iloc 进行精确选择：当需要基于标签或整数位置进行数据选择时，.loc 和 .iloc 是首选，它们提供了明确且强大的选择能力。
• .values 适用于无索引对齐需求：当您确定要将数据按顺序填充，并且不希望Pandas进行索引对齐时，使用 .values 提取底层NumPy数组是一个有效的策略。
• 检查数据长度：在使用 .values 赋值时，确保赋值源数组的长度与目标DataFrame的行数一致，否则可能引发广播错误或数据截断/重复。
• 重置索引 (.reset_index())：如果确实需要统一索引，可以考虑对源Series或DataFrame使用 .reset_index(drop=True) 来生成一个从0开始的默认整数索引，然后再进行赋值。但这通常会改变数据的原始索引信息，需谨慎使用。

总结

Pandas DataFrame列赋值中出现NaN是索引对齐机制的常见表现。通过理解Pandas如何基于索引匹配数据，并掌握使用 .loc 进行精确选择和 .values 属性来绕过索引对齐的技巧，开发者可以有效地解决这类问题，确保数据被正确地填充到DataFrame中。这不仅提升了代码的健壮性，也加深了对Pandas数据结构和操作原理的理解。

以上就是Pandas DataFrame列赋值中的NaN问题：深入理解索引对齐与解决方案的详细内容，更多请关注php中文网其它相关文章！