Pandas DataFrame赋值机制解析
pandas在进行dataframe之间的赋值操作时，其核心特性之一是智能的数据对齐（data alignment）。这意味着，当您尝试将一个dataframe（或其子集）的值赋给另一个dataframe（或其子集）时，pandas会默认根据行索引和列标签来匹配数据。如果源数据和目标位置的标签不完全一致，pandas会尝试找到匹配的标签进行赋值，对于无法匹配的标签，则会用nan（not a number）填充。
考虑以下示例代码，它展示了在列标签不匹配时可能出现的问题：
import pandas as pd
df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})
df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})
print("原始 df1:\n", df1)
print("\n原始 df2:\n", df2)
# 尝试将 df2 的特定子集赋值给 df1 的特定子集
# df1 的目标是行 0,1 和列 '2','3'
# df2 的源是行 0,1 和列 '1','2'
df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']]
print("\n赋值后的 df1:\n", df1)执行上述代码，df1的输出如下所示：
1 2 3 0 1.0 22.0 NaN 1 2.0 22.0 NaN 2 3.0 30.0 300.0 3 4.0 40.0 400.0 4 5.0 50.0 500.0 5 6.0 60.0 600.0
可以看到，df1的第0、1行、第'3'列的值变成了NaN，而第'2'列的值被正确更新。这是因为在 df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']] 这行代码中，Pandas尝试将 df2 中列标签为 '1' 和 '2' 的数据，对齐到 df1 中列标签为 '2' 和 '3' 的位置。
- df2 的列 '2' 成功匹配到 df1 的列 '2'，因此相应值被正确赋值。
- df2 的列 '1' 在 df1 的目标列 ('2', '3') 中找不到匹配项，其值不会被赋值到df1的任何目标列。
- df1 的目标列 '3' 在 df2 的源列 ('1', '2') 中找不到匹配项。由于 df1 的目标切片中包含了列 '3'，但 df2 的源数据中没有名为 '3' 的列来填充它，Pandas便将其填充为 NaN。这种行为是Pandas为了保持数据完整性和避免潜在的数据错位而设计的。
解决方案：使用NumPy数组绕过对齐
当您明确知道源数据和目标位置的维度和顺序是匹配的，并且希望执行基于位置的直接赋值，而不是基于标签的对齐时，可以将源DataFrame（或其子集）转换为NumPy数组。NumPy数组是纯粹的数值结构，不包含标签信息，因此赋值操作将完全按照位置进行，忽略任何列名或索引的差异。
修正上述问题的代码如下：
import pandas as pd
import numpy as np # 导入 numpy 库，尽管在这里不是必需的，但通常与 numpy 数组操作相关
df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})
df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})
print("原始 df1:\n", df1)
print("\n原始 df2:\n", df2)
# 使用 .to_numpy() 将右侧转换为 NumPy 数组
df1.loc[[0,1], ['2','3']] = df2.loc[[0,1], ['1','2']].to_numpy()
print("\n修正赋值后的 df1:\n", df1)执行此代码，df1的输出将是期望的结果：
1 2 3 0 1 22 22 1 2 22 22 2 3 30 300 3 4 40 400 4 5 50 500 5 6 60 600
通过 .to_numpy() 方法，df2.loc[[0,1], ['1','2']] 被转换为一个2x2的NumPy数组 [[22, 22], [22, 22]]。这个数组不携带任何列名信息，因此Pandas在赋值时不再尝试进行列标签对齐，而是直接将数组中的值按顺序填充到 df1.loc[[0,1], ['2','3']] 所指定的2x2区域内。即，NumPy数组的第一列（原df2的'1'列数据）赋值给 df1 的列 '2'，第二列（原df2的'2'列数据）赋值给 df1 的列 '3'。
注意事项与最佳实践
在使用 .to_numpy() 进行DataFrame子集赋值时，需要注意以下几点：
- 形状匹配至关重要： 使用 .to_numpy() 进行赋值时，源数据的形状（行数和列数）必须与目标区域的形状完全一致。如果形状不匹配，Pandas将抛出 ValueError: Must have equal reindex for all elements in the array 错误。例如，如果 df2.loc[[0,1], ['1','2']].to_numpy() 得到一个2x2的数组，而目标 df1.loc[[0,1], ['2','3']] 也是2x2的区域，则赋值成功。如果目标区域是2x1，则会报错。
- 数据类型转换： 尽管 .to_numpy() 避免了 NaN，但如果源NumPy数组的数据类型与目标DataFrame列的现有数据类型不兼容，Pandas可能会进行隐式的数据类型转换（例如，从整数转换为浮点数），以容纳新值。请始终注意赋值操作可能带来的数据类型变化。
-
何时使用 .to_numpy()：
- 当您需要进行基于位置的精确赋值，且明确知道源和目标的维度匹配时。
- 当源DataFrame的列标签与目标DataFrame的列标签不一致，但您希望按顺序而非按标签赋值时。
- 当您希望提高赋值操作的性能，尤其是在处理大型数据集时，因为NumPy操作通常比Pandas的标签对齐操作更快。
-
何时避免 .to_numpy()：
- 当您希望利用Pandas强大的标签对齐功能，确保数据在不同DataFrame之间按标签正确匹配时。
- 当源和目标DataFrame的结构可能不完全一致，且您希望Pandas自动处理缺失值或重新索引时。
总结
Pandas在DataFrame赋值时的自动对齐机制是一项强大功能，但在特定场景下（如源列标签与目标列标签不匹配但希望按位置赋值时），它可能导致意外的NaN值。理解这一机制是高效使用Pandas的关键。通过将源数据显式转换为NumPy数组（使用 .to_numpy()），我们可以绕过Pandas的标签对齐行为，强制进行基于位置的赋值，从而精确控制数据的填充方式，避免不必要的NaN。在实践中，选择哪种赋值方式取决于您的具体需求：是希望利用Pandas的智能对齐，还是需要进行严格的按位置赋值。
