Python怎么处理pandas中的缺失值（NaN）_pandas缺失值NaN的处理策略

答案：处理Pandas缺失值需先识别再决策，常用df.isnull().sum()统计缺失，根据占比选择删除或填充；少量缺失可删，多则填充，数值型用均值、中位数，类别型用众数，时间序列适用前向/后向填充，也可插值或设特定值，需权衡数据完整性与信息损失。

在Python中使用pandas处理缺失值（NaN），核心策略是先识别缺失值的位置和数量，然后根据数据的特性、缺失值的占比以及分析目标，选择合适的填充（Imputation）方法或直接删除（Dropping）含有缺失值的行或列。这并非一刀切的选择，而是在数据完整性与信息损失之间寻求最佳平衡。

解决方案

在Pandas中处理缺失值，核心思想无非是先找到它们，再根据业务场景和数据特性决定如何“修补”或“移除”。我通常的做法是，先快速审视缺失值的分布和数量，这决定了我后续的策略。

首先，识别是关键。

df.isnull().sum()

填充策略多种多样。最常见的是用均值（mean）、中位数（median）或众数（mode）来填充。对于数值型数据，均值和中位数是首选。如果数据分布偏斜严重，中位数往往比均值更稳健。众数则常用于类别型数据，或者当数值型数据存在明显峰值时。

df['column'].fillna(df['column'].mean())

立即学习“Python免费学习笔记（深入）”；

另一种非常实用的填充方式是前向填充（

ffill

bfill

df.fillna(method='ffill')

当然，直接删除也是一种选择。

df.dropna()

有时，缺失值本身可能就蕴含着某种信息。比如，一个用户在某个字段没有填写，可能意味着他们没有相关信息，而不是“缺失”了。在这种情况下，我可能会用一个特定的值（如-1或'Unknown'）来填充，甚至为缺失值创建一个新的指示变量。这需要对业务有深入理解，不能一概而论。

如何高效识别Pandas DataFrame中的缺失值？

识别缺失值，是处理它们的第一步，也是最基础的一步。我个人觉得，理解你的数据“哪里不完整”比“如何补齐”更重要，因为这直接影响你后续的决策。Pandas提供了非常直观且高效的方法来定位这些

NaN

最常用的莫过于

df.isnull()

df.isna()

True

False

但光有地图还不够，我们还需要知道“有多少缺失”。这时，链式调用

.sum()

df.isnull().sum()

.sort_values(ascending=False)

如果你想知道缺失值占总数的比例，可以进一步除以

len(df)

df.isnull().sum() / len(df) * 100

df.info()

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

21

查看详情

对于更宏观的缺失模式，我会用

df.isnull().any(axis=1)

df.isnull().all(axis=1)

在某些复杂场景下，比如想可视化缺失值的分布，

missingno

Pandas缺失值填充（Imputation）策略的选择与实践

缺失值填充，也就是 Imputation，是数据预处理中一个充满艺术与科学结合的环节。选择哪种填充策略，往往取决于数据本身的性质、缺失值的类型（随机缺失、非随机缺失）以及你的分析目标。我通常会根据经验和一些基本原则来做判断。

对于数值型数据，最常见的填充方式是使用统计量：

• 均值（

  mean

  登录后复制
  ）填充：

  df['column'].fillna(df['column'].mean())

  登录后复制
  。这是最简单直接的方法，适用于数据分布近似正态，且缺失值是随机分布的情况。但它的缺点是容易受到异常值的影响，并且会降低数据的方差，可能导致模型低估变量的真实波动性。我一般在缺失值占比较小（比如低于5%）时会考虑，因为它引入的偏差相对可控。
• 中位数（

  median

  登录后复制
  ）填充：

  df['column'].fillna(df['column'].median())

  登录后复制
  。当数据分布偏斜（skewed）严重，或者存在较多异常值时，中位数是比均值更稳健的选择。它不会被极端值拉偏，更能代表数据的“中心趋势”。我个人更倾向于在有疑虑时使用中位数，因为它对数据分布的假设更少。
• 众数（

  mode

  登录后复制
  ）填充：

  df['column'].fillna(df['column'].mode()[0])

  登录后复制
  。虽然众数主要用于类别型数据，但对于数值型数据，如果存在明显的峰值（比如年龄数据中很多人都是某个特定年龄），也可以考虑。注意

  mode()

  登录后复制
  可能返回多个众数，所以通常需要取第一个

  [0]

  登录后复制
  。

对于时间序列或有序数据，前向填充（

ffill

bfill

• ffill

  登录后复制
  (forward fill)：

  df.fillna(method='ffill')

  登录后复制
  。用前一个有效值来填充。这在股票价格、传感器读数等场景下非常合理，因为当前时刻的值往往与前一时刻紧密相关。

• bfill

  登录后复制
  (backward fill)：

  df.fillna(method='bfill')

  登录后复制
  。用后一个有效值来填充。与

  ffill

  登录后复制
  类似，但在某些情况下（比如预测未来事件，但当前数据缺失时，用未来的信息来补可能更合理，虽然这在严格的时间序列预测中要小心使用）。 我经常会先尝试

  ffill

  登录后复制
  ，因为这更符合“历史决定现在”的直觉。

除了这些，还有：

• 常数填充：

  df['column'].fillna(0)

  登录后复制
  或

  df['column'].fillna('未知')

  登录后复制
  。当缺失值本身就代表着某种特定含义时（比如0表示“无此项”，'未知'表示“信息缺失”），这种方法很直接。
• 插值（

  interpolate

  登录后复制
  ）：

  df['column'].interpolate()

  登录后复制
  。这是一种更复杂的填充方法，它会根据缺失值前后的数据点，通过线性、多项式、样条等算法来估算缺失值。这在时间序列数据中尤其强大，能够生成更平滑、更合理的填充值。我会在对数据变化趋势比较敏感的场景下使用，比如需要保持数据的连续性。

在实践中，我很少只用一种方法。通常我会对不同的列采用不同的策略，甚至会结合多种方法。比如，日期时间列用

ffill

median

mode

删除还是填充：Pandas处理NaN时的数据完整性考量

当面对

NaN

何时考虑删除（

dropna

• 缺失值占比极小：如果某个列或某几行的缺失值只占总数据的非常小的比例（比如1%或2%），那么直接删除这些行或列，对整体数据量的影响微乎其微，同时也能避免填充可能引入的偏差。这是最省心且通常安全的做法。
• 关键信息缺失：如果缺失值出现在对你的分析或模型至关重要的核心变量上，且无法合理推断或填充，那么保留这些缺失数据可能会导致错误的结论。比如，预测用户购买行为，如果核心的“购买金额”字段缺失，填充可能比删除更具误导性。
• 数据量足够大：当你的数据集本身就非常庞大时，即使删除一部分含有缺失值的行，剩下的数据量也足以支撑后续的分析和建模，那么删除的风险就相对较低。
• 缺失值无规律且数量不多：如果缺失值是完全随机的，且数量不多，删除可以避免对数据分布造成人为的改变。

df.dropna(axis=0, how='any')

df.dropna(axis=1, how='any')

how='all'

thresh

df.dropna(thresh=3)

how='any'

何时倾向于填充（

fillna

• 缺失值占比较大：如果直接删除会导致大量数据丢失，从而影响分析的代表性或模型的泛化能力，那么填充是更好的选择。
• **缺失

以上就是Python怎么处理pandas中的缺失值（NaN）_pandas缺失值NaN的处理策略的详细内容，更多请关注php中文网其它相关文章！