Python代码怎样进行数据清洗 Python代码处理缺失值的实用技巧-Python教程-PHP中文网

Python代码怎样进行数据清洗 Python代码处理缺失值的实用技巧

看不見的法師

发布： 2025-11-04 13:36:02

原创

428人浏览过

答案：数据清洗需用Pandas、NumPy等库处理缺失值与异常值。先用isnull().sum()统计缺失值，再按需填充均值、中位数或插值，也可删除缺失行/列；结合业务判断异常值处理方式，可用SimpleImputer等工具辅助清洗。

python代码怎样进行数据清洗 python代码处理缺失值的实用技巧

Python代码清洗数据，核心在于利用各种库（如Pandas、NumPy）来处理数据中的脏数据、缺失值、异常值等，让数据更干净、更规范，从而提升后续分析的准确性。处理缺失值是数据清洗的重要一环，常见的技巧包括删除、填充（均值、中位数、众数、特定值）、插值等。

解决方案

数据清洗是一个迭代的过程，没有一蹴而就的方法。你需要先理解数据的含义，然后根据具体情况选择合适的清洗策略。以下是一些常用的Python数据清洗技巧，重点关注缺失值处理。

如何快速定位并统计Python DataFrame中的缺失值？

使用Pandas DataFrame时，快速定位和统计缺失值是数据清洗的第一步。isnull()和isna()函数可以用来检测缺失值，sum()函数则可以统计每列的缺失值数量。

import pandas as pd
import numpy as np

# 创建一个包含缺失值的DataFrame
data = {'col1': [1, 2, np.nan, 4],
        'col2': [5, np.nan, 7, 8],
        'col3': [9, 10, 11, np.nan]}
df = pd.DataFrame(data)

# 检测缺失值并统计
missing_values = df.isnull().sum()
print("每列缺失值数量：\n", missing_values)

# 或者使用 isna()
missing_values_isna = df.isna().sum()
print("\n每列缺失值数量 (使用 isna()):\n", missing_values_isna)

登录后复制

这段代码首先创建了一个包含缺失值的DataFrame。然后，使用isnull().sum()和isna().sum()来统计每列的缺失值数量。这两个函数的效果是相同的。输出结果会告诉你每列有多少个缺失值，方便你决定下一步的处理策略。如果想查看具体哪些行包含缺失值，可以用df[df.isnull().any(axis=1)]。

立即学习“Python免费学习笔记（深入）”；

Python中填充缺失值有哪些常用的方法？

填充缺失值是数据清洗中常见的操作。Pandas提供了多种填充方法，包括使用常数、均值、中位数、众数，以及使用插值法。

使用常数填充：

df_filled_constant = df.fillna(0) # 将所有缺失值填充为0
print("\n使用常数填充后的DataFrame：\n", df_filled_constant)

登录后复制

使用均值、中位数、众数填充：

df_filled_mean = df.fillna(df.mean()) # 使用均值填充
print("\n使用均值填充后的DataFrame：\n", df_filled_mean)

df_filled_median = df.fillna(df.median()) # 使用中位数填充
print("\n使用中位数填充后的DataFrame：\n", df_filled_median)

df_filled_mode = df.fillna(df.mode().iloc[0]) # 使用众数填充
print("\n使用众数填充后的DataFrame：\n", df_filled_mode)

登录后复制

使用插值法填充：

df_interpolated = df.interpolate() # 使用线性插值填充
print("\n使用插值法填充后的DataFrame：\n", df_interpolated)

登录后复制

选择哪种填充方法取决于数据的性质和业务需求。例如，对于数值型数据，可以使用均值或中位数填充；对于时间序列数据，可以使用插值法。

如何删除包含缺失值的行或列，并评估其影响？

删除包含缺失值的行或列是一种简单粗暴的方法，但需要谨慎使用，因为它可能导致数据丢失。在删除之前，应该评估缺失值的比例以及删除操作对数据分析结果的影响。

# 删除包含缺失值的行
df_dropna_rows = df.dropna()
print("\n删除包含缺失值的行后的DataFrame：\n", df_dropna_rows)

# 删除包含缺失值的列 (不推荐，除非该列缺失值过多)
df_dropna_cols = df.dropna(axis=1)
print("\n删除包含缺失值的列后的DataFrame：\n", df_dropna_cols)

登录后复制

在删除行或列之前，最好先计算缺失值的比例，如果缺失值比例过高，删除可能会导致数据量大幅减少，影响分析结果。可以使用以下代码计算每列的缺失值比例：

代码小浣熊

代码小浣熊是基于商汤大语言模型的软件智能研发助手，覆盖软件需求分析、架构设计、代码编写、软件测试等环节

查看详情

missing_percentage = df.isnull().sum() / len(df)
print("\n每列缺失值比例：\n", missing_percentage)

登录后复制

根据缺失值比例和业务需求，综合考虑是否删除行或列。

除了Pandas，还有哪些Python库可以用于数据清洗？

除了Pandas，还有一些其他的Python库可以用于数据清洗，例如NumPy、Scikit-learn等。

NumPy： NumPy主要用于数值计算，可以用来处理数值型数据的缺失值和异常值。

import numpy as np

# 使用NumPy处理缺失值
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])
# 创建一个包含缺失值的NumPy数组

# 使用NumPy填充缺失值 (例如，使用均值)
mean = np.nanmean(data) # 计算忽略缺失值的均值
data_filled = np.nan_to_num(data, nan=mean) # 将缺失值替换为均值
print("\n使用NumPy填充后的数组：\n", data_filled)

登录后复制

Scikit-learn： Scikit-learn提供了一些用于数据预处理的工具，例如SimpleImputer，可以用来填充缺失值。

from sklearn.impute import SimpleImputer
import numpy as np

# 创建一个包含缺失值的NumPy数组
data = np.array([[1, 2, np.nan], [4, np.nan, 6]])

# 使用SimpleImputer填充缺失值
imputer = SimpleImputer(strategy='mean') # 使用均值填充
data_filled = imputer.fit_transform(data)
print("\n使用Scikit-learn填充后的数组：\n", data_filled)

登录后复制

选择哪个库取决于你的具体需求和数据类型。Pandas更适合处理结构化数据，NumPy更适合处理数值型数据，Scikit-learn提供了一些更高级的预处理工具。

如何处理Python数据清洗中常见的异常值？

异常值是指明显偏离正常范围的数据点。处理异常值的方法包括删除、替换、缩尾等。

删除异常值：

可以使用条件筛选来删除异常值。例如，删除大于3倍标准差的数据点：

# 删除大于3倍标准差的异常值
std = df['col1'].std()
mean = df['col1'].mean()
df_filtered = df[(df['col1'] >= mean - 3 * std) & (df['col1'] <= mean + 3 * std)]
print("\n删除异常值后的DataFrame：\n", df_filtered)

登录后复制

替换异常值：

可以将异常值替换为特定的值，例如均值、中位数，或者上下限值。

# 将大于3倍标准差的异常值替换为上限值
upper_limit = mean + 3 * std
df['col1'] = np.where(df['col1'] > upper_limit, upper_limit, df['col1'])
print("\n替换异常值后的DataFrame：\n", df)

登录后复制