Python数据清洗需识别脏数据模式、选合适工具并避免重复劳动；pandas为主力，配合numpy、re、datetime等库；常见脏数据包括空值、重复行、格式混乱、异常值、编码错误；清洗前用df.info()、df.sample()、df.nunique()探查数据；缺失值按性质处理，文本用str+正则清理，时间字段标准化并衍生特征；清洗后保存中间结果便于回溯。
Python数据清洗与处理不是写几个函数就完事，关键在识别脏数据的模式、选择合适工具、避免重复劳动。pandas是主力，但配合numpy、re、datetime等库才能覆盖真实场景中的各种“意外”。
识别常见脏数据类型，对症下药
脏数据往往有固定表现形式：空值（None、NaN、空字符串、"NULL"）、重复行、格式混乱（日期写成"2023/01/01"和"2023-01-01"混用）、异常值（年龄999、价格-5）、编码错误（中文乱码、utf-8与gbk混用）。清洗前先用df.info()看整体结构，用df.sample(10)抽样观察原始形态，再用df.nunique()检查字段唯一性——比如“用户ID”若不唯一，大概率存在重复或录入错误。
高效处理缺失值的实用策略
别一上来就用dropna()删光。先区分缺失性质：是随机丢失（可均值/中位数填充），还是系统性缺失（如新上线功能导致某列全空，应保留并标记为“未启用”）。常用操作包括：
- df['age'].fillna(df['age'].median(), inplace=True) —— 数值型用中位数更抗异常值干扰
- df['category'].fillna('Unknown', inplace=True) —— 分类型补占位符，后续建模时可作为独立类别
- df['date'] = pd.to_datetime(df['date'], errors='coerce') —— 强制转日期，失败变NaT，再统一用fillna(pd.Timestamp('1970-01-01'))
用正则和str方法精准清理文本字段
地址、姓名、评论这类字段最易藏坑。pandas的str访问器配合正则能批量解决：
本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。 本书内容全面深入，适合各层次PHP和MySQL开发人员阅读，既是优秀的学习教程，也可用作参考手册。
立即学习“Python免费学习笔记（深入）”；
- df['phone'] = df['phone'].str.replace(r'\D', '', regex=True) —— 去掉所有非数字字符，统一为11位纯数字
- df['email'] = df['email'].str.lower().str.strip() —— 统一小写+去首尾空格，避免同一邮箱因大小写被当不同用户
- df['comment'] = df['comment'].str.replace(r'[^\w\s]', ' ', regex=True).str.replace(r'\s+', ' ', regex=True).str.strip() —— 清除标点、合并多余空格、去首尾空格
时间字段标准化与特征衍生
时间不是只为了排序。从原始时间戳可挖出业务信号：
- df['order_time'] = pd.to_datetime(df['order_time']) —— 确保是datetime64类型
- df['hour'] = df['order_time'].dt.hour —— 提取小时，分析下单高峰
- df['is_weekend'] = df['order_time'].dt.dayofweek >= 5 —— 判断是否周末，用于分组统计
- df['days_since_last'] = df.groupby('user_id')['order_time'].diff().dt.days.fillna(0) —— 计算用户两次下单间隔天数
清洗不是终点，而是让后续分析、建模、可视化真正可信的起点。每次清洗后建议保存中间结果（如df.to_parquet('cleaned_v1.parquet')），方便回溯和协作。不复杂但容易忽略。
