答案：数据清洗需去除噪声、处理缺失值、标准化格式并批量处理。首先用strip()、replace()和正则清理空白与特殊字符；接着检查空值与类型错误，过滤异常数据；再将时间、金额、分类字段统一格式；最后利用Pandas进行去重、去空和向量化转换，提升清洗效率。
爬取数据后，原始内容往往包含大量噪声，比如多余的空格、标签、特殊字符或结构混乱的信息。为了让数据可用，必须进行清洗和格式化。Python 提供了多种工具来高效处理这些任务。
1. 去除空白与特殊字符
网页中常见的文本前后常有换行符、制表符或连续空格，影响后续分析。
- 使用 strip() 去除首尾空白 - 用 replace() 替换不需要的字符，如 \n、\t - 利用正则表达式清理复杂模式，例如多个空格合并为一个示例：
import retext = " \n 商品价格： ￥299 \t " clean_text = re.sub(r'\s+', ' ', text.strip()) # 合并空白并去除首尾 print(clean_text) # 输出：商品价格： ￥299
2. 处理缺失与异常值
爬取过程中可能遇到字段为空、数据类型错误或明显偏离正常范围的值。
立即学习“Python免费学习笔记（深入）”；
- 检查字段是否为 None 或空字符串 - 对数值型字段尝试转换类型（int/float），捕获异常 - 设定合理阈值过滤异常数据，如价格为负数可视为无效建议在清洗阶段统一将空值设为 None 或 NaN，便于 Pandas 后续处理。
3. 结构化与格式标准化
非结构化文本需转为标准格式，方便存储与分析。
- 时间字段统一转为 ISO 格式（YYYY-MM-DD HH:MM:SS） - 金额去除符号并转为浮点数，如 "￥1,299.00" → 1299.0 - 分类字段做归一化，如“有货”、“In Stock”都映射为 1使用 datetime 和 locale 模块辅助格式转换，避免手动解析出错。
4. 使用 Pandas 批量清洗
当数据量较大时，推荐使用 Pandas 进行向量化操作，效率更高。
- 将爬取结果构造成 DataFrame - 调用 .dropna() 删除缺失严重的行 - 使用 .apply() 配合自定义函数处理特定列 - 利用 .duplicated() 去重示例：
import pandas as pddata = [{'name': ' iPhone\n', 'price': '￥9,999', 'stock': 'In Stock'}, {'name': '', 'price': '免费', 'stock': '缺货'}]
df = pd.DataFrame(data) df['name'] = df['name'].str.strip().replace('', None) df['price'] = df['price'].str.extract(r'(\d+,?\d.?\d)').replace('免费', '0') df['price'] = df['price'].str.replace(',', '').astype(float)
基本上就这些常见方法。关键是根据目标网站的数据特点制定清洗规则，保持灵活性和健壮性。
