Pandas DataFrame日期列清洗与格式化：高效提取标准日期

在数据分析和处理中，我们经常会遇到dataframe的日期列中包含格式不统一、带有特殊字符或额外信息的字符串。例如，一个日期列可能包含时间戳、冒号、空格甚至随机数字，这给后续的日期计算和分析带来了挑战。本教程将展示如何利用pandas的强大功能，有效地清理这些复杂的日期字符串，提取出标准化的日期信息。

示例数据

首先，我们创建一个包含混合日期格式的DataFrame作为演示数据：

import pandas as pd

data = {
    'id': [1, 2, 3, 4, 5, 6, 7],
    'date': [
        "'  : 07/01/2020 23:25'",
        "': 07/02/2020'",
        "' 07/03/2020 23:25 1'",
        "'07/04/2020'",
        "'23:50 07/05/2020'",
        "'07 06 2023'",
        "'00:00 07 07 2023'"
    ]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

原始DataFrame的date列包含了多种非标准格式，我们的目标是从中提取出DD/MM/YYYY格式的日期。

方法一：直接转换为日期时间对象（pd.to_datetime）

如果最终目标是将日期字符串转换为Pandas的datetime对象，并且字符串中包含的日期部分是可解析的，那么pd.to_datetime函数是一个非常强大的工具。通过设置exact=False参数，即使字符串中包含额外的非日期信息，Pandas也会尝试从中识别并提取日期部分进行转换。

# 导入必要的库
import pandas as pd

# 示例DataFrame (同上)
data = {
    'id': [1, 2, 3, 4, 5, 6, 7],
    'date': [
        "'  : 07/01/2020 23:25'",
        "': 07/02/2020'",
        "' 07/03/2020 23:25 1'",
        "'07/04/2020'",
        "'23:50 07/05/2020'",
        "'07 06 2023'",
        "'00:00 07 07 2023'"
    ]
}
df = pd.DataFrame(data)

# 使用pd.to_datetime进行转换
# format参数指定了期望的日期格式，exact=False允许非严格匹配
df['datetime_obj'] = pd.to_datetime(df['date'], format='%d/%m/%Y', errors='coerce', exact=False)

print("\n使用pd.to_datetime转换后的DataFrame:")
print(df)

说明：

• format='%d/%m/%Y'：告知Pandas期望的日期模式是日/月/年。
• exact=False：这是关键，它允许to_datetime在字符串中寻找匹配format模式的日期，即使字符串包含其他字符。
• errors='coerce'：如果遇到无法解析的日期，将其转换为NaT（Not a Time）。 这种方法非常适合需要将日期直接转换为datetime类型进行后续计算的场景。然而，它会将所有可解析的日期转换为datetime对象，并且可能会忽略一些不符合format参数但依然是日期的字符串（例如，07 06 2023虽然可以被识别，但如果format严格，可能需要更灵活的format列表或不指定format让Pandas自动推断）。

方法二：使用正则表达式提取标准日期字符串（str.extract）

如果我们的目标是精确地从字符串中提取特定格式的日期字符串，而不是直接转换为datetime对象，那么结合正则表达式和str.extract方法是更灵活和强大的选择。这种方法允许我们精确控制提取的模式，并能处理更复杂的字符串结构。

2.1 提取固定斜杠格式的日期

首先，我们针对DD/MM/YYYY这种带有斜杠分隔符的日期格式进行提取。

# 导入必要的库
import pandas as pd

# 示例DataFrame (同上)
data = {
    'id': [1, 2, 3, 4, 5, 6, 7],
    'date': [
        "'  : 07/01/2020 23:25'",
        "': 07/02/2020'",
        "' 07/03/2020 23:25 1'",
        "'07/04/2020'",
        "'23:50 07/05/2020'",
        "'07 06 2023'",
        "'00:00 07 07 2023'"
    ]
}
df = pd.DataFrame(data)

# 使用正则表达式提取DD/MM/YYYY格式的日期
# r'(\d{2}\/\d{2}\/\d{4})' 匹配两个数字、斜杠、两个数字、斜杠、四个数字的模式
df['clean_slash_date'] = df['date'].str.extract(r'(\d{2}\/\d{2}\/\d{4})', expand=False)

print("\n使用正则表达式提取固定斜杠格式日期后的DataFrame:")
print(df)

正则表达式 r'(\d{2}\/\d{2}\/\d{4})' 解释：

智标领航

专注招投标业务流程的AI助手，智能、高效、精准、易用！

117

查看详情

• ()：捕获组，表示我们想要提取括号内的内容。
• \d{2}：匹配任意两个数字（0-9）。
• \/：匹配斜杠字符（\是转义符，因为/在某些正则表达式引擎中可能有特殊含义）。
• \d{4}：匹配任意四个数字。

expand=False确保str.extract返回一个Series而不是一个单列DataFrame。

2.2 处理多种分隔符并标准化

在实际数据中，日期分隔符可能不总是斜杠，也可能是空格。为了更具鲁棒性，我们可以扩展正则表达式来同时匹配斜杠或空格作为分隔符，然后将它们标准化为统一的斜杠格式。

# 导入必要的库
import pandas as pd

# 示例DataFrame (同上)
data = {
    'id': [1, 2, 3, 4, 5, 6, 7],
    'date': [
        "'  : 07/01/2020 23:25'",
        "': 07/02/2020'",
        "' 07/03/2020 23:25 1'",
        "'07/04/2020'",
        "'23:50 07/05/2020'",
        "'07 06 2023'", # 注意这里是空格分隔
        "'00:00 07 07 2023'" # 注意这里是空格分隔
    ]
}
df = pd.DataFrame(data)

# 1. 使用正则表达式提取包含斜杠或空格分隔符的日期
# r'(\d{2}[ /]\d{2}[ /]\d{4})' 匹配两个数字、斜杠或空格、两个数字、斜杠或空格、四个数字的模式
extracted_dates = df['date'].str.extract(r'(\d{2}[ /]\d{2}[ /]\d{4})', expand=False)

# 2. 将提取出的日期中的空格替换为斜杠，实现标准化
df['standard_date'] = extracted_dates.str.replace(' ', '/')

print("\n使用正则表达式处理多种分隔符并标准化后的DataFrame:")
print(df)

正则表达式 r'(\d{2}[ /]\d{2}[ /]\d{4})' 解释：

• [ /]：字符集，表示匹配一个空格字符或一个斜杠字符。这使得正则表达式能够识别两种分隔符。

这个方法首先提取出所有符合DD+分隔符+MM+分隔符+YYYY模式的字符串，然后通过str.replace(' ', '/')将所有空格分隔符统一替换为斜杠，从而得到标准化的DD/MM/YYYY格式日期。

注意事项与最佳实践

1. 选择合适的方法：
   • 如果最终需要的是datetime对象进行日期时间计算，并且原始字符串中日期部分相对清晰，pd.to_datetime(..., exact=False)是首选。
   • 如果需要精确控制提取的字符串格式，或者原始字符串非常混乱，需要更精细的模式匹配，str.extract结合正则表达式是更优的选择。
2. 正则表达式的精确性： 编写正则表达式时，务必使其尽可能精确地匹配目标模式，避免意外匹配到非日期部分。例如，如果日期格式可能包含月份缩写或全称，则正则表达式需要相应调整。
3. 错误处理：
   • pd.to_datetime的errors='coerce'参数可以将无法解析的值转换为NaT，方便后续筛选或填充。
   • str.extract在没有找到匹配项时，会返回NaN，这同样便于识别和处理缺失值。
4. 性能考虑： 对于大型数据集，正则表达式操作可能会相对耗时。在处理海量数据时，可以考虑对正则表达式进行优化，或者在可能的情况下优先使用内置的Pandas函数。
5. 数据探索： 在进行任何清洗操作之前，务必对日期列进行充分的数据探索，了解其中存在的各种格式和异常情况，这将有助于编写出更健壮的清洗逻辑。

总结

清洗DataFrame中的日期列是数据预处理的常见任务。本文提供了两种核心策略：一种是利用pd.to_datetime的exact=False参数直接将含噪声的日期字符串转换为datetime对象，适用于日期部分相对明确的场景；另一种是结合正则表达式和str.extract方法，通过精确的模式匹配来提取和标准化日期字符串，尤其适用于日期格式多样或包含多种分隔符的复杂情况。理解并灵活运用这些技术，将大大提高数据清洗的效率和准确性。

以上就是Pandas DataFrame日期列清洗与格式化：高效提取标准日期的详细内容，更多请关注php中文网其它相关文章！