Pandas中日期时间字符串转换为Datetime对象的实用指南

本文详细介绍了在pandas dataframe中将日期时间字符串转换为标准datetime对象的有效方法。重点讲解了`pd.to_datetime()`函数的使用，包括正确的格式字符串（特别是毫秒部分`:%f`）以及如何利用`.dt.normalize()`获取纯日期部分，旨在帮助用户避免常见的格式解析错误，并优化数据处理流程。

在数据分析和处理中，我们经常需要从CSV或其他数据源导入包含日期和时间信息的字符串。然而，这些字符串通常需要转换为Python或Pandas中标准的日期时间（Datetime）对象，以便进行后续的计算、排序和分析。直接使用Python内置的datetime.datetime模块处理DataFrame中的整列数据效率较低，且容易因格式不匹配导致错误。

理解常见的日期时间转换挑战

当从CSV文件读取数据时，日期时间字段可能以多种字符串格式存在，例如YY:MM:DD HH:MM:SS:MS。尝试使用datetime.datetime并指定格式字符串（如"%y:%m:%d %H:%M:%S"）进行转换时，如果原始字符串包含毫秒（MS）而格式字符串中没有对应的:%f，或者格式字符串与实际数据不完全匹配，就可能导致解析错误。常见的错误提示如'str' object cannot be interpreted as an integer，这通常意味着解析器在期望一个数字部分（如日期或月份）时，却遇到了不符合预期的字符串。

使用 pandas.to_datetime() 进行高效转换

Pandas库为处理DataFrame中的日期时间数据提供了强大而灵活的pd.to_datetime()函数。它是处理Series或DataFrame列中日期时间字符串的首选工具，相比于逐行使用Python内置的datetime模块，它具有显著的性能优势和更简洁的语法。

核心用法与参数

pd.to_datetime()函数的基本语法如下：

pandas.to_datetime(arg, errors='raise', dayfirst=False, yearfirst=False, utc=None, format=None, unit=None, infer_datetime_format=False, origin='unix', exact=True)

其中，最关键的参数是format。它允许我们精确指定输入日期时间字符串的格式，从而确保正确的解析。

解决格式匹配问题

考虑一个典型的场景：从DataFrame中提取的日期时间字符串格式为YY:MM:DD HH:MM:SS:MS，例如23:09:28 16:03:40:7。这里7代表毫秒。如果我们的格式字符串缺失了毫秒部分，就会出现解析错误。

ViiTor实时翻译

AI实时多语言翻译专家！强大的语音识别、AR翻译功能。

116

查看详情

正确的格式字符串应该包含:%f来匹配毫秒部分。

• %y: 两位数的年份（例如，23表示2023年）
• %m: 两位数的月份（01-12）
• %d: 两位数的日期（01-31）
• %H: 24小时制的小时（00-23）
• %M: 分钟（00-59）
• %S: 秒（00-59）
• %f: 微秒（000000-999999），对于毫秒，它会正确解析。

因此，对于23:09:28 16:03:40:7这样的字符串，正确的format字符串应为"%y:%m:%d %H:%M:%S:%f"。

示例代码

假设我们有一个DataFrame df，其中包含一个名为RunStartTime的列，存储了上述格式的日期时间字符串。

import pandas as pd

# 模拟一个包含日期时间字符串的DataFrame
data = {'RunStartTime': ['23:09:28 16:03:40:7', '23:10:01 09:15:22:123', '24:01:15 20:00:00:0']}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("\n原始RunStartTime列数据类型:", df['RunStartTime'].dtype)

# 使用pd.to_datetime进行转换
# 注意：这里假设年份是23表示2023年，24表示2024年等
df['date_time_obj'] = pd.to_datetime(df['RunStartTime'], format="%y:%m:%d %H:%M:%S:%f")

print("\n转换后的DataFrame (包含完整的日期时间对象):")
print(df)
print("\n转换后的date_time_obj列数据类型:", df['date_time_obj'].dtype)

# 如果只需要日期部分（不含时间），可以使用.dt.normalize()
df['date_only'] = df['date_time_obj'].dt.normalize()

print("\n仅包含日期部分的DataFrame:")
print(df)
print("\n仅包含日期部分的date_only列数据类型:", df['date_only'].dtype)

代码解释：

1. pd.to_datetime(df['RunStartTime'], format="%y:%m:%d %H:%M:%S:%f"): 这行代码将RunStartTime列中的所有字符串按照指定的格式转换为Pandas的Datetime对象。:%f确保了毫秒部分被正确解析。
2. .dt.normalize(): 这是一个非常有用的方法，它将Datetime对象的时间部分设置为午夜（00:00:00），从而有效地提取出纯日期部分。

注意事项与最佳实践

• 精确的格式字符串：始终尝试提供最精确的format字符串。如果省略，Pandas会尝试推断格式，这在数据格式不一致时可能导致性能下降或解析错误。
• 错误处理：pd.to_datetime()的errors参数非常有用：
  • errors='raise' (默认): 如果无法解析，则抛出错误。
  • errors='coerce': 如果无法解析，则将该值设置为NaT (Not a Time)。这对于处理含有少量无效日期时间字符串的数据集非常有用。
  • errors='ignore': 如果无法解析，则返回原始输入。
• 性能优化：对于大型数据集，显式指定format参数可以显著提高转换速度，因为它避免了Pandas进行格式推断的开销。
• 时区处理：如果日期时间数据包含时区信息或需要转换为特定时区，可以使用tz_localize()和tz_convert()方法。
• 不同年份表示：在示例中，%y匹配两位数年份。如果年份是四位数（如2023），应使用%Y。

总结

在Pandas中处理日期时间字符串时，pd.to_datetime()函数是首选工具。通过正确使用format参数，特别是要确保包含所有时间组件（包括毫秒:%f），可以有效地避免解析错误。结合.dt.normalize()，可以轻松地从完整的日期时间对象中提取纯日期信息。掌握这些技巧将极大地提升您在数据预处理阶段的效率和准确性。

以上就是Pandas中日期时间字符串转换为Datetime对象的实用指南的详细内容，更多请关注php中文网其它相关文章！