Pandas read_csv 日期时间解析深度指南：解决常见问题与优化实践

Pandas read_csv 日期时间解析挑战

在使用pandas的 read_csv 函数导入数据时，日期和时间列经常会被错误地识别为字符串（object类型），而非标准的 datetime64[ns] 类型。这会阻碍后续的日期时间计算和分析。read_csv 提供了一个强大的 parse_dates 参数来解决这个问题，但其用法需要精确理解。

假设我们有一个CSV文件 SM_AI_Data.csv，内容如下：

Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00

我们的目标是将 Arrival_Date/Time 列以及 Arrival_Date 和 Arrival_Time 列正确解析为日期时间类型。

解析单个日期时间列

parse_dates 参数可以接受一个列名列表或列索引列表，用于指定需要解析为日期时间对象的列。

例如，如果我们想解析 CG_Arrival_Date/Time 和 Arrival_Date 这两列，可以使用它们的索引（CG_Arrival_Date/Time 是第1列，Arrival_Date 是第2列，索引从0开始）。

import pandas as pd
from io import StringIO

csv_text="""
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""

# 使用StringIO模拟文件读取
df = pd.read_csv(StringIO(csv_text), index_col=['Study ID'], parse_dates=[1, 2])
print("数据类型：")
print(df.dtypes)
print("\nDataFrame头部：")
print(df.head())

输出示例：

数据类型：
CG_Arrival_Date/Time    datetime64[ns]
Arrival_Date            datetime64[ns]
Arrival_Time                    object
dtype: object

DataFrame头部：
                    CG_Arrival_Date/Time Arrival_Date Arrival_Time
Study ID                                                        
2            2011-01-01 00:03:00   2011-01-01    0:03:00
3            2011-01-01 00:53:00   2011-01-01    0:53:00

从输出可以看出，CG_Arrival_Date/Time 和 Arrival_Date 两列已被成功解析为 datetime64[ns] 类型。Arrival_Time 列由于没有被指定解析，仍保持为 object 类型。

合并多列为单一日期时间对象

在某些情况下，日期和时间信息可能分散在两个独立的列中，例如 Arrival_Date 和 Arrival_Time。parse_dates 参数允许我们将这些列合并成一个新的单一日期时间列。这通过向 parse_dates 传递一个包含列名列表或列索引列表的列表来实现。

例如，我们可以将 Arrival_Date (索引2) 和 Arrival_Time (索引3) 合并成一个新的日期时间列，同时解析 CG_Arrival_Date/Time (索引1)。

百度虚拟主播

百度智能云平台的一站式、灵活化的虚拟主播直播解决方案

36

查看详情

import pandas as pd
from io import StringIO

csv_text="""
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""

df = pd.read_csv(StringIO(csv_text), index_col=['Study ID'], parse_dates=[[2, 3], 1])
print("数据类型：")
print(df.dtypes)
print("\nDataFrame头部：")
print(df.head())

输出示例：

数据类型：
Arrival_Date_Arrival_Time    datetime64[ns]
CG_Arrival_Date/Time         datetime64[ns]
dtype: object

DataFrame头部：
                  Arrival_Date_Arrival_Time CG_Arrival_Date/Time
Study ID                                                        
2               2011-01-01 00:03:00          2011-01-01 00:03:00
3               2011-01-01 00:53:00          2011-01-01 00:53:00

在这个例子中，Arrival_Date 和 Arrival_Time 被成功合并并解析为 Arrival_Date_Arrival_Time 这个新的 datetime64[ns] 列。原有的 Arrival_Date 和 Arrival_Time 列在合并后默认会被删除，除非在 read_csv 中明确指定 keep_date_cols=True。

处理日期格式歧义：dayfirst 参数

日期格式在不同地区可能存在歧义，例如 "1/1/2011" 可能是 "月/日/年" (MM/DD/YYYY) 或 "日/月/年" (DD/MM/YYYY)。如果 Pandas 无法自动推断出正确的日期格式，或者推断错误，解析结果就会不正确。

read_csv 的 dayfirst 参数可以帮助解决这个问题：

• dayfirst=True：指示 Pandas 优先将日期字符串解析为 "日/月/年" 格式。
• dayfirst=False (默认值)：指示 Pandas 优先将日期字符串解析为 "月/日/年" 格式。

例如，如果确定日期是 "日/月/年" 格式，可以这样使用：

# 假设日期是 1日/1月/2011年
df = pd.read_csv(StringIO(csv_text), index_col=['Study ID'], parse_dates=[1, 2], dayfirst=True)
print(df.head())

根据数据的实际格式调整 dayfirst 参数，可以确保日期被正确解析。

注意事项与最佳实践

1. 验证数据类型： 在使用 read_csv 并指定 parse_dates 后，务必通过 df.dtypes 检查相关列是否已成功转换为 datetime64[ns] 类型。
2. 准确指定列： parse_dates 参数可以接受列名列表或列索引列表。使用列名通常更具可读性，但如果列名包含特殊字符或重复，使用索引可能更稳健。
3. 合并列的命名： 当合并多个列时，新生成的日期时间列的名称将是原始列名以下划线连接的形式（例如 Arrival_Date_Arrival_Time）。如果需要自定义名称，可以在加载数据后再进行重命名。
4. 处理非标准格式： 对于非常规的日期时间字符串格式，read_csv 还提供了 date_parser 和 date_format 参数。date_parser 允许传入一个自定义的解析函数，而 date_format 则允许指定一个明确的格式字符串（例如 format='%Y-%m-%d %H:%M:%S'），这在处理大型数据集时可以显著提高解析速度和准确性。
5. 错误处理： 如果日期时间列中存在无法解析的值，read_csv 默认会将其转换为 NaT (Not a Time)。可以通过 errors='coerce' 参数控制此行为。

总结

Pandas read_csv 在处理日期时间数据时提供了强大的灵活性。通过正确利用 parse_dates 参数，无论是解析单个日期时间列，还是将多个列合并为单一日期时间对象，都能高效完成。同时，结合 dayfirst 参数来解决日期格式歧义，能够确保数据被准确无误地导入和识别为正确的 datetime64[ns] 类型，为后续的数据分析奠定坚实基础。始终记住在数据加载后检查数据类型，以验证解析结果。

以上就是Pandas read_csv 日期时间解析深度指南：解决常见问题与优化实践的详细内容，更多请关注php中文网其它相关文章！