
Pandas DataFrame.query() 方法提供了一种使用字符串表达式筛选DataFrame的强大且可读性高的方式。它允许用户以类似于SQL WHERE子句的语法来表达复杂的过滤条件,而无需编写冗长的布尔索引代码。这对于需要根据多个列的条件进行筛选的场景尤其方便。
例如,从一个包含船舶信息的DataFrame中筛选出当前活跃的舰船,其条件可能包括:
以下代码展示了如何成功使用query()方法和预定义的now变量进行此类筛选:
import datetime as dt
import pandas as pd
# 模拟数据加载
# 假设df已经从"Ships.xlsx"加载,并且'Commissioned'和'Decommissioned'列已正确转换为datetime类型
data = {
'BF': ['X', 'X', 'X', 'X', 'X'],
'Ship': ['Able', 'Abraham Lincoln', 'Acadia', 'Ajax', 'Alabama'],
'Type': ['Destroyer', 'Cruiser', 'Frigate', 'Cruiser', 'Battleship'],
'Commissioned': [pd.Timestamp('1992-07-22'), pd.Timestamp('1989-11-11'), pd.Timestamp('1981-06-06'), pd.Timestamp('1943-09-30'), pd.Timestamp('1985-05-25')],
'Decommissioned': [pd.Timestamp('2030-09-30'), pd.NaT, pd.Timestamp('1994-12-16'), pd.Timestamp('1986-12-31'), pd.Timestamp('2028-09-30')]
}
df = pd.DataFrame(data)
now = dt.date.today() # 获取当前日期
print(f"当前日期: {now}, 类型: {type(now)}")
print("\nDataFrame数据类型:\n", df.dtypes)
# 筛选当前活跃的战列舰
qrystr_bf = "BF == 'X' " \
"and (Commissioned != 'NaT' and Commissioned <= @now)" \
"and (Decommissioned >= @now or Decommissioned == 'NaT')"
df_battle_force = df.query(qrystr_bf)
print(f"\n当前战列舰数量: {len(df_battle_force)}")
# 筛选当前活跃的巡洋舰
qrystr_cruiser = "Type == 'Cruiser' " \
"and (Commissioned != 'NaT' and Commissioned <= @now)" \
"and (Decommissioned >= @now or Decommissioned == 'NaT')"
df_active_cruisers = df.query(qrystr_cruiser)
print("\n当前活跃的巡洋舰:\n", df_active_cruisers)注意: 在上述示例中,为了演示目的,@now已被提前使用。在原始问题描述中,now在第一个查询中被直接作为字符串 'now' 使用,但实际上Pandas query方法通常需要通过@来明确引用外部变量。如果now变量在全局作用域中,Pandas有时可能能够隐式识别,但在循环等场景下,显式使用@是更健壮的做法。
当尝试在循环中动态生成日期时间条件并将其嵌入到query()字符串中时,如果不正确地引用外部Python变量,就会出现问题。考虑以下场景:我们需要统计从1980年到1985年每年活跃的巡洋舰数量。我们可能会尝试构建一个包含循环变量stopDate的查询字符串:
# ... (接上面的代码)
lst_cruisers_by_year = []
year_start = 1980
year_stop = 1985
for yr in range(year_start, year_stop + 1):
stopDate = pd.Timestamp(yr, 12, 31).date()
print(f"\n当前年份截止日期: {stopDate}, 类型: {type(stopDate)}")
# 错误的查询字符串构造方式
# qrystr_fail = "Type == 'Cruiser' " \
# " and (Commissioned != 'NaT' and Commissioned <= 'stopDate')" \
# " and (Decommissioned >= 'stopDate' or Decommissioned == 'NaT') "
# df_cruisers_fail = df.query(qrystr_fail) # 这里会引发错误
# ... (省略错误处理后的代码)当执行包含 'stopDate' 字符串的query()时,Pandas会尝试将 'stopDate' 作为一个日期时间字符串进行解析。由于 'stopDate' 并非有效的日期时间格式,这将导致 dateutil.parser._parser.ParserError: Unknown string format: stopDate 错误,最终引发 ValueError: could not convert string to Timestamp。这是因为query()方法默认将引号内的内容视为字面量字符串,而不是Python变量。
为了在query()字符串中正确地引用外部Python变量(包括日期时间对象),我们需要在变量名前加上 @ 符号。这个符号告诉Pandas的查询引擎,@后面的名称是一个Python变量,应该从当前执行环境(局部或全局作用域)中获取其值,并将其注入到查询表达式中。
以下是修正后的代码示例,它将成功执行每年巡洋舰数量的统计:
# ... (接上面的代码)
lst_cruisers_by_year = []
year_start = 1980
year_stop = 1985
for yr in range(year_start, year_stop + 1):
stopDate = pd.Timestamp(yr, 12, 31).date() # 确保stopDate是datetime.date对象
print(f"\n当前年份截止日期: {stopDate}, 类型: {type(stopDate)}")
# 正确的查询字符串构造方式:使用 @ 引用 stopDate 变量
qrystr_corrected = "Type == 'Cruiser' " \
" and (Commissioned != 'NaT' and Commissioned <= @stopDate)" \
" and (Decommissioned >= @stopDate or Decommissioned == 'NaT') "
df_cruisers_year = df.query(qrystr_corrected)
nr_ships = len(df_cruisers_year)
lst_cruisers_by_year.append([yr, nr_ships])
print(f"年份 {yr} 活跃巡洋舰数量: {nr_ships}")
print("\n每年活跃巡洋舰统计结果:\n", lst_cruisers_by_year)通过在stopDate变量前添加@,Pandas的查询引擎会在执行查询前,将@stopDate替换为stopDate变量的实际值(一个datetime.date对象)。这样,查询字符串就能够正确地与DataFrame中的日期时间列进行比较。
Pandas的df.query()方法是一个强大的工具,用于高效且可读地筛选DataFrame。当需要在查询字符串中动态引入Python变量,特别是日期时间对象时,务必使用@符号前缀来正确地指示Pandas进行变量插值。掌握这一技巧可以有效避免常见的ValueError和ParserError,确保你的数据分析流程顺畅高效。
以上就是解决Pandas DataFrame query方法中日期时间变量引用失败的问题的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号