
本教程详细讲解了在Pandas中处理包含数值信息的'object'类型数据以进行描述性统计分析的方法。针对数据集中常见的数值与单位混合、小数分隔符不一致等问题,文章提供了一套智能转换策略,通过逐列遍历和条件解析,将非标准数值字符串转换为可计算的浮点数,最终实现对这些复杂'object'列的平均值等统计量计算。
在数据分析过程中,我们经常会遇到Pandas DataFrame中某些列的数据类型被错误识别为object,但实际上这些列包含的是数值信息,例如"15.6 inches"、"2 - 4 kg"或"1 TB"。直接对这些object类型的列进行平均值、中位数等描述性统计计算会导致错误或无法进行。本教程旨在提供一套系统的方法,帮助用户识别、清理并智能转换这些看似复杂的数据,使其能够正确地进行数值分析。
首先,我们通过df.info()和df.head()来初步了解数据集的结构和数据类型。
import pandas as pd
import numpy as np
# 假设数据已从 'data.xlsx' 加载
df = pd.read_excel('data.xlsx')
print(df.info())从df.info()的输出中,我们可以看到许多列,如Memory Speed、Device Weight、Screen Size、GPU Memory Size、Max Processor Speed、RAM (System Memory)和SSD Capacity等,都被识别为object类型,但它们的名称明显暗示了数值含义。
df.head()的输出进一步证实了这一点,例如:
直接使用df.describe(include='all')可以对所有列进行描述性统计,但对于非数值的object列,它只能提供计数、唯一值、最常见值等信息,无法计算平均值、标准差等数值统计量。例如,Backlit Keyboard列在df.info()中显示为int64,因此可以直接计算其平均值,但其他object列则不行。
当Pandas将一列识别为object类型时,通常意味着该列包含了混合数据类型(如字符串和数字),或者其所有值都是字符串,但这些字符串需要进一步解析才能提取数值。常见的挑战包括:
为了对这些object类型的列进行数值分析,我们需要设计一个智能的转换流程。核心思想是遍历每个object类型的列,并对其中的每个值进行条件判断和解析。
以下是实现这一策略的Python代码示例:
import pandas as pd
import numpy as np
# 假设 df 已经加载
# df = pd.read_excel("Dataset.xlsx") # 使用你的实际文件名
# 创建一个空的DataFrame副本,用于存储转换后的数据
df_converted = pd.DataFrame(columns=df.columns)
for col in df.columns: # 遍历原始DataFrame的每一列
if df[col].dtype == "object": # 检查列的数据类型是否为 'object'
converted_values = [] # 初始化一个列表,用于存储当前列转换后的值
for val in df[col].values: # 遍历当前列的每一个值
if pd.isna(val): # 如果是缺失值 (NaN),则直接添加 NaN
converted_values.append(np.nan)
elif isinstance(val, (int, float)): # 如果值已经是数字类型,直接添加
converted_values.append(val)
elif isinstance(val, str): # 确保值是字符串类型,以便进行字符串操作
val_stripped = val.strip() # 去除首尾空格
# 处理小数分隔符,将逗号替换为点
if "," in val_stripped:
val_stripped = val_stripped.replace(",", ".")
# 尝试分割字符串以处理数值和单位
if " " in val_stripped:
val_splitted = val_stripped.split(" ")
if len(val_splitted) >= 2: # 如果分割后有多部分
try:
numeric_part = float(val_splitted[0])
unit_part = val_splitted[1].lower() # 获取单位并转为小写
if col == "SSD Capacity": # 特殊处理 SSD 容量列,进行单位统一
if unit_part == "gb":
converted_values.append(numeric_part / 1000) # GB 转换为 TB
elif unit_part == "tb":
converted_values.append(numeric_part)
else: # 未知单位,保留原始值
converted_values.append(val)
elif col == "Device Weight": # 处理 Device Weight 范围,取平均值
if "-" in val_splitted[0]: # "2-4" 这种形式
try:
lower, upper = map(float, val_splitted[0].split('-'))
converted_values.append以上就是掌握Pandas中‘object’类型数据的数值分析与智能转换:以计算平均值为例的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号