如何在Pandas中高效处理对象类型列并计算数值统计量

import pandas as pd
import numpy as np

# 假设您的数据文件名为 'data.xlsx' 或 'Dataset.xlsx'
try:
    df = pd.read_excel('data.xlsx')
except FileNotFoundError:
    df = pd.read_excel('Dataset.xlsx')

print("--- 原始数据信息 (df.info()) ---")
df.info()

print("\n--- 原始数据前5行 (df.head()) ---")
print(df.head())

print("\n--- 原始数据描述性统计 (df.describe(include='all')) ---")
print(df.describe(include='all'))

# 创建一个空的DataFrame，用于存储清洗和转换后的数据
df_new = pd.DataFrame(columns=df.columns)

# 遍历原始DataFrame的每一列
for col in df.columns:
    # 检查当前列的数据类型是否为 'object'
    if df[col].dtypes == "object":
        values = [] # 初始化一个空列表，用于存储当前列转换后的值

        # 遍历当前列中的每一个值
        for val in df[col].values:
            if pd.isna(val):
                # 如果值是NaN（缺失值），则直接添加NaN
                values.append(np.nan)
            elif isinstance(val, (int, float)):
                # 如果值已经是数值类型（可能在某些情况下混入），直接添加
                values.append(val)
            elif " " in str(val):
                # 如果字符串中包含空格，通常表示数值和单位混合
                val_splitted = str(val).split(" ") # 以空格分割字符串

                # 处理小数点分隔符：将逗号替换为点
                if "," in val_splitted[0]:
                    val_splitted[0] = val_splitted[0].replace(",", ".")

                # 如果分割后只有两部分（数值和单位）
                if len(val_splitted) == 2:
                    try:
                        # 尝试将第一部分转换为浮点数
                        numeric_val = float(val_splitted[0])

                        # 特殊处理 'SSD Capacity' 列的单位统一
                        if col == "SSD Capacity":
                            if val_splitted[1].lower() == "gb":
                                # 将GB转换为TB，方便后续统一计算
                                values.append(numeric_val / 1000)
                            elif val_splitted[1].lower() == "tb":
                                # TB单位直接使用
                                values.append(numeric_val)
                            else:
                                # 其他未知单位，保留原始字符串
                                values.append(val)
                        else:
                            # 其他列直接添加转换后的数值
                            values.append(numeric_val)
                    except ValueError:
                        # 如果无法转换为浮点数（例如，单位不是数字）
                        values.append(val) # 保留原始字符串
                else:
                    # 如果分割后不是两部分（例如“1920 x 1080”），保留原始字符串
                    values.append(val)
            else:
                # 如果字符串中没有空格，尝试直接转换为浮点数
                try:
                    # 处理小数点分隔符：将逗号替换为点
                    processed_val = str(val).replace(",", ".")
                    values.append(float(processed_val))
                except ValueError:
                    # 如果无法转换，保留原始字符串
                    values.append(val)

        # 将处理后的值列表赋值给df_new的对应列
        df_new[col] = values
    else:
        # 如果列不是 'object' 类型（例如 'int64'），直接复制到df_new
        df_new[col] = df[col]

print("\n--- 转换后数据信息 (df_new.info()) ---")
df_new.info()

print("\n--- 转换后数据描述性统计 (df_new.describe(include='all')) ---")
print(df_new.describe(include='all'))