Pandas数据清洗教程：高效处理混合类型、多分隔符列并转换英文数字词

import pandas as pd
from word2number import w2n

# 示例数据
data = {
    'cement_water': [
        'three hundred and two;203.0',
        'one hundred and fifty-one;184.4',
        'three hundred and sixty-two_164.9',
        'two hundred and fifty,159.2' # 增加一个使用逗号分隔的例子
    ],
    'coarse_fine_aggregate': [
        '974.0,817.0',
        '992.0;815.9',
        '944.7;755.8',
        '1043.6_771.9' # 增加一个使用下划线分隔的例子
    ]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)

# 使用正则表达式提取 cement 和 water 部分
# water 部分固定为数字，cement 部分可能是英文数字词
tmp = df['cement_water'].str.extract(r'(?P<cement>.*)[;,_](?P<water>\d+.?\d*)$')
print("初步提取的 cement 和 water:")
print(tmp)
print("-" * 30)

# 尝试将 cement 列转换为数字，无法转换的会变成 NaN
s = pd.to_numeric(tmp['cement'], errors='coerce')

# 找出那些是 NaN 的行（即原始 cement 部分是英文数字词的行）
m = s.isna()

# 仅对是英文数字词的行应用 w2n.word_to_num
# 注意：这里我们只对 tmp 中那些原始 cement_water 列不为空的行进行处理
# 确保不会因为 NaN 值导致 word_to_num 报错
tmp.loc[m, 'cement'] = df.loc[m, 'cement_water'].apply(lambda x: w2n.word_to_num(x.split([',', ';', '_'])[0].strip()))
# 修正：上述 lambda 表达式可能会有问题，因为 extract 已经将 cement 部分提取出来了。
# 应该直接对 tmp.loc[m, 'cement'] 中的英文数字词进行转换。
# 重新处理，确保只对已提取的英文数字词部分进行转换
tmp.loc[m, 'cement'] = tmp.loc[m, 'cement'].map(w2n.word_to_num)

print("转换英文数字词后的 cement 列:")
print(tmp)
print("-" * 30)

# 使用正则表达式字符类来分割 coarse_fine_aggregate 列
coarse_fine_agg_split = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True)

# 重命名列
coarse_fine_agg_split = coarse_fine_agg_split.rename(
    columns={0: 'coarse_aggregate', 1: 'fine_aggregate'}
)
print("拆分后的 coarse_aggregate 和 fine_aggregate:")
print(coarse_fine_agg_split)
print("-" * 30)

# 合并所有处理后的列
out = pd.concat([tmp, coarse_fine_agg_split], axis=1)

# 将所有列转换为浮点数类型
out = out.astype(float)

print("最终处理结果DataFrame:")
print(out)

import pandas as pd
from word2number import w2n

# 示例数据
data = {
    'cement_water': [
        'three hundred and two;203.0',
        'one hundred and fifty-one;184.4',
        'three hundred and sixty-two_164.9',
        'two hundred and fifty,159.2'
    ],
    'coarse_fine_aggregate': [
        '974.0,817.0',
        '992.0;815.9',
        '944.7;755.8',
        '1043.6_771.9'
    ]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("\n" + "=" * 50 + "\n")

# --- 核心处理逻辑 ---

# 1. 处理 'cement_water' 列
# 使用正则表达式提取 cement 和 water 部分
# water 部分固定为数字，cement 部分可能是英文数字词
tmp = df['cement_water'].str.extract(r'(?P<cement>.*)[;,_](?P<water>\d+.?\d*)$')

# 尝试将 cement 列转换为数字，无法转换的会变成 NaN
s = pd.to_numeric(tmp['cement'], errors='coerce')

# 找出那些是 NaN 的行（即原始 cement 部分是英文数字词的行）
m = s.isna()

# 仅对是英文数字词的行应用 w2n.word_to_num
tmp.loc[m, 'cement'] = tmp.loc[m, 'cement'].map(w2n.word_to_num)

# 2. 处理 'coarse_fine_aggregate' 列
# 使用正则表达式字符类来分割列并重命名
coarse_fine_agg_split = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True)
coarse_fine_agg_split = coarse_fine_agg_split.rename(
    columns={0: 'coarse_aggregate', 1: 'fine_aggregate'}
)

# 3. 合并所有处理后的列并统一数据类型
out = pd.concat([tmp, coarse_fine_agg_split], axis=1)
out = out.astype(float)

print("最终处理结果DataFrame:")
print(out)
print("\n" + "=" * 50 + "\n")

# 验证数据类型
print("最终DataFrame数据类型:")
print(out.dtypes)

原始DataFrame:
                      cement_water coarse_fine_aggregate
0      three hundred and two;203.0           974.0,817.0
1  one hundred and fifty-one;184.4           992.0;815.9
2  three hundred and sixty-two_164.9           944.7;755.8
3        two hundred and fifty,159.2          1043.6_771.9

==================================================

最终处理结果DataFrame:
   cement  water  coarse_aggregate  fine_aggregate
0   302.0  203.0             974.0           817.0
1   151.0  184.4             992.0           815.9
2   362.0  164.9             944.7           755.8
3   250.0  159.2            1043.6           771.9

==================================================

最终DataFrame数据类型:
cement              float64
water               float64
coarse_aggregate    float64
fine_aggregate      float64
dtype: object