Pandas数据处理：高效解析混合文本与数字词的复杂列

本文介绍如何在Pandas DataFrame中处理包含混合数据类型（如数字词和数值字符串）及多种分隔符的复杂列。通过结合正则表达式、`word2number`库进行文本到数字的转换，并利用Pandas的字符串操作与数据类型转换功能，实现将原始列高效拆分为多个标准数值列，解决`ValueError: No valid number words found!`等常见问题，提升数据清洗效率。

在数据分析和预处理过程中，我们经常会遇到数据格式不规范的情况，尤其是在从非结构化或半结构化源导入数据时。一个常见的挑战是，单个DataFrame列中可能包含多种类型的信息，例如文本描述的数字（"three hundred"）、数值字符串（"203.0"），并且这些信息可能由不同的分隔符（如;、,、_）连接。本教程将详细讲解如何使用Pandas结合word2number库和正则表达式，高效地将这类复杂列拆分成多个结构化的数值列。

场景描述与问题分析

假设我们有一个DataFrame，其中包含 cement_water 和 coarse_fine_aggregate 等列。这些列的特点是：

• cement_water 列: 包含文本形式的数字（如 "three hundred and two"）和数值字符串（如 "203.0"），两者之间由 ;、_ 等分隔符连接。
• coarse_fine_aggregate 列: 包含两个数值字符串，由 ;、, 等分隔符连接。
• 目标: 将这些列拆分为 cement、water、coarse_aggregate、fine_aggregate 等独立的浮点数类型列。

一个常见的错误尝试是先将所有分隔符替换为空格，然后尝试用 word2number 转换所有部分，这可能导致 ValueError: No valid number words found!，因为 word2number 期望输入的是纯粹的数字词，而不是包含数字词和数值字符串的混合文本。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

原始数据示例:

cement_water                  coarse_fine_aggregate
three hundred and two;203.0     974.0,817.0
one hundred and fifty-one;184.4     992.0;815.9
three hundred and sixty-two_164.9   944.7;755.8

期望输出格式:

cement  water   coarse_aggregate    fine_aggregate
302.0   203.0     974.0                    817.0
151.0   184.4      992.0               815.9

以上就是Pandas数据处理：高效解析混合文本与数字词的复杂列的详细内容，更多请关注php中文网其它相关文章！