
本文介绍使用 np.vectorize 配合自定义字符串处理函数,批量移除 numpy 字符串数组中所有元素的空格,并将西欧格式的千分位逗号(,)替换为小数点(.),适用于金融、财报等含数值字符串的清洗任务。
在处理来自波兰等欧洲市场的结构化文本数据(如股票代码、市值、市盈率等)时,常遇到字符串中混有空格(如 '88 860 000')和西欧小数分隔符(如 '0,891')。这类格式虽便于阅读,但不利于后续数值计算或 Pandas 转换。NumPy 原生不支持对字符串数组进行向量化正则替换,但可通过 np.vectorize 将纯 Python 字符串方法高效映射到整个数组。
核心思路是:定义一个轻量级清洗函数 → 使用 np.vectorize 包装 → 直接作用于整个二维字符串数组。无需循环、无需转换为列表,保持 NumPy 的向量化优势与内存连续性。
以下为完整实现:
import numpy as np
def process_text(text):
"""清理单个字符串:移除所有空格,将逗号替换为小数点"""
return text.replace(' ', '').replace(',', '.')
# 假设 data 已按示例定义为 dtype='✅ 关键说明:
- np.vectorize 并非真正底层向量化(不加速 C 层运算),但对字符串操作而言,它封装了 Python 循环,语法简洁、可读性强,且比手动嵌套 for 更安全可靠;
- replace() 链式调用顺序无关紧要(空格与逗号互不重叠),但语义清晰:先清空格,再转标点;
- 输出仍为 dtype='
⚠️ 注意事项:
- 若数组中存在非字符串类型(如 None、NaN 或数字),np.vectorize 会抛出 AttributeError。建议预先校验:assert data.dtype == np.dtype('
- 对于超大规模数组(千万级元素),可考虑 pandas.Series.str.replace + to_numpy() 组合以获得更好性能;
- 如需保留原始数值语义(如将 '88860000' 转为整数),应在清洗后按列选择性转换:
# 示例:将第2、3列转为整数,第4、5列转为浮点
numeric_cols = processed_data[:, [2, 3]].astype(int)
float_cols = processed_data[:, [4, 5]].astype(float)
该方法简洁、鲁棒、符合 NumPy 编程范式,是处理多列混合格式字符串清洗任务的标准实践。










