str.extract是pandas中用于从字符串中提取结构化信息的方法,它通过正则表达式定义的捕获组来匹配和提取数据,并返回dataframe;1. 使用str.extract可按正则表达式提取文本中的多个部分,如单词和数字;2. 若匹配失败,默认返回nan,可用fillna或dropna处理;3. 提取多个匹配项应使用str.extractall方法,其返回multiindex dataframe;4. 使用命名捕获组(如(?p

核心在于str.extract,它能帮你从文本中精准“抠”出你想要的信息,而且是以结构化的方式呈现。

解决方案
str.extract是Pandas库中Series对象的一个方法,专门用于提取字符串中的特定部分,这些特定部分由正则表达式定义。它返回一个DataFrame,每一列对应正则表达式中的一个捕获组。

基本用法如下:
立即学习“Python免费学习笔记(深入)”;
import pandas as pd
data = {'text': ['apple 123', 'banana 456', 'cherry 789']}
df = pd.DataFrame(data)
# 提取文本中的单词和数字
pattern = r'([a-z]+) (\d+)'
extracted_data = df['text'].str.extract(pattern)
print(extracted_data)在这个例子中,pattern定义了两个捕获组:一个是小写字母组成的单词,一个是数字。str.extract会找到所有匹配这个模式的文本,并将单词和数字分别放到DataFrame的两列中。

如果正则表达式没有匹配到任何内容,str.extract会返回NaN。
data = {'text': ['apple 123', 'banana', 'cherry 789']}
df = pd.DataFrame(data)
pattern = r'([a-z]+) (\d+)'
extracted_data = df['text'].str.extract(pattern)
print(extracted_data)如何处理提取失败的情况?
当正则表达式没有匹配到内容时,str.extract会默认返回NaN。这在数据清洗和分析中可能不太方便。我们可以通过fillna方法将NaN替换为其他值,或者使用dropna方法删除包含NaN的行。
import pandas as pd
data = {'text': ['apple 123', 'banana', 'cherry 789']}
df = pd.DataFrame(data)
pattern = r'([a-z]+) (\d+)'
extracted_data = df['text'].str.extract(pattern)
# 将NaN替换为'Unknown'和0
extracted_data = extracted_data.fillna({'0': 'Unknown', '1': 0})
print(extracted_data)
# 或者删除包含NaN的行
extracted_data = extracted_data.dropna()
print(extracted_data)如何提取多个匹配项?
如果你的文本中包含多个匹配项,str.extract只会返回第一个匹配项。如果你想提取所有匹配项,可以使用str.extractall方法。
import pandas as pd
data = {'text': ['apple 123 banana 456', 'cherry 789 date 012']}
df = pd.DataFrame(data)
pattern = r'([a-z]+) (\d+)'
extracted_data = df['text'].str.extractall(pattern)
print(extracted_data)str.extractall返回的是一个MultiIndex DataFrame,第一层索引是原始DataFrame的索引,第二层索引是匹配的顺序。
如何使用命名捕获组?
为了提高代码的可读性,可以使用命名捕获组。命名捕获组的语法是(?P,其中name是捕获组的名字。
import pandas as pd
data = {'text': ['apple 123', 'banana 456', 'cherry 789']}
df = pd.DataFrame(data)
pattern = r'(?P[a-z]+) (?P\d+)'
extracted_data = df['text'].str.extract(pattern)
print(extracted_data) 使用命名捕获组后,str.extract返回的DataFrame的列名就是捕获组的名字,而不是默认的数字。这样可以更清楚地知道每一列代表什么。
性能考量
对于大型数据集,正则表达式的性能可能会成为瓶颈。尽量编写高效的正则表达式,避免使用过于复杂的模式。如果可能,可以考虑使用编译后的正则表达式对象,这样可以提高匹配速度。
import pandas as pd
import re
data = {'text': ['apple 123', 'banana 456', 'cherry 789'] * 1000}
df = pd.DataFrame(data)
pattern = re.compile(r'(?P[a-z]+) (?P\d+)')
def extract_with_compile(series, compiled_pattern):
return series.str.extract(compiled_pattern)
extracted_data = extract_with_compile(df['text'], pattern)
print(extracted_data.head()) 预编译正则表达式可以避免每次调用str.extract时都重新编译正则表达式,从而提高性能。










