使用 Pandas 分割 DataFrame 中包含相同分隔符的多列-Python教程-PHP中文网

使用 Pandas 分割 DataFrame 中包含相同分隔符的多列

心靈之曲

发布： 2025-07-14 18:04:13

原创

264人浏览过

使用 pandas 分割 dataframe 中包含相同分隔符的多列

本文介绍如何使用 Pandas 处理 DataFrame 中多个列包含相同分隔符的情况，并根据分隔符将行进行拆分。重点在于避免拆分后引入不必要的 NaN 值，并确保其他未拆分列的数据得到正确填充。通过结合 groupby 和 ffill 方法，可以高效地实现这一目标，使得数据处理流程更加简洁和高效。

在数据处理过程中，经常会遇到需要根据特定分隔符拆分 DataFrame 行的情况，尤其是当多个列都包含该分隔符时。一种常见的错误做法是直接使用 str.split 和 stack 方法，这会导致未拆分的列出现 NaN 值。本文将介绍一种更有效的方法，使用 groupby 和 ffill 避免 NaN 值的产生，并保证数据的完整性。

问题描述

假设我们有一个 DataFrame，其中某些行的多个列包含相同数量的分隔符（例如 ;）。我们的目标是根据这些分隔符拆分行，同时保持其他列的数据不变。例如：

import pandas as pd

data = {'ID': [34, 35],
        'Name': ['Alt-Tempelhof Ecke Tempelhofer Damm', 'Alt-Wittenau'],
        'Type': ['bus', 'bus'],
        'Lines': ['A77,A68,A76', 'A62 ; A15,A21'],
        'Coordinates': ['52.465964306830664, 13.38558297633417', '52.58972877186178, 13.334169215342472 ; 52.59166508975595, 13.326326895395114'],
        'Extra': [None, 'Alt-Wittenau Ecke Oranienburger Straße ; Alt-Wittenau Ecke Eichborndamm']}

df = pd.DataFrame(data)

print(df)

登录后复制

输出：

   ID                                 Name  Type        Lines  \
0  34  Alt-Tempelhof Ecke Tempelhofer Damm   bus  A77,A68,A76
1  35                         Alt-Wittenau   bus  A62 ; A15,A21

                             Coordinates                                               Extra
0  52.465964306830664, 13.38558297633417                                                None
1  52.58972877186178, 13.334169215342472 ; 52.59166508975595, 13.326326895395114  Alt-Wittenau Ecke Oranienburger Straße ; Alt-Wittenau Ecke Eichborndamm

登录后复制

解决方案

使用 str.split 和 stack 拆分列

首先，对 DataFrame 中的每一列使用 str.split(';', expand=True) 将包含分隔符的列拆分成多列，然后使用 stack() 将这些列堆叠起来。

SpeakingPass-打造你的专属雅思口语语料

使用chatGPT帮你快速备考雅思口语，提升分数

查看详情

split_df = pd.concat([df[col].astype(str).str.split(';', expand=True).stack().str.strip() for col in df.columns], axis=1, keys=df.columns)

登录后复制

使用 groupby 和 ffill 填充缺失值

关键在于使用 groupby(level=0).ffill()。groupby(level=0) 将数据按照原始 DataFrame 的索引进行分组，然后 ffill() 方法在每个分组内向前填充缺失值。这确保了在拆分行时，其他列的数据能够正确地复制到新的行中。

split_df = split_df.groupby(level=0).ffill().reset_index(drop=True)

登录后复制

完整代码示例

import pandas as pd

data = {'ID': [34, 35],
        'Name': ['Alt-Tempelhof Ecke Tempelhofer Damm', 'Alt-Wittenau'],
        'Type': ['bus', 'bus'],
        'Lines': ['A77,A68,A76', 'A62 ; A15,A21'],
        'Coordinates': ['52.465964306830664, 13.38558297633417', '52.58972877186178, 13.334169215342472 ; 52.59166508975595, 13.326326895395114'],
        'Extra': [None, 'Alt-Wittenau Ecke Oranienburger Straße ; Alt-Wittenau Ecke Eichborndamm']}

df = pd.DataFrame(data)

split_df = pd.concat([df[col].astype(str).str.split(';', expand=True).stack().str.strip() for col in df.columns], axis=1, keys=df.columns)
split_df = split_df.groupby(level=0).ffill().reset_index(drop=True)

print(split_df)

登录后复制

输出：

   ID                                 Name Type        Lines  \
0  34  Alt-Tempelhof Ecke Tempelhofer Damm  bus  A77,A68,A76
1  35                         Alt-Wittenau  bus          A62
2  35                         Alt-Wittenau  bus      A15,A21

                             Coordinates                                    Extra
0  52.465964306830664, 13.38558297633417                                   None
1  52.58972877186178, 13.334169215342472  Alt-Wittenau Ecke Oranienburger Straße
2  52.59166508975595, 13.326326895395114          Alt-Wittenau Ecke Eichborndamm

登录后复制

注意事项

确保所有列的数据类型一致，可以使用 astype(str) 将所有列转换为字符串类型。
str.strip() 用于去除拆分后的字符串中的空格，保证数据的清洁性。
如果你的分隔符不是 ;，请相应地修改 str.split() 中的分隔符参数。

总结

通过结合 str.split、stack、groupby 和 ffill 方法，我们可以高效地处理 DataFrame 中包含相同分隔符的多列，并根据分隔符将行进行拆分，同时避免 NaN 值的产生，保证数据的完整性。这种方法在数据清洗和预处理过程中非常有用，能够提高数据处理的效率和准确性。

以上就是使用 Pandas 分割 DataFrame 中包含相同分隔符的多列的详细内容，更多请关注php中文网其它相关文章！