利用Python高效处理表格数据，轻松将宽格式数据转换为长格式！本文将详细讲解如何使用Pandas库处理包含重复列名模式的数据（例如，多步骤数据，每个步骤对应一组相同名称的列），并提取列名信息，最终简化数据分析流程。
假设您的数据包含多个步骤信息（例如，step4、step6、step8），以及对应的测量值（例如，nm_stdedev）。目标是将这些数据转换为长格式，步骤信息和测量值分别成为独立列，便于后续分析。
示例数据结构如下（4个步骤，n个nm_stdedev列）：
| step4_nm_stdedev | step6_nm_stdedev | step8_nm_stdedev | step9_nm_stdedev | ... | step4_other_column | step6_other_column | ... |
|---|---|---|---|---|---|---|---|
| 值1 | 值2 | 值3 | 值4 | ... | 值5 | 值6 | ... |
| 值a | 值b | 值c | 值d | ... | 值e | 值f | ... |
| ... | ... | ... | ... | ... | ... | ... | ... |
立即学习“Python免费学习笔记（深入）”；
Pandas的melt函数是解决此问题的关键。它能将宽格式数据转换为长格式。 我们需要巧妙地利用字符串操作提取步骤号和测量值信息。
以下代码演示了数据转换过程：
import pandas as pd
# 示例数据 (请替换为您的实际数据)
data = {'Step4_nm_Stdedev': [1, 2, 3],
'Step6_nm_Stdedev': [4, 5, 6],
'Step8_nm_Stdedev': [7, 8, 9],
'Step9_nm_Stdedev': [10, 11, 12]}
df = pd.DataFrame(data)
# 使用melt函数转换数据格式
df_melted = df.melt(var_name='Step_Measurement', value_name='Value')
# 使用字符串操作提取步骤号和测量值名称
df_melted[['Step', 'Measurement']] = df_melted['Step_Measurement'].str.split('_', expand=True)
df_melted['Step'] = df_melted['Step'].str.extract('(\d+)').astype(int)
# 删除中间列
df_melted = df_melted.drop(columns=['Step_Measurement'])
print(df_melted)
代码首先使用melt函数将数据转换为长格式，然后利用字符串的split方法和正则表达式extract方法分别提取步骤号和测量值名称。最后，删除中间列，得到最终结果。
如果您的列名格式不同，例如测量值名称不一致，您需要根据实际情况调整字符串处理部分的代码，例如使用更复杂的正则表达式或其他字符串操作函数。 如果需要保留其他列，请将这些列添加到melt函数的id_vars参数中。 通过以上方法，您可以轻松地将多列数据转换为长格式，并提取所需信息，提高数据分析效率。
