Python Pandas：深度解析多层嵌套JSON数据的扁平化处理

import pandas as pd
import json

data = {
  "id": 12345,
  "name": "Doe",
  "gender": {
    "textEn": "Masculin"
  },
  "professions": [
    {
      "job_description": {
        "textEn": "Job description"
      },
      "cetTitles": [
        {
          "cetTitleType": {
            "textEn": "Recognition"
          },
          "issuanceDate": "1992-04-14T00:00:00Z",
          "phoneNumbers": [
            "123 221 00 70"
          ]
        }
      ]
    }
  ]
}

# 步骤一：使用 json_normalize 进行初步扁平化和元数据提取
df = pd.json_normalize(
    data=data,
    record_path=["professions", "cetTitles"],
    meta=["id", "name", "gender", ["professions", "job_description"]]
)

print("初步扁平化后的DataFrame：")
print(df.to_string())
# 此时的df可能包含如下列（部分）：
# issuanceDate                phoneNumbers cetTitleType.textEn     id name                  gender professions.job_description
# 1992-04-14T00:00:00Z  ['123 221 00 70']          Recognition  12345  Doe  {'textEn': 'Masculin'}    {'textEn': 'Job description'}

# 步骤二：处理 phoneNumbers 列表字段
df = df.explode(column="phoneNumbers")

print("\n处理 phoneNumbers 后的DataFrame：")
print(df.to_string())
# 此时 phoneNumbers 列变为字符串 '123 221 00 70'

# 步骤三：解构嵌套字典字段并重命名
# 处理 gender 字段
gender_df = pd.DataFrame(df.pop("gender").values.tolist())
df = df.join(gender_df)

# 处理 job_description 字段
job_description_df = pd.DataFrame(df.pop("professions.job_description").values.tolist())
df = df.join(job_description_df)

print("\n解构嵌套字典后的DataFrame：")
print(df.to_string())
# 此时 df 中会新增 'textEn' 列，我们需要对其进行重命名

# 步骤四：清理和重命名列
# 统一处理通过 '.' 连接的列名，取最后一个部分
df.columns = df.columns.str.split(".").str[-1]

# 对特定列进行语义化重命名
df = df.rename(columns={
    "textEn": "gender" # 第一次处理 gender 字段时，其内部的 'textEn' 变成了新的 'textEn' 列
})

# 再次重命名，因为 job_description 字段的 'textEn' 也被统一处理了
# 假设我们知道在这一步，新生成的 'textEn' 列实际上是 job_description 的内容
# 这里的处理需要根据实际的列名冲突情况进行调整
# 在本例中，由于 gender 的 textEn 已经被重命名，剩下的 textEn 便是 job_description 的
df = df.rename(columns={
    "textEn": "job_description"
})

# 对于 cetTitleType.textEn 已经被 df.columns.str.split(".").str[-1] 处理为 cetTitleType
# 如果希望保留原始的 textEn 语义，可以进一步调整
# 例如：cetTitleType.textEn 变成了 'textEn'，而我们希望它是 'cetTitleType'
# 实际上，df.columns.str.split(".").str[-1] 已经将 cetTitleType.textEn 变成了 textEn
# 并且将其值设为了 Recognition。我们需要更精确地重命名
# 重新审视 df.columns.str.split(".").str[-1] 后的列名：
# ['issuanceDate', 'phoneNumbers', 'textEn', 'id', 'name', 'textEn', 'textEn']
# 这里的 textEn 有三个，需要根据原始来源进行区分。
# 更健壮的方法是分步重命名或在 join 时直接指定新列名。

# 考虑到原始答案的重命名逻辑，它假设了特定的顺序和结果。
# 我们可以模拟原始答案的重命名逻辑，它可能在 join 后直接重命名。
# 让我们使用一个更清晰的重命名策略：

# 重置列名以反映初始 json_normalize 后的状态
# df.columns = ['issuanceDate', 'phoneNumbers', 'cetTitleType.textEn', 'id', 'name', 'gender', 'professions.job_description']

# 重新执行步骤3和4，并优化重命名
df = pd.json_normalize(
    data=data,
    record_path=["professions", "cetTitles"],
    meta=["id", "name", "gender", ["professions", "job_description"]]
).explode(column="phoneNumbers")

# 提取 gender 字典，并将其 'textEn' 值作为 'gender' 列加入
gender_values = pd.DataFrame(df.pop("gender").values.tolist())
df = df.join(gender_values.rename(columns={"textEn": "gender_value"})) # 临时重命名，避免冲突

# 提取 job_description 字典，并将其 'textEn' 值作为 'job_description' 列加入
job_description_values = pd.DataFrame(df.pop("professions.job_description").values.tolist())
df = df.join(job_description_values.rename(columns={"textEn": "job_description_value"})) # 临时重命名

# 清理 cetTitleType.textEn 列名
df = df.rename(columns={"cetTitleType.textEn": "cetTitleType"})

# 最终重命名合并后的列
df = df.rename(columns={
    "gender_value": "gender",
    "job_description_value": "job_description"
})

print("\n最终扁平化后的DataFrame：")
print(df.to_string())

import pandas as pd
import json

data = {
  "id": 12345,
  "name": "Doe",
  "gender": {
    "textEn": "Masculin"
  },
  "professions": [
    {
      "job_description": {
        "textEn": "Job description"
      },
      "cetTitles": [
        {
          "cetTitleType": {
            "textEn": "Recognition"
          },
          "issuanceDate": "1992-04-14T00:00:00Z",
          "phoneNumbers": [
            "123 221 00 70"
          ]
        }
      ]
    }
  ]
}

# 1. 使用 json_normalize 进行初步扁平化和元数据提取
#    - record_path 指定要展开的列表路径
#    - meta 指定要从不同层级提取的元数据
df = pd.json_normalize(
    data=data,
    record_path=["professions", "cetTitles"],
    meta=["id", "name", "gender", ["professions", "job_description"]]
)

# 2. 处理 phoneNumbers 列表字段：使用 explode 将列表元素展开为独立行
#    在本例中，每个记录只有一个电话号码，所以 explode 不会增加行数
df = df.explode(column="phoneNumbers")

# 3. 解构嵌套字典字段并重命名
#    - 提取 gender 字典，并将其 'textEn' 值作为 'gender' 列加入
gender_values = pd.DataFrame(df.pop("gender").values.tolist())
df = df.join(gender_values.rename(columns={"textEn": "gender_value"})) # 使用临时列名避免冲突

#