将Google API响应对象转换为Pandas DataFrame的实用指南

from google.analytics.admin import admin_v1beta
import pandas as pd
import json

def get_custom_dimensions_raw(property_filter):
    """
    获取Google Analytics自定义维度原始API响应。
    """
    client = admin_v1beta.AnalyticsAdminServiceClient()
    request = admin_v1beta.ListCustomDimensionsRequest(
        parent=property_filter
    )
    return client.list_custom_dimensions(request=request)

# 示例调用
# ga4_custom_dimensions = get_custom_dimensions_raw("properties/YOUR_PROPERTY_ID")
# print(type(ga4_custom_dimensions))
# <class 'google.analytics.admin_v1beta.services.analytics_admin_service.pagers.ListCustomDimensionsPager'>

from google.analytics.admin import admin_v1beta
import pandas as pd
import json

def get_custom_dimensions_dataframe(property_filter):
    """
    从Google Analytics Admin API获取自定义维度，并将其转换为Pandas DataFrame。

    参数:
        property_filter (str): GA4媒体资源ID，格式为 "properties/YOUR_PROPERTY_ID"。

    返回:
        pd.DataFrame: 包含自定义维度数据的DataFrame。
    """
    client = admin_v1beta.AnalyticsAdminServiceClient()
    request = admin_v1beta.ListCustomDimensionsRequest(
        parent=property_filter
    )

    # 获取原始API响应，这是一个可迭代的Pager对象
    full_response_pager = client.list_custom_dimensions(request=request)

    df_list = []

    # 遍历Pager中的每个CustomDimension对象
    for response_item in full_response_pager:
        # 1. 获取对象的内部字典表示
        step1 = response_item.__dict__

        # 2. 将字典转换为字符串，这是进行字符串替换的基础
        step2 = str(step1)

        # 3. 执行一系列字符串替换，将非标准的键值对格式转换为有效的JSON格式
        # 原始字符串中键没有引号，值如果是字符串也没有引号，布尔值/枚举值也需要特殊处理。
        # 移除内部的'_pb'属性，因为它不是我们关心的数据，且可能干扰JSON解析。
        step3 = step2.replace(': name:', ': "name" :')
        step4 = step3.replace('parameter_name:', ', "parameter_name" :')
        step5 = step4.replace('display_name:', ', "display_name" :')
        step6 = step5.replace('description:', ', "description" :')
        step7 = step6.replace('scope:', ', "scope" :')
        step8 = step7.replace('disallow_ads_personalization: true', ', "disallow_ads_personalization" : "true"')
        step9 = step8.replace("'_pb': ", "") # 移除内部私有属性
        step10 = step9.replace(' : EVENT', ' : "EVENT"') # 为枚举值添加引号
        step11 = step10.replace(' : USER', ' : "USER"')   # 为枚举值添加引号

        # 4. 处理Unicode转义字符：
        # 有时字符串中可能包含形如 '\xXX' 的转义字符，需要先编码为UTF-8，再解码为Unicode字符串。
        step12 = step11.encode('utf-8').decode('unicode_escape')

        # 5. 将处理后的字符串加载为JSON对象
        # 注意：此时的字符串应该是一个有效的JSON格式的字典字符串
        try:
            step13 = json.loads(step12)
            df_list.append(step13)
        except json.JSONDecodeError as e:
            print(f"JSON解析错误: {e}")
            print(f"问题字符串: {step12}")
            # 可以选择跳过此项或记录错误
            continue

    # 6. 从JSON对象列表创建Pandas DataFrame
    return pd.DataFrame(df_list)

# 替换为您的GA4媒体资源ID
GA4_PROPERTY_ID = "YOUR_PROPERTY_ID" 

# 调用函数获取DataFrame
custom_dimension_df = get_custom_dimensions_dataframe(f"properties/{GA4_PROPERTY_ID}")

# 打印DataFrame的前几行和信息
print(custom_dimension_df.head())
print("\nDataFrame信息:")
custom_dimension_df.info()

# 示例：保存到CSV文件
# custom_dimension_df.to_csv("ga4_custom_dimensions.csv", index=False, encoding="utf-8")