Confluence 页面数据提取指南：API 与数据库直连方法解析

from atlassian import Confluence
from bs4 import BeautifulSoup
import pandas as pd

# 配置Confluence连接参数
CONFLUENCE_URL = "https://your-confluence-instance.com" # 替换为你的Confluence URL
USERNAME = "your_username"                            # 替换为你的用户名
API_TOKEN = "your_api_token"                          # 替换为你的API Token

# 初始化Confluence客户端
# 如果是云端Confluence，cloud参数设为True
confluence = Confluence(
    url=CONFLUENCE_URL,
    username=USERNAME,
    password=API_TOKEN, # API Token作为密码使用
    cloud=True # 根据你的Confluence类型设置
)

def extract_table_data_from_page(page_identifier, identifier_type='id'):
    """
    从Confluence页面提取所有表格数据。
    :param page_identifier: 页面ID或页面标题。
    :param identifier_type: 'id' 或 'title'。
    :return: 包含所有表格数据的列表，每个表格数据为DataFrame。
    """
    try:
        page_content = None
        if identifier_type == 'id':
            # 获取页面内容，expand='body.storage'确保获取完整的XHTML内容
            page_content = confluence.get_page_by_id(page_identifier, expand='body.storage')
        elif identifier_type == 'title':
            # 需要提供空间键(space key)
            # 例如：page_content = confluence.get_page_by_title('YOUR_SPACE_KEY', page_identifier, expand='body.storage')
            print("通过标题获取页面需要提供空间键，请修改代码。")
            return []
        else:
            print("无效的identifier_type，请使用'id'或'title'。")
            return []

        if not page_content or 'body' not in page_content or 'storage' not in page_content['body']:
            print(f"未能获取页面 {page_identifier} 的内容或内容格式不正确。")
            return []

        html_content = page_content['body']['storage']['value']

        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(html_content, 'html.parser')
        tables = soup.find_all('table')

        extracted_dfs = []
        for i, table in enumerate(tables):
            headers = []
            rows = []

            # 提取表头
            header_row = table.find('tr')
            if header_row:
                headers = [th.get_text(strip=True) for th in header_row.find_all('th')]

            # 提取所有行数据
            for row_tag in table.find_all('tr'):
                # 跳过表头行（如果已单独处理）
                if row_tag == header_row and headers:
                    continue

                cells = [cell.get_text(strip=True) for cell in row_tag.find_all(['td', 'th'])]
                if cells: # 确保不是空行
                    rows.append(cells)

            # 如果没有明确的表头，尝试将第一行作为表头
            if not headers and rows:
                headers = rows.pop(0)

            # 创建DataFrame
            if headers and rows:
                try:
                    df = pd.DataFrame(rows, columns=headers)
                    extracted_dfs.append(df)
                except ValueError as e:
                    print(f"处理表格 {i+1} 时发生错误: {e}")
                    print(f"Headers: {headers}")
                    print(f"Rows sample: {rows[:2]}") # 打印前两行数据辅助调试
            elif rows: # 如果没有表头但有数据，则不带表头创建DataFrame
                df = pd.DataFrame(rows)
                extracted_dfs.append(df)

        return extracted_dfs

    except Exception as e:
        print(f"提取数据时发生错误: {e}")
        return []

# 示例：从页面ID为'1234567'的页面提取数据
page_id_to_extract = "1234567" # 替换为你要提取的Confluence页面ID
all_tables_data = extract_table_data_from_page(page_id_to_extract, identifier_type='id')

if all_tables_data:
    for i, df in enumerate(all_tables_data):
        print(f"\n--- 提取的表格 {i+1} ---")
        print(df.head()) # 打印前几行数据
else:
    print("未从指定页面提取到任何表格数据。")