使用Tabula-py精确提取PDF表格数据及优化处理

import tabula
import pandas as pd

# 指定PDF文件路径
pdf_path = "your_document.pdf" # 请替换为实际的PDF文件路径

# 使用默认设置提取所有页面的表格
# 可能会出现表格结构不完整或包含冗余列的问题
try:
    tables_default = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True)

    print("--- 默认提取结果示例 ---")
    if tables_default:
        for i, table_df in enumerate(tables_default):
            print(f"\n表格 {i + 1} (默认):\n{table_df.head()}")
    else:
        print("未检测到表格或提取失败。")

except Exception as e:
    print(f"提取过程中发生错误: {e}")

import tabula
import pandas as pd

pdf_path = "your_document.pdf" # 请替换为实际的PDF文件路径

# 使用 lattice=True 提取所有页面的表格
# 适用于有清晰网格线的表格
try:
    tables_lattice = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True, lattice=True)

    print("\n--- 使用 lattice=True 提取结果示例 ---")
    if tables_lattice:
        for i, table_df in enumerate(tables_lattice):
            print(f"\n表格 {i + 1} (lattice=True):\n{table_df.head()}")
    else:
        print("未检测到表格或提取失败。")

except Exception as e:
    print(f"提取过程中发生错误: {e}")

import tabula
import pandas as pd

pdf_path = "your_document.pdf" # 请替换为实际的PDF文件路径

# 1. 使用 lattice=True 提取表格
extracted_tables = []
try:
    tables_raw = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True, lattice=True)

    if tables_raw:
        for i, table_df_raw in enumerate(tables_raw):
            # 2. 清洗冗余列
            # 识别包含 'Unnamed' 字样的列
            cols_to_drop = [col for col in table_df_raw.columns if 'Unnamed' in str(col)]

            # 检查是否有除索引外的所有列都被标记为Unnamed，避免删除整个DataFrame
            # 如果DataFrame只有一列且被标记为Unnamed，可能需要特殊处理，这里选择保留
            if len(cols_to_drop) == len(table_df_raw.columns) and len(table_df_raw.columns) > 0:
                print(f"警告: 表格 {i+1} 的所有列都被标记为'Unnamed'，跳过删除以避免空DataFrame。请检查PDF源或提取参数。")
                cleaned_df = table_df_raw
            else:
                cleaned_df = table_df_raw.drop(columns=cols_to_drop, errors='ignore')

            # 进一步清理：删除完全为空的行和列（可选，但推荐）
            cleaned_df.dropna(axis=0, how='all', inplace=True) # 删除所有值为NaN的行
            cleaned_df.dropna(axis=1, how='all', inplace=True) # 删除所有值为NaN的列

            extracted_tables.append(cleaned_df)
    else:
        print("未检测到表格或提取失败。")

except Exception as e:
    print(f"提取过程中发生错误: {e}")


print("\n--- 最终清洗后的提取结果示例 ---")
if extracted_tables:
    for i, cleaned_table_df in enumerate(extracted_tables):
        print(f"\n表格 {i + 1} (清洗后):\n{cleaned_table_df.head()}")
        # 打印列名，确认冗余列已被移除
        print(f"清洗后的列名: {cleaned_table_df.columns.tolist()}")
else:
    print("未提取到任何表格。")