优化 Tabula-py 表格提取：解决不完整数据与冗余列的实践指南

import tabula
import pandas as pd

# 指定 PDF 文件路径
pdf_path = "your_document.pdf" # 请替换为你的PDF文件路径

# 使用 tabula.read_pdf 进行基础提取
# pages='all' 表示提取所有页面的表格
# multiple_tables=True 允许从每页提取多个表格
tables = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True)

# 打印每个提取到的表格
if tables:
    for i, table_df in enumerate(tables):
        print(f"提取到的表格 {i + 1}:\n")
        print(table_df)
        print("\n" + "="*50 + "\n")
else:
    print("未在 PDF 中检测到表格。")

import tabula
import pandas as pd

pdf_path = "your_document.pdf" # 请替换为你的PDF文件路径

# 在 read_pdf 中添加 lattice=True 参数
tables_lattice = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True, lattice=True)

# 打印使用 lattice 模式提取的表格
if tables_lattice:
    for i, table_df in enumerate(tables_lattice):
        print(f"使用 lattice 模式提取的表格 {i + 1}:\n")
        print(table_df)
        print("\n" + "="*50 + "\n")
else:
    print("使用 lattice 模式未检测到表格。")

import tabula
import pandas as pd

pdf_path = "your_document.pdf" # 请替换为你的PDF文件路径

tables_processed = tabula.read_pdf(pdf_path, pages='all', multiple_tables=True, lattice=True)

cleaned_tables = []
if tables_processed:
    for i, table_df in enumerate(tables_processed):
        print(f"处理前表格 {i + 1}:\n")
        print(table_df)

        # 1. 移除所有完全为空的列
        # axis=1 表示操作列，how='all' 表示只有当所有值为NaN时才移除
        table_df_cleaned = table_df.dropna(axis=1, how='all')

        # 2. 移除特定名称的冗余列（例如 'Unnamed: 0'）
        # 检查列名是否存在，然后移除
        columns_to_drop = [col for col in table_df_cleaned.columns if 'Unnamed:' in str(col)]
        if columns_to_drop:
            table_df_cleaned = table_df_cleaned.drop(columns=columns_to_drop)

        # 3. 进一步清理：如果第一行是表头，但被错误识别为数据，可能需要特殊处理
        # 例如，如果第一行数据看起来更像是列名，可以将其提升为新的列名
        # if table_df_cleaned.iloc[0].isnull().sum() < len(table_df_cleaned.columns) / 2: # 简单的启发式判断
        #     table_df_cleaned.columns = table_df_cleaned.iloc[0]
        #     table_df_cleaned = table_df_cleaned[1:].reset_index(drop=True)

        cleaned_tables.append(table_df_cleaned)
        print(f"\n处理后表格 {i + 1}:\n")
        print(table_df_cleaned)
        print("\n" + "="*50 + "\n")
else:
    print("未检测到表格进行后处理。")

import tabula
import pandas as pd

pdf_path = "your_document.pdf" # 请替换为你的PDF文件路径

# 假设表格位于页面的特定区域
# 这里的坐标是示例，你需要根据你的PDF实际情况获取
# 格式: [top, left, bottom, right]
specific_area = [100.0, 50.0, 700.0, 550.0] # 示例坐标，请替换

# 使用 area 参数进行精确提取
tables_area = tabula.read_pdf(
    pdf_path,
    pages='1', # 如果表格只在一页，可以指定页码
    multiple_tables=False, # 如果确定区域内只有一个表格，可以设为False
    lattice=True, # 结合 lattice 模式效果更佳
    area=specific_area
)

if tables_area:
    for i, table_df in enumerate(tables_area):
        print(f"使用 area 参数提取的表格 {i + 1}:\n")
        print(table_df)
        print("\n" + "="*50 + "\n")
else:
    print("使用 area 参数未检测到表格。")

try:
    tables = tabula.read_pdf(pdf_path, pages='all')
    if tables:
        # 处理表格
        pass
    else:
        print(f"PDF 文件 '{pdf_path}' 中未找到表格。")
except tabula.errors.TabulaException as e:
    print(f"提取表格时发生错误: {e}")
except FileNotFoundError:
    print(f"文件 '{pdf_path}' 未找到。")

# 假设 cleaned_tables 是一个包含处理后DataFrame的列表
for i, df in enumerate(cleaned_tables):
    # 导出为 CSV 文件
    df.to_csv(f"extracted_table_{i+1}.csv", index=False, encoding='utf-8')
    # 导出为 Excel 文件
    df.to_excel(f"extracted_table_{i+1}.xlsx", index=False)