解决Pandas DataFrame列不匹配错误：数据抓取与追加策略

import pandas as pd
import numpy as np # 稍后会用到

# 假设 GDP_2020 是一个BeautifulSoup解析后的HTML表格行列表
# 模拟数据，实际应通过BeautifulSoup的find_all('td')获取
# 示例数据：
# Afghanistan 20,136 14,941 19,083 23,032 (完整)
# Albania 15,192 17,984 (不完整)
# Algeria 145,656 163,138 195,060 224,107 (完整)

# 原始尝试可能导致错误的代码结构
years = ['2020','2021','2022','2023']
GDP = pd.DataFrame(columns=years) # 声明了4列

# 模拟的行数据，其中包含不完整的行
mock_rows_data = [
    ['Afghanistan', '20,136', '14,941', '19,083', '23,032'],
    ['Albania', '15,192', '17,984'], # 缺少2022, 2023年的数据
    ['Algeria', '145,656', '163,138', '195,060', '224,107']
]

# 原始代码片段，会导致错误：
# for row_data_list in mock_rows_data[1:]: # 假设第一个是标题，这里从第二个开始
#     # 模拟从BeautifulSoup提取的individual_row_data
#     individual_row_data = row_data_list[1:] # 假设第一个是国家名，这里只取年份数据
#     length = len(GDP)
#     GDP.loc[length] = individual_row_data # 当individual_row_data长度不为4时会报错

years = ['2020','2021','2022','2023']
expected_col_count = len(years)
all_row_data = [] # 用于存储所有符合条件的行数据

# 模拟 GDP_2020 是BeautifulSoup解析后的HTML表格行列表
# 假设每行数据的第一个元素是国家名，后续是年份数据
mock_html_rows = [
    ['Country (or dependent territory)', '2020', '2021', '2022', '2023'], # 标题行
    ['Afghanistan', '20,136', '14,941', '19,083', '23,032'],
    ['Albania', '15,192', '17,984'], # 不完整行
    ['Algeria', '145,656', '163,138', '195,060', '224,107']
]

# 假设我们只关心年份数据，所以每行实际数据比期望的年份列数多一列（国家名）
# 因此，如果包含国家名，期望的长度是 expected_col_count + 1
# 如果只取年份数据，则期望长度就是 expected_col_count

for row_elements in mock_html_rows[1:]: # 从第二行开始处理数据
    # 假设 row_elements 是通过 row.find_all('td') 得到的列表
    # 并且我们只提取年份数据，忽略国家名

    # 模拟从HTML元素中提取文本并去除空格
    individual_row_data = row_elements[1:] # 假设第一个元素是国家名，我们只取年份数据

    if len(individual_row_data) == expected_col_count:
        all_row_data.append(individual_row_data)

GDP_skipped = pd.DataFrame(all_row_data, columns=years)
print("--- 策略一：跳过不完整行 ---")
print(GDP_skipped)

years = ['2020','2021','2022','2023']
expected_col_count = len(years)
all_row_data_filled = [] # 用于存储所有处理后的行数据

for row_elements in mock_html_rows[1:]:
    individual_row_data = row_elements[1:] # 同样只取年份数据

    # 计算需要填充的np.nan数量
    num_missing_cols = expected_col_count - len(individual_row_data)

    # 如果有缺失列，则用np.nan填充
    if num_missing_cols > 0:
        individual_row_data_padded = individual_row_data + [np.nan] * num_missing_cols
    else:
        individual_row_data_padded = individual_row_data

    all_row_data_filled.append(individual_row_data_padded)

GDP_filled = pd.DataFrame(all_row_data_filled, columns=years)
print("\n--- 策略二：用np.nan填充缺失列 ---")
print(GDP_filled)