从维基百科术语表中提取所有页面的浏览量

import requests
from bs4 import BeautifulSoup

def extract_page_titles(url):
    """
    从维基百科页面提取所有链接的页面标题。

    Args:
        url (str): 维基百科页面的 URL。

    Returns:
        list: 页面标题列表。
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功

        soup = BeautifulSoup(response.content, 'html.parser')
        # 根据实际页面结构调整选择器
        links = soup.find_all('a', href=True)
        page_titles = []
        for link in links:
            href = link['href']
            if href.startswith('/wiki/') and not any(x in href for x in [':', '#']):
                title = href.replace('/wiki/', '')
                page_titles.append(title)
        return page_titles
    except requests.exceptions.RequestException as e:
        print(f"请求错误: {e}")
        return []
    except Exception as e:
        print(f"解析错误: {e}")
        return []

# 示例用法
url = 'https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics'
page_titles = extract_page_titles(url)
print(page_titles)

import requests
import json

def get_pageviews(titles, start='20000101', end='20231001'):
    """
    从维基百科 Pageviews API 获取页面的浏览量。

    Args:
        titles (list): 页面标题列表。
        start (str): 开始日期 (YYYYMMDD)。
        end (str): 结束日期 (YYYYMMDD)。

    Returns:
        dict: 页面标题和浏览量组成的字典。
    """
    endpoint = "https://pageviews.toolforge.org/api/views/"
    pageviews = {}

    # API 有标题数量限制，所以分批处理
    batch_size = 50
    for i in range(0, len(titles), batch_size):
        batch = titles[i:i + batch_size]
        titles_str = "|".join(batch)
        url = f"{endpoint}?page={titles_str}&start={start}&end={end}"

        try:
            response = requests.get(url)
            response.raise_for_status()
            data = response.json()

            for page in batch:
                pageviews[page] = data.get(page, {'views': 0})['views']  # 默认浏览量为 0

        except requests.exceptions.RequestException as e:
            print(f"请求错误: {e}")
        except json.JSONDecodeError as e:
            print(f"JSON 解析错误: {e}")

    return pageviews


# 示例用法
# 假设 page_titles 是从上一步提取的页面标题列表
if page_titles: # 检查列表是否为空
    pageviews = get_pageviews(page_titles)
    for title, views in pageviews.items():
        print(f"{title}: {views}")
else:
    print("没有提取到页面标题，无法获取浏览量。")