使用 Python 获取 Wiki 词汇表页面下所有子页面的浏览量-php教程-PHP中文网

使用 Python 获取 Wiki 词汇表页面下所有子页面的浏览量

DDD

发布： 2025-08-08 18:22:23

原创

928人浏览过

使用 python 获取 wiki 词汇表页面下所有子页面的浏览量

本文介绍如何使用 Python 从 Wiki 词汇表页面提取所有子页面的浏览量。由于词汇表页面的内容是非结构化的，因此需要手动解析页面内容，提取子页面标题，然后使用 Pageviews API 获取每个子页面的浏览量。本文将提供详细的步骤和示例代码，帮助你完成这个任务。

1. 确定目标页面和工具

首先，你需要确定要提取浏览量的 Wiki 词汇表页面。例如，https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics。

其次，我们将使用 Python 及其相关的库来实现这个目标：

requests: 用于发送 HTTP 请求，获取页面内容。
Beautiful Soup 4: 用于解析 HTML 内容，提取子页面标题。

你可以使用 pip 安装这些库：

立即学习“Python免费学习笔记（深入）”；

pip install requests beautifulsoup4

登录后复制

2. 获取页面内容

使用 requests 库获取目标页面的 HTML 内容。

import requests
from bs4 import BeautifulSoup

url = "https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics"
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功
html_content = response.text

登录后复制

3. 解析 HTML 内容，提取子页面标题

使用 Beautiful Soup 4 解析 HTML 内容，并提取所有子页面的标题。因为词汇表页面通常使用列表或链接来组织子页面，你需要根据页面的具体结构来编写解析代码。以下是一个示例，假设子页面链接都包含在 <li> 标签内的 <a> 标签中：

牛面

牛面AI面试，大厂级面试特训平台

147

查看详情

soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []

# 查找所有包含链接的 <li> 标签
for li in soup.find_all('li'):
    a_tag = li.find('a')
    if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
        title = a_tag['title']
        page_titles.append(title)

print(page_titles)

登录后复制

注意：

你需要根据实际页面的 HTML 结构调整解析代码。
a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/') 确保只提取指向 Wiki 页面的链接。
a_tag['title'] 提取链接的 title 属性，这通常是页面的标题。

4. 使用 Pageviews API 获取浏览量

使用 Pageviews API 获取每个子页面的浏览量。 Pageviews API 的文档地址是：https://www.php.cn/link/e5e07cc9b49607a00a6d5c9be9b2c364

你可以通过构造 URL 并发送 HTTP 请求来获取浏览量。 Pageviews API 允许一次查询多个页面，页面标题之间用 | 分隔。但是，一次查询的页面数量有限制，因此你需要分批查询。

import requests
import json

def get_pageviews(titles):
    base_url = "https://pageviews.toolforge.org/api/views/per-article/"
    params = {
        'articles': '|'.join(titles),
        'project': 'en.wikipedia.org',
        'access': 'all-access', # all-access, desktop, mobile
        'agent': 'user', # all-agents, user, spider
        'granularity': 'monthly', # daily, monthly
        'start': '2020010100', #YYYYMMDDHH
        'end': '2024010100' #YYYYMMDDHH
    }

    response = requests.get(base_url, params=params)
    response.raise_for_status()
    data = response.json()
    return data['items']


# 分批处理页面标题
batch_size = 50  # 一次查询的页面数量限制
all_pageviews = {}

for i in range(0, len(page_titles), batch_size):
    batch = page_titles[i:i + batch_size]
    pageviews = get_pageviews(batch)
    for item in pageviews:
        all_pageviews[item['article']] = item['views']

# 打印结果
for title, views in all_pageviews.items():
    print(f"{title}: {views}")

登录后复制

注意：

你需要根据 API 文档调整请求参数，例如 project、start、end 等。
batch_size 的大小需要根据 API 的限制进行调整。
get_pageviews 函数返回的是 JSON 数据，你需要解析它以获取浏览量。
Pageviews API返回的是一段时间内的浏览量，你可以根据 granularity 参数选择每日或每月的浏览量。

5. 完整示例代码

将以上步骤整合起来，得到完整的示例代码：

import requests
from bs4 import BeautifulSoup
import json

def get_pageviews(titles):
    base_url = "https://pageviews.toolforge.org/api/views/per-article/"
    params = {
        'articles': '|'.join(titles),
        'project': 'en.wikipedia.org',
        'access': 'all-access', # all-access, desktop, mobile
        'agent': 'user', # all-agents, user, spider
        'granularity': 'monthly', # daily, monthly
        'start': '2020010100', #YYYYMMDDHH
        'end': '2024010100' #YYYYMMDDHH
    }

    response = requests.get(base_url, params=params)
    response.raise_for_status()
    data = response.json()
    return data['items']

url = "https://en.wikipedia.org/wiki/Glossary_of_areas_of_mathematics"
response = requests.get(url)
response.raise_for_status()
html_content = response.text

soup = BeautifulSoup(html_content, 'html.parser')
page_titles = []

# 查找所有包含链接的 <li> 标签
for li in soup.find_all('li'):
    a_tag = li.find('a')
    if a_tag and a_tag.has_attr('href') and a_tag['href'].startswith('/wiki/'):
        title = a_tag['title']
        page_titles.append(title)


# 分批处理页面标题
batch_size = 50  # 一次查询的页面数量限制
all_pageviews = {}

for i in range(0, len(page_titles), batch_size):
    batch = page_titles[i:i + batch_size]
    pageviews = get_pageviews(batch)
    for item in pageviews:
        all_pageviews[item['article']] = item['views']

# 打印结果
for title, views in all_pageviews.items():
    print(f"{title}: {views}")

登录后复制