使用Python从网页下载PDF并根据链接文本自定义文件名教程-html教程-PHP中文网

使用Python从网页下载PDF并根据链接文本自定义文件名教程

在web数据抓取和自动化任务中，从网站下载文件是一项常见需求。然而，有时我们希望下载的文件名不仅仅是url中自带的名称，而是网页上显示给用户的、更具描述性的文本。例如，一个链接可能显示为“chapter 3 - weird science”，但其指向的pdf文件url可能包含难以理解的编码或不友好的文件名。本教程将指导您如何使用python实现这一目标，从动态生成的asp页面中抓取pdf文件，并以其对应的链接文本作为文件名进行保存。

前置条件

在开始之前，请确保您的Python环境中安装了以下库：

requests: 用于发送HTTP请求，包括POST和GET。
BeautifulSoup4: 用于解析HTML内容，方便提取所需数据。

您可以通过以下命令安装它们：

pip install requests beautifulsoup4 lxml

登录后复制

核心概念与步骤

整个过程可以分解为以下几个关键步骤：

发送HTTP POST请求获取页面内容：对于一些动态网站，如本例中的ASP页面，可能需要通过POST请求提交表单数据（如课程、班级信息）才能获取到包含PDF链接的HTML内容。
解析HTML，提取PDF链接及其对应的显示文本：使用BeautifulSoup解析响应的HTML，找到所有指向PDF文件的<a>标签，并同时获取其href属性（PDF链接）和标签内部的文本内容（我们希望作为文件名的部分）。
构建本地保存路径：根据下载文件的分类需求，创建相应的本地目录结构。
自定义文件名：利用第2步获取到的链接文本作为文件名，并添加.pdf后缀。
下载PDF文件并保存到本地：对每个PDF链接发送HTTP GET请求，获取文件二进制内容，然后将其写入到本地指定路径。

详细实现

我们将通过一个具体的例子来演示上述步骤。假设我们需要从一个教育网站下载特定班级和科目的PDF资料。

立即学习“Python免费学习笔记（深入）”；

1. 导入所需库

首先，导入我们将用到的所有库：

听脑AI

听脑AI语音，一款专注于音视频内容的工作学习助手，为用户提供便捷的音视频内容记录、整理与分析功能。

745

查看详情

import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse # 尽管在本例中可能不直接用于URL编码，但了解其用途很重要

登录后复制

2. 配置请求参数和目标路径

定义目标URL、HTTP请求头、要查询的班级和科目，以及本地文件保存的根目录。

# 定义目标URL和HTTP请求头
base_url = "https://www.svpo.nl/curriculum.asp"
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}

# 定义要查询的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde'] # 可以扩展为更多科目

# 定义PDF文件保存的根目录
# 使用原始字符串r''以避免转义问题，并确保路径分隔符的正确性
path_out_root = r'c:ooks'

登录后复制

3. 遍历科目和班级，获取并下载PDF

这是核心逻辑部分，我们将循环遍历定义的班级和科目，对每个组合执行以下操作：

构建POST请求的payload。
发送POST请求获取包含PDF链接的HTML。
解析HTML，找到所有包含href属性的<a>标签。
过滤出.pdf链接。
关键步骤：使用link.text作为文件名。
下载PDF文件。

for klas in klassen: 
    for vak in vakken: 
        # 构建当前科目和班级的本地保存路径
        # os.path.join 确保跨操作系统的路径兼容性
        current_save_path = os.path.join(path_out_root, klas, vak)
        # 创建目录，如果已存在则忽略错误
        os.makedirs(current_save_path, exist_ok=True)

        # 构建POST请求的表单数据
        payload = {'vak': vak, 'klas_en_schoolsoort': klas}

        # 发送POST请求获取HTML内容
        print(f"正在获取 {klas} - {vak} 的课程页面...")
        response_page = requests.post(base_url, data=payload, headers=headers)
        response_page.raise_for_status() # 检查请求是否成功

        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response_page.text, "lxml")
        # 查找所有带有href属性的<a>标签
        all_links = soup.find_all('a', {'href': True})

        for link_tag in all_links:
            pdf_url = link_tag.get('href')

            # 检查链接是否以.pdf结尾（不区分大小写）
            if pdf_url and pdf_url.lower().endswith('.pdf'):
                # 统一URL中的路径分隔符，将反斜杠替换为正斜杠
                # 某些网站的URL可能使用反斜杠，这在标准URL中是非法的
                pdf_url = pdf_url.replace('\', '/')

                # 构建完整的PDF下载链接（如果原始链接是相对路径，需要拼接base_url）
                # 这里假设pdf_url已经是完整的URL，如果不是，需要进一步处理
                # 例如：full_pdf_url = urlparse.urljoin(base_url_of_page_containing_link, pdf_url)

                # 提取链接文本作为文件名，并添加.pdf后缀
                # link_tag.text 获取<a>标签的显示文本
                filename = link_tag.text.strip() + '.pdf'

                # 构建完整的本地文件路径
                full_local_path = os.path.join(current_save_path, filename)

                print(f"  - 发现PDF: {filename}")
                print(f"    下载地址: {pdf_url}")
                print(f"    保存至: {full_local_path}")

                try:
                    # 发送GET请求下载PDF文件
                    response_pdf = requests.get(pdf_url, stream=True) # 使用stream=True处理大文件
                    response_pdf.raise_for_status() # 检查PDF下载请求是否成功

                    # 以二进制写入模式保存文件
                    with open(full_local_path, 'wb') as f:
                        for chunk in response_pdf.iter_content(chunk_size=8192):
                            f.write(chunk)
                    print(f"    下载成功: {filename}")
                except requests.exceptions.RequestException as e:
                    print(f"    下载失败 {pdf_url}: {e}")
                except IOError as e:
                    print(f"    文件写入失败 {full_local_path}: {e}")
                print('---')

登录后复制

完整示例代码

将上述所有代码片段整合，形成一个完整的Python脚本：

import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse # 导入urlparse以备不时之需，尽管本例中未直接使用其编码功能

# 定义目标URL和HTTP请求头
base_url = "https://www.svpo.nl/curriculum.asp"
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}

# 定义要查询的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 可以扩展为更多科目，例如：
# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis', 
#           'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',
#           'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal', 
#           'Loopbaanorientatie','NLT']

# 定义PDF文件保存的根目录
# 使用原始字符串r''以避免转义问题，并确保路径分隔符的正确性
path_out_root = r'c:ooks'

print("开始下载PDF文件...")

for klas in klassen: 
    for vak in vakken: 
        # 构建当前科目和班级的本地保存路径
        # os.path.join 确保跨操作系统的路径兼容性
        current_save_path = os.path.join(path_out_root, klas, vak)
        # 创建目录，如果已存在则忽略错误
        os.makedirs(current_save_path, exist_ok=True)
        print(f"
--- 处理班级: {klas}, 科目: {vak} ---")

        # 构建POST请求的表单数据
        payload = {'vak': vak, 'klas_en_schoolsoort': klas}

        try:
            # 发送POST请求获取HTML内容
            print(f"正在请求 {base_url} (POST) 获取课程页面...")
            response_page = requests.post(base_url, data=payload, headers=headers, timeout=10)
            response_page.raise_for_status() # 检查请求是否成功，如果状态码不是2xx则抛出异常
            print("课程页面获取成功。")

            # 使用BeautifulSoup解析HTML
            soup = BeautifulSoup(response_page.text, "lxml")
            # 查找所有带有href属性的<a>标签
            all_links = soup.find_all('a', {'href': True})

            pdf_found_count = 0
            for link_tag in all_links:
                pdf_url = link_tag.get('href')

                # 检查链接是否以.pdf结尾（不区分大小写），并且链接不为空
                if pdf_url and pdf_url.lower().endswith('.pdf'):
                    pdf_found_count += 1
                    # 统一URL中的路径分隔符，将反斜杠替换为正斜杠
                    # 某些网站的URL可能使用反斜杠，这在标准URL中是非法的
                    pdf_url = pdf_url.replace('\', '/')

                    # 提取链接文本作为文件名，并添加.pdf后缀
                    # link_tag.text 获取<a>标签的显示文本，并去除首尾空白
                    filename = link_tag.text.strip() + '.pdf'

                    # 确保文件名在文件系统中的合法性，例如移除特殊字符
                    # 这里可以添加额外的清理逻辑，例如：
                    # import re
                    # filename = re.sub(r'[\/:*?"<>|]', '', filename) # 移除Windows不允许的字符

                    # 构建完整的本地文件路径
                    full_local_path = os.path.join(current_save_path, filename)

                    print(f"  - 发现PDF (No.{pdf_found_count}):")
                    print(f"    原始链接: {pdf_url}")
                    print(f"    自定义文件名: {filename}")
                    print(f"    保存路径: {full_local_path}")

                    try:
                        # 发送GET请求下载PDF文件
                        # stream=True 允许我们分块下载，适用于大文件，避免一次性加载到内存
                        response_pdf = requests.get(pdf_url, stream=True, headers=headers, timeout=30)
                        response_pdf.raise_for_status() # 检查PDF下载请求是否成功

                        # 以二进制写入模式保存文件
                        with open(full_local_path, 'wb') as f:
                            for chunk in response_pdf.iter_content(chunk_size=8192): # 每次读取8KB
                                f.write(chunk)
                        print(f"    下载成功: {filename}")
                    except requests.exceptions.RequestException as e:
                        print(f"    下载失败 {pdf_url}: {e}")
                    except IOError as e:
                        print(f"    文件写入失败 {full_local_path}: {e}")
                    print('---')

            if pdf_found_count == 0:
                print(f"  未在 {klas} - {vak} 页面中找到任何PDF链接。")

        except requests.exceptions.RequestException as e:
            print(f"获取 {klas} - {vak} 课程页面失败: {e}")
        except Exception as e:
            print(f"处理 {klas} - {vak} 时发生未知错误: {e}")

print("
所有PDF下载任务完成。")

登录后复制

注意事项与最佳实践

错误处理：在网络请求和文件操作中，错误是常见的。使用try-except块捕获requests.exceptions.RequestException（网络错误、HTTP错误）和IOError（文件写入错误）可以增强脚本的健壮性。
User-Agent：设置User-Agent请求头是模拟浏览器行为的重要一步，可以避免某些网站的反爬虫机制。
路径管理：始终使用os.path.join()来拼接路径，这能确保脚本在不同操作系统（Windows、Linux、macOS）上的兼容性，因为它们使用不同的路径分隔符。os.makedirs(path, exist_ok=True)则可以避免目录已存在时抛出错误。
文件名合法性：从网页文本中提取的文件名可能包含操作系统不允许的字符（如、/、:、*、?、"、<、>、|）。在保存文件前，最好对文件名进行清理，替换或移除这些非法字符，以避免文件创建失败。
大文件下载：对于可能较大的PDF文件，使用requests.get(url, stream=True)并结合response.iter_content(chunk_size=...)进行分块下载，可以避免将整个文件一次性加载到内存中，从而节省内存资源。
URL处理：注意处理URL中的路径分隔符。在Windows系统中，文件路径可能使用反斜杠，但标准URL通常使用正斜杠/。本教程中pdf_url.replace('\', '/')是必要的。此外，如果href属性提供的是相对路径，您需要使用urlparse.urljoin()来构建完整的URL。
超时设置：在requests.post和requests.get中添加timeout参数，可以防止请求长时间无响应导致脚本挂起。

总结

通过本教程，您应该已经掌握了如何使用Python的requests和BeautifulSoup库，从动态网页中抓取PDF文件，并根据链接的显示文本自定义文件名。这种方法不仅提高了下载文件的可读性和管理效率，也展示了Python在网页自动化和数据处理方面的强大能力。记住，在进行任何网页抓取活动时，请务必遵守网站的服务条款和相关法律法规。

以上就是使用Python从网页下载PDF并根据链接文本自定义文件名教程的详细内容，更多请关注php中文网其它相关文章！