从网站下载PDF并自定义文件名的Python教程-html教程-PHP中文网

从网站下载PDF并自定义文件名的Python教程

本教程详细介绍了如何使用python的requests和beautifulsoup库，从动态asp网站抓取pdf文件。文章涵盖了http post请求、html解析、pdf链接识别，以及如何利用网页显示文本作为文件名保存下载内容，实现自动化且智能的文档管理。

引言

在日常工作中，我们经常需要从网站下载大量文件，尤其是PDF文档。然而，网站提供的下载链接通常只包含技术性的文件名，而非用户友好的显示名称。本教程旨在解决这一问题，指导您如何利用Python编写脚本，从特定网页（例如ASP站点）抓取PDF文件，并将其保存为网页上显示的标题名称，从而实现更智能、更高效的文档管理。我们将重点关注如何解析HTML以获取正确的下载链接和对应的显示名称，以及如何利用Python的HTTP库完成文件下载。

环境准备

在开始之前，请确保您的Python环境中安装了以下库：

requests: 用于发送HTTP请求，包括POST和GET请求。
BeautifulSoup4: 用于解析HTML和XML文档，方便提取所需数据。
lxml: BeautifulSoup的解析器，通常推荐安装以提高解析速度和兼容性。

您可以使用pip命令进行安装：

pip install requests beautifulsoup4 lxml

登录后复制

核心技术概览

本教程将综合运用以下Python库和技术：

立即学习“Python免费学习笔记（深入）”；

requests库:
- requests.post(): 用于向服务器发送POST请求，模拟表单提交，以获取动态生成的内容。
- requests.get(): 用于下载文件内容。
- headers: 设置请求头，模拟浏览器行为，避免被网站拒绝。
- data或json: 传递POST请求的表单数据。
BeautifulSoup库:
- BeautifulSoup(html_content, "lxml"): 初始化解析器，将HTML内容转换为可操作的对象。
- find_all('a', {'href': True}): 查找所有带有href属性的<a>标签。
- link.get('href'): 获取<a>标签的href属性值（即链接）。
- link.text: 获取<a>标签的文本内容（即显示名称）。
os模块:
- os.path.join(): 安全地拼接文件路径，自动处理不同操作系统的路径分隔符。
- os.makedirs(path, exist_ok=True): 创建目录，exist_ok=True参数确保如果目录已存在不会抛出错误。
文件操作:
- with open(full_path, 'wb') as fh:: 以二进制写入模式打开文件，确保正确保存下载的二进制内容。

实现步骤详解

我们将通过一个具体的例子来演示如何实现从ASP网站下载PDF并自定义文件名。假设我们需要从一个ASP网站根据“班级”和“科目”筛选后，下载其中列出的PDF文件。

1. 定义配置与初始化

首先，导入必要的库，并定义目标URL、请求头以及文件保存路径。

ImagetoCartoon

一款在线AI漫画家，可以将人脸转换成卡通或动漫风格的图像。

106

查看详情

import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse # 尽管本例中不直接使用urlparse.quote，但了解其用途很重要

# 定义目标网站URL
BASE_URL = "https://www.svpo.nl/curriculum.asp"

# 定义请求头，模拟浏览器行为
HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}

# 定义PDF文件保存的根目录
OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题

# 定义需要遍历的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 可以扩展为更多班级和科目
# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',
#           'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',
#           'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',
#           'Loopbaanorientatie','NLT']

downloaded_links = [] # 用于存储已下载的链接，可选

登录后复制

2. 遍历筛选条件并发送POST请求

网站内容通常是根据用户选择动态生成的。我们需要模拟用户选择“班级”和“科目”的过程，通过发送POST请求获取对应的HTML内容。

for klas in klassen:
    for vak in vakken:
        # 构建当前班级和科目的保存路径
        # os.path.join 会智能处理路径分隔符
        current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak)
        # 创建目录，如果目录已存在则不报错
        os.makedirs(current_save_path, exist_ok=True)
        print(f"正在处理: 班级 '{klas}', 科目 '{vak}'")
        print(f"文件将保存到: {current_save_path}")

        # 构建POST请求的表单数据
        payload = {'vak': vak, 'klas_en_schoolsoort': klas}

        # 发送POST请求获取网页内容
        try:
            response = requests.post(BASE_URL, data=payload, headers=HEADERS)
            response.raise_for_status() # 检查HTTP请求是否成功 (200 OK)
            html_content = response.text
        except requests.exceptions.RequestException as e:
            print(f"请求失败，跳过: {e}")
            continue

登录后复制

3. 解析HTML并提取PDF链接及显示名称

获取到HTML内容后，使用BeautifulSoup进行解析，找出所有指向PDF文件的<a>标签，并提取它们的href属性（下载链接）和text内容（显示名称）。

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(html_content, "lxml")
        # 查找所有带有href属性的<a>标签
        all_links = soup.find_all('a', {'href': True})

        for link_tag in all_links:
            url_raw = link_tag.get('href') # 获取原始链接

            # 检查链接是否指向PDF文件（不区分大小写）
            if url_raw and url_raw.lower().endswith('.pdf'):
                # 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效
                download_url = url_raw.replace('\', '/')

                # 提取<a>标签的文本内容作为文件名
                # 注意：这里直接使用link_tag.text作为文件名，然后添加.pdf后缀
                # 需要对文件名进行清理，以防包含非法字符
                raw_filename = link_tag.text.strip()
                # 简单清理文件名，移除Windows不允许的字符
                # 实际应用中可能需要更复杂的清理逻辑
                invalid_chars = r'<>:"/|?*'
                cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars)

                # 组合最终的文件名
                final_filename = f"{cleaned_filename}.pdf"

                print(f"  发现PDF: {final_filename}")
                print(f"  下载链接: {download_url}")

                # 构造完整的本地文件路径
                full_local_path = os.path.join(current_save_path, final_filename)
                print(f"  保存路径: {full_local_path}")

登录后复制

4. 下载PDF文件并保存到本地

使用requests.get()下载PDF文件的内容，并将其写入到之前构造的本地文件路径中。

                # 检查文件是否已存在，避免重复下载
                if os.path.exists(full_local_path):
                    print(f"  文件 '{final_filename}' 已存在，跳过下载。")
                    continue

                try:
                    # 发送GET请求下载PDF内容
                    pdf_response = requests.get(download_url, headers=HEADERS, stream=True)
                    pdf_response.raise_for_status() # 检查下载请求是否成功

                    # 将下载内容写入文件
                    with open(full_local_path, 'wb') as fh:
                        for chunk in pdf_response.iter_content(chunk_size=8192):
                            fh.write(chunk)
                    print(f"  成功下载 '{final_filename}'")
                    downloaded_links.append(download_url) # 记录已下载的链接
                except requests.exceptions.RequestException as e:
                    print(f"  下载 '{final_filename}' 失败: {e}")
                print('---') # 分隔符，便于查看输出

登录后复制

完整示例代码

将上述步骤整合到一起，形成一个完整的Python脚本：

import os
import requests
from bs4 import BeautifulSoup
from urllib import parse as urlparse

# 定义目标网站URL
BASE_URL = "https://www.svpo.nl/curriculum.asp"

# 定义请求头，模拟浏览器行为
HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}

# 定义PDF文件保存的根目录
OUTPUT_ROOT_PATH = r'c:ooks' # 使用原始字符串避免反斜杠转义问题

# 定义需要遍历的班级和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 可以扩展为更多班级和科目
# vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis',
#           'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',
#           'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal',
#           'Loopbaanorientatie','NLT']

downloaded_links = [] # 用于存储已下载的链接，可选

print("开始PDF下载任务...")

for klas in klassen:
    for vak in vakken:
        # 构建当前班级和科目的保存路径
        current_save_path = os.path.join(OUTPUT_ROOT_PATH, klas, vak)
        os.makedirs(current_save_path, exist_ok=True) # 创建目录，如果目录已存在则不报错

        print(f"
--- 正在处理: 班级 '{klas}', 科目 '{vak}' ---")
        print(f"文件将保存到: {current_save_path}")

        # 构建POST请求的表单数据
        payload = {'vak': vak, 'klas_en_schoolsoort': klas}

        try:
            # 发送POST请求获取网页内容
            response = requests.post(BASE_URL, data=payload, headers=HEADERS, timeout=10) # 设置超时
            response.raise_for_status() # 检查HTTP请求是否成功 (200 OK)
            html_content = response.text
        except requests.exceptions.RequestException as e:
            print(f"  请求网页失败，跳过当前组合: {e}")
            continue

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(html_content, "lxml")
        # 查找所有带有href属性的<a>标签
        all_links = soup.find_all('a', {'href': True})

        for link_tag in all_links:
            url_raw = link_tag.get('href') # 获取原始链接

            # 检查链接是否指向PDF文件（不区分大小写）
            if url_raw and url_raw.lower().endswith('.pdf'):
                # 某些网站的URL可能包含反斜杠，需要替换为正斜杠以确保URL有效
                download_url = url_raw.replace('\', '/')

                # 提取<a>标签的文本内容作为文件名
                raw_filename = link_tag.text.strip()

                # 清理文件名：移除Windows不允许的字符
                # 实际应用中可能需要更复杂的清理逻辑，例如处理过长文件名
                invalid_chars = r'<>:"/|?*'
                cleaned_filename = "".join(c for c in raw_filename if c not in invalid_chars)
                if not cleaned_filename: # 如果清理后文件名为空，则使用URL中的文件名作为备用
                    cleaned_filename = os.path.basename(download_url).split('?')[0] # 移除URL参数
                    cleaned_filename = cleaned_filename.rsplit('.', 1)[0] if '.' in cleaned_filename else cleaned_filename

                # 组合最终的文件名，确保有.pdf后缀
                final_filename = f"{cleaned_filename}.pdf"

                print(f"  发现PDF: '{final_filename}'")
                print(f"  下载链接: {download_url}")

                # 构造完整的本地文件路径
                full_local_path = os.path.join(current_save_path, final_filename)
                print(f"  保存路径: {full_local_path}")

                # 检查文件是否已存在，避免重复下载
                if os.path.exists(full_local_path):
                    print(f"  文件 '{final_filename}' 已存在，跳过下载。")
                    continue

                try:
                    # 发送GET请求下载PDF内容，使用stream=True和iter_content分块下载
                    pdf_response = requests.get(download_url, headers=HEADERS, stream=True, timeout=30)
                    pdf_response.raise_for_status() # 检查下载请求是否成功

                    # 将下载内容写入文件
                    with open(full_local_path, 'wb') as fh:
                        for chunk in pdf_response.iter_content(chunk_size=8192):
                            fh.write(chunk)
                    print(f"  成功下载 '{final_filename}'")
                    downloaded_links.append(download_url) # 记录已下载的链接
                except requests.exceptions.RequestException as e:
                    print(f"  下载 '{final_filename}' 失败: {e}")
                except IOError as e:
                    print(f"  写入文件 '{final_filename}' 失败: {e}")

print("
所有任务完成。")
print(f"共下载了 {len(downloaded_links)} 个PDF文件。")

登录后复制

注意事项与最佳实践

文件名合法性:
- Windows、macOS和Linux对文件名有不同的限制。示例代码中对文件名进行了基本清理，移除了Windows不允许的字符。在实际应用中，您可能需要更健壮的逻辑来处理特殊字符、文件名长度限制以及编码问题。
- 如果link.text为空或清理后为空，应有备用方案，例如使用URL中的文件名。
错误处理:
- 网络请求可能失败（如连接超时、DNS解析失败）。使用try-except requests.exceptions.RequestException可以捕获这些错误。
- response.raise_for_status()是一个好习惯，它会在HTTP状态码表示错误时（如4xx或5xx）抛出异常。
- 文件写入也可能失败（如磁盘空间不足、权限问题），应使用try-except IOError捕获。
User-Agent:
- 许多网站会检查User-Agent请求头，以识别请求来源。模拟常见的浏览器User-Agent可以有效避免被网站阻止。
URL编码与解码:
- 虽然requests库通常能很好地处理URL编码，但如果URL中包含非ASCII字符或特殊符号，确保它们被正确编码（例如使用urllib.parse.quote）是重要的。本例中，requests自动处理了大部分情况。
网站访问频率与爬虫道德:
- 自动化脚本应遵守网站的robots.txt协议，并控制访问频率，避免对网站服务器造成过大负担。过于频繁的请求可能导致IP被封禁。
URL中的反斜杠:
- 在Windows环境下，某些网站的URL路径可能错误地使用反斜杠作为分隔符。Python的requests库通常期望URL使用正斜杠/。因此，url_raw.replace('\', '/')是一个重要的处理步骤。
分块下载:
- 对于大型文件，使用stream=True参数和iter_content()方法进行分块下载，可以有效管理内存，避免一次性将整个文件加载到内存中。

总结

通过本教程，您学习了如何利用Python的requests和BeautifulSoup库，高效地从动态网站下载PDF文件，并根据网页上显示的标题自定义文件名。这不仅提升了自动化能力，也使得下载的文档更具可读性和管理性。结合错误处理和最佳实践，您可以构建出稳定可靠的网页内容抓取和下载解决方案。请记住，在进行任何网络爬取活动时，始终要尊重网站的使用条款和robots.txt协议。

以上就是从网站下载PDF并自定义文件名的Python教程的详细内容，更多请关注php中文网其它相关文章！