本教程详细介绍了如何使用Python从ASP网站下载PDF文件，并根据HTML `` 标签的显示文本来命名本地文件。通过`requests`库处理HTTP请求和`BeautifulSoup`解析HTML，我们能够准确提取下载链接和用户友好的文件名，解决了直接使用URL文件名不直观的问题。文章涵盖了环境设置、HTML解析、URL处理、文件下载与保存等关键步骤，并提供了完整的示例代码和注意事项。
在自动化数据抓取和文件下载的场景中，我们经常需要从网站上下载文件，并以一种更具描述性或用户友好的方式来命名这些文件，而不是简单地沿用URL中自带的文件名。特别是在处理动态生成的页面或链接时，HTML 标签的文本内容往往能提供比URL本身更清晰的文件描述。本教程将以从ASP网站下载PDF文件为例，详细讲解如何利用Python实现这一目标。
1. 准备工作
在开始之前，我们需要安装一些必要的Python库。requests库用于处理HTTP请求，而BeautifulSoup（通常与解析器如lxml或html.parser配合使用）则用于解析HTML内容。
pip install requests beautifulsoup4 lxml
接下来，导入所需的模块：
立即学习“Python免费学习笔记（深入）”；
import os import requests from bs4 import BeautifulSoup
2. 发送HTTP POST请求获取页面内容
许多网站，尤其是ASP站点，会通过POST请求来动态加载内容。我们需要模拟这种请求以获取包含PDF链接的HTML页面。这通常涉及构建请求的URL、headers以及请求体（payload）。
# 目标网站的基础URL
base_url = "https://www.svpo.nl/curriculum.asp"
# 模拟浏览器发送请求的User-Agent，以避免被网站识别为爬虫
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
# 示例：定义需要请求的课程和科目
klassen = ['1e klas']
vakken = ['Wiskunde']
# 定义文件保存的根目录
output_root_path = r'c:\books' # 使用原始字符串避免反斜杠转义问题
# 循环处理每个课程和科目
for klas in klassen:
for vak in vakken:
# 构建当前科目和课程的输出路径
current_output_path = os.path.join(output_root_path, klas, vak)
# 如果目录不存在，则创建它。exist_ok=True 避免目录已存在时报错
os.makedirs(current_output_path, exist_ok=True)
# 构建POST请求的payload
payload = {'vak': vak, 'klas_en_schoolsoort': klas}
# 发送POST请求获取页面内容
try:
response = requests.post(base_url, data=payload, headers=headers, timeout=10)
response.raise_for_status() # 检查HTTP请求是否成功 (200 OK)
print(f"成功获取 {klas} - {vak} 的页面内容。")
except requests.exceptions.RequestException as e:
print(f"获取 {klas} - {vak} 页面内容失败: {e}")
continue # 跳过当前科目，处理下一个3. 解析HTML内容提取PDF链接和名称
获取到页面HTML内容后，我们需要使用BeautifulSoup来解析它，找到所有指向PDF文件的链接，并提取其文本内容作为文件名。
# 使用lxml解析器解析HTML内容
soup = BeautifulSoup(response.text, "lxml")
# 查找所有带有'href'属性的标签
all_links = soup.find_all('a', {'href': True})
for link_tag in all_links:
pdf_url = link_tag.get('href')
# 检查链接是否以'.pdf'结尾（不区分大小写）
if pdf_url and pdf_url.lower().endswith('.pdf'):
# 提取标签的文本内容作为文件名
# 例如：Chapter 3 - Weird science -> "Chapter 3 - Weird science"
display_name = link_tag.text.strip()
# 处理URL路径和文件名
# 网站URL中可能使用反斜杠，HTTP URL应使用正斜杠
pdf_url = pdf_url.replace('\\', '/')
# 构造本地保存的文件名。注意添加'.pdf'后缀
# 示例： "Chapter 3 - Weird science" -> "Chapter 3 - Weird science.pdf"
filename = f"{display_name}.pdf"
# 构建完整的本地文件路径
full_file_path = os.path.join(current_output_path, filename)
print(f"发现PDF: {display_url}，将保存为: {full_file_path}")
# 下载并保存PDF文件
try:
pdf_response = requests.get(pdf_url, stream=True, timeout=15) # 使用stream=True处理大文件
pdf_response.raise_for_status()
with open(full_file_path, 'wb') as f:
for chunk in pdf_response.iter_content(chunk_size=8192):
f.write(chunk)
print(f"成功下载并保存: {filename}")
except requests.exceptions.RequestException as e:
print(f"下载 {pdf_url} 失败: {e}")
except IOError as e:
print(f"保存文件 {full_file_path} 失败: {e}")
print('---')4. 完整示例代码
以下是整合了所有步骤的完整Python脚本，用于从ASP网站下载PDF文件并根据链接文本自定义文件名。
import os
import requests
from bs4 import BeautifulSoup
def download_pdfs_with_custom_names(base_url, output_root_path, klassen, vakken):
"""
从指定ASP网站下载PDF文件，并根据HTML链接文本自定义文件名。
Args:
base_url (str): 目标网站的URL。
output_root_path (str): 文件保存的根目录。
klassen (list): 包含课程名称的列表。
vakken (list): 包含科目名称的列表。
"""
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
print(f"开始从 {base_url} 下载PDF文件https://www.php.cn/link/263b1241243ca2dbeb358777ceabc4a2e4c")
for klas in klassen:
for vak in vakken:
current_output_path = os.path.join(output_root_path, klas, vak)
os.makedirs(current_output_path, exist_ok=True)
print(f"\n--- 处理 {klas} - {vak} ---")
payload = {'vak': vak, 'klas_en_schoolsoort': klas}
# 1. 发送POST请求获取页面内容
try:
response = requests.post(base_url, data=payload, headers=headers, timeout=10)
response.raise_for_status() # 检查HTTP请求是否成功
print(f"成功获取 {klas} - {vak} 的页面内容。")
except requests.exceptions.RequestException as e:
print(f"获取 {klas} - {vak} 页面内容失败: {e}")
continue
# 2. 解析HTML内容提取PDF链接和名称
soup = BeautifulSoup(response.text, "lxml")
all_links = soup.find_all('a', {'href': True})
pdfs_found = False
for link_tag in all_links:
pdf_url = link_tag.get('href')
if pdf_url and pdf_url.lower().endswith('.pdf'):
pdfs_found = True
display_name = link_tag.text.strip()
# 统一URL中的斜杠，确保HTTP请求正确
pdf_url = pdf_url.replace('\\', '/')
# 构造本地保存的文件名
filename = f"{display_name}.pdf"
# 清理文件名中可能存在的非法字符（Windows/Linux路径限制）
# 这是一个简单的清理，更健壮的方案可能需要正则表达式
# 这里假设 display_name 已经相对干净
invalid_chars = '<>:"/\\|?*'
for char in invalid_chars:
filename = filename.replace(char, '_')
full_file_path = os.path.join(current_output_path, filename)
print(f" - 发现PDF: {pdf_url}")
print(f" 将保存为: {full_file_path}")
# 3. 下载并保存PDF文件
try:
# 使用 stream=True 和 iter_content 处理大文件，节省内存
pdf_response = requests.get(pdf_url, stream=True, timeout=15)
pdf_response.raise_for_status()
with open(full_file_path, 'wb') as f:
for chunk in pdf_response.iter_content(chunk_size=8192):
f.write(chunk)
print(f" 成功下载并保存: {filename}")
except requests.exceptions.RequestException as e:
print(f" 下载 {pdf_url} 失败: {e}")
except IOError as e:
print(f" 保存文件 {full_file_path} 失败: {e}")
if not pdfs_found:
print(f" - 未在 {klas} - {vak} 页面中找到任何PDF链接。")
print("\n所有PDF下载任务完成。")
# 配置参数并运行脚本
if __name__ == "__main__":
target_base_url = "https://www.svpo.nl/curriculum.asp"
output_directory = r'c:\books' # Windows路径建议使用原始字符串
# 示例课程和科目列表，可以根据需要扩展
target_klassen = ['1e klas']
target_vakken = ['Wiskunde']
# target_vakken = ['Engels','Aardrijkskunde','Economie', 'Filosofie','Frans', 'Geschiedenis', \
# 'Nask', 'Natuurkunde', 'Nederlands', 'Scheikunde', 'Spaans', 'Wiskunde',\
# 'Biologie', 'Duits', 'Grieks','Latijn','Leesmateriaal', \
# 'Loopbaanorientatie','NLT']
download_pdfs_with_custom_names(target_base_url, output_directory, target_klassen, target_vakken)5. 注意事项与最佳实践
- 错误处理： 在网络请求和文件操作中，错误是常见的。示例代码中包含了try-except块来捕获requests相关的异常（如网络连接问题、HTTP状态码非200）和IOError（如文件写入权限问题），这对于程序的健壮性至关重要。
- User-Agent： 设置User-Agent请求头是模拟浏览器行为的关键。一些网站会检查此头信息，如果缺失或设置为默认值，可能会拒绝请求。
- URL中的反斜杠： 在Windows路径中，反斜杠\是分隔符。但在HTTP URL中，正斜杠/才是标准分隔符。某些网站的href属性可能会错误地使用反斜杠。在下载前，务必使用pdf_url.replace('\\', '/')进行替换，以确保URL的正确性。
- 文件名合法性： link.text可能包含特殊字符，在某些操作系统（尤其是Windows）中，这些字符不允许出现在文件名中（例如:"/\|?*）。在保存文件前，建议对filename进行清理，替换或移除这些非法字符，以避免IOError。示例代码中提供了一个简单的清理方式。
- 大文件下载： 对于大型PDF文件，使用requests.get(url, stream=True)并在iter_content中分块写入文件，可以避免一次性将整个文件加载到内存中，从而节省内存并提高效率。
- 超时设置： 在requests.post和requests.get中设置timeout参数可以防止程序因网络无响应而无限期等待。
- os.path.join： 使用os.path.join来拼接文件路径是跨平台兼容的最佳实践，它会自动根据操作系统的不同使用正确的路径分隔符。
- os.makedirs(https://www.php.cn/link/263b1241243ca2dbeb358777ceabc4a2e4c, exist_ok=True)： 创建目录时，使用exist_ok=True可以避免在目录已存在时抛出错误，使代码更简洁。
总结
本教程详细演示了如何使用Python的requests和BeautifulSoup库，从动态生成的网页中提取PDF下载链接和用户友好的显示名称，并将其保存到本地文件系统。通过自定义文件名，我们不仅提高了下载文件的可读性，也展示了Python在网页内容自动化处理方面的强大能力。掌握这些技术，您可以更高效地进行网络数据抓取和文件管理。
