使用 Python 递归提取网站所有链接

import requests
import re
from urllib.parse import urljoin, urlparse

def extract_links_from(url):
    """
    从给定的 URL 中提取所有 href 链接。
    """
    try:
        response = requests.get(url, timeout=5) # 添加超时时间
        if response.status_code != 200:
            print(f"Error: Status code {response.status_code} for {url}")
            return []
        content = str(response.content, 'utf-8', errors='ignore') # 指定编码，忽略错误
        links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
        return links
    except requests.exceptions.RequestException as e:
        print(f"Error fetching {url}: {e}")
        return []


def crawl(url, domain, visited=set(), max_depth=5):
    """
    递归地爬取网站链接。

    Args:
        url: 起始 URL。
        domain: 网站域名，用于过滤外部链接。
        visited: 已经访问过的 URL 集合，防止重复访问。
        max_depth: 最大递归深度。

    Returns:
        所有提取到的链接列表。
    """
    if max_depth == 0 or url in visited:
        return []

    visited.add(url)
    href_links = extract_links_from(url)
    links_list = []

    for link in href_links:
        link = urljoin(url, link.split("#")[0])  # 处理锚点链接
        parsed_link = urlparse(link)
        if parsed_link.netloc == domain and link not in visited:
            links_list.append(link)
            links_list.extend(crawl(link, domain, visited, max_depth - 1))
    return links_list

# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc

result = crawl(target_url, domain)
# 去重
result = list(set(result))
print(result)