理解动态网页内容：‘查看页面源代码’与‘审查元素’的区别及Python抓取策略

pip install selenium
# 下载 ChromeDriver: https://chromedriver.chromium.org/downloads
# 将 ChromeDriver 放到系统PATH中或指定其路径

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 指定 ChromeDriver 的路径（如果不在系统PATH中）
# service = webdriver.ChromeService(executable_path='/path/to/chromedriver')
# driver = webdriver.Chrome(service=service)

# 初始化 Chrome 浏览器（默认会在系统PATH中查找 ChromeDriver）
# 可以选择以无头模式运行，不显示浏览器界面，提高效率
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 启用无头模式
options.add_argument('--disable-gpu') # 禁用GPU加速，在无头模式下通常需要
options.add_argument('--no-sandbox') # 解决一些Linux环境下的沙箱问题
options.add_argument('--disable-dev-shm-usage') # 解决/dev/shm空间不足问题

driver = webdriver.Chrome(options=options)

try:
    url = "https://www.apec.fr/candidat/recherche-emploi.html/emploi?motsCles=photoshop&typesContrat=101888&salaireMinimum=72&salaireMaximum=200&page=0"
    driver.get(url)

    # 等待页面加载完成或特定元素出现
    # 这里以等待 class 为 'job-offers-list' 的元素出现为例
    # 你需要根据实际网页结构调整等待条件
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "job-offers-list"))
    )

    # 获取包含动态内容的整个 body 元素的 HTML
    # 或者更精确地查找目标元素
    dynamic_content_html = driver.page_source

    # 如果目标是特定的 <apec-offres> 标签内容
    # 可以通过 CSS 选择器或 XPath 来查找
    apec_offres_element = driver.find_element(By.TAG_NAME, "apec-offres")
    if apec_offres_element:
        print("找到 <apec-offres> 元素。其内部HTML：")
        print(apec_offres_element.get_attribute("outerHTML"))
    else:
        print("未找到 <apec-offres> 元素。")

    # 进一步解析提取到的HTML内容，例如使用BeautifulSoup
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(dynamic_content_html, 'html.parser')
    # 示例：查找所有职位列表项
    job_items = soup.find_all('div', class_='job-item') # 假设职位列表项的class是'job-item'
    for job in job_items:
        title = job.find('h2', class_='job-title').text.strip() # 假设标题在h2标签内
        company = job.find('span', class_='company-name').text.strip() # 假设公司名在span标签内
        print(f"职位: {title}, 公司: {company}")

except Exception as e:
    print(f"发生错误: {e}")
finally:
    driver.quit() # 关闭浏览器

import requests
import json

# 假设通过开发者工具分析，找到了一个返回职位列表的API接口
api_url = "https://www.apec.fr/api/jobs" # 这是一个假设的URL，你需要实际分析
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
    "Accept": "application/json"
}
params = {
    "motsCles": "photoshop",
    "typesContrat": "101888",
    "salaireMinimum": "72",
    "salaireMaximum": "200",
    "page": "0"
}

try:
    response = requests.get(api_url, headers=headers, params=params)
    response.raise_for_status() # 检查HTTP请求是否成功

    data = response.json()
    # 解析 JSON 数据，提取所需信息
    for job in data.get('jobs', []): # 假设JSON中有一个'jobs'列表
        print(f"职位: {job.get('title')}, 公司: {job.get('companyName')}")

except requests.exceptions.RequestException as e:
    print(f"API请求失败: {e}")
except json.JSONDecodeError:
    print("API返回的不是有效的JSON格式。")