解析动态网页内容：‘查看页面源代码’与‘审查元素’的差异及Python抓取策略

pip install selenium
# 您还需要下载与您Chrome浏览器版本匹配的ChromeDriver：
# 访问 https://chromedriver.chromium.org/downloads
# 下载后将其放置在系统PATH中，或指定其路径。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 指定ChromeDriver的路径（如果不在系统PATH中）
# service = Service(executable_path='/path/to/chromedriver')
# driver = webdriver.Chrome(service=service)

# 如果ChromeDriver在系统PATH中，可以直接这样初始化
driver = webdriver.Chrome()

try:
    # 目标URL
    url = "https://www.apec.fr/candidat/recherche-emploi.html/emploi?motsCles=photoshop&typesContrat=101888&salaireMinimum=72&salaireMaximum=200&page=0"
    driver.get(url)

    # 等待页面加载完成，特别是等待JavaScript执行并生成内容
    # 这里可以根据实际情况调整等待时间或等待特定元素出现
    # 例如，等待class为'apec-offres'的元素出现
    wait = WebDriverWait(driver, 20) # 最多等待20秒

    # 示例：等待某个包含动态内容的元素出现
    # 假设动态内容最终会出现在一个具有特定class或id的元素内部
    # 这里的'apec-offres'可能是一个自定义标签，我们可能需要找到其内部的实际内容容器
    # 假设动态内容最终在一个class为'job-offers-list'的div中
    # 您需要根据实际网页结构调整这里的定位器
    try:
        job_offers_container = wait.until(
            EC.presence_of_element_located((By.CLASS_NAME, "apec-offres")) # 假设apec-offres是class名
        )
        print("动态内容容器已加载。")
    except Exception as e:
        print(f"等待动态内容容器超时或出错: {e}")
        # 如果apec-offres是自定义标签名，可能需要用tag_name定位
        try:
            job_offers_container = wait.until(
                EC.presence_of_element_located((By.TAG_NAME, "apec-offres"))
            )
            print("动态内容自定义标签已加载。")
        except Exception as e_tag:
            print(f"等待动态内容自定义标签超时或出错: {e_tag}")
            print("尝试直接获取整个页面的HTML，然后解析。")

    # 获取整个页面的HTML内容，此时已包含JavaScript动态生成的部分
    page_source = driver.page_source
    # print(page_source) # 打印完整的HTML以供调试

    # 从page_source中提取您需要的内容
    # 可以使用BeautifulSoup等库进一步解析page_source
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(page_source, 'html.parser')

    # 查找并提取apec-offres标签内的内容
    # 假设apec-offres标签内部是实际的招聘信息
    apec_offres_tag = soup.find('apec-offres')
    if apec_offres_tag:
        print("\n--- 从apec-offres标签中提取的内容 ---")
        # 打印其内部的文本内容，或进一步解析其子元素
        print(apec_offres_tag.get_text(separator='\n', strip=True))

        # 示例：如果apec-offres内部有多个招聘卡片，可以这样遍历
        # job_cards = apec_offres_tag.find_all('div', class_='job-card')
        # for card in job_cards:
        #     title = card.find('h2', class_='job-title').text.strip()
        #     company = card.find('span', class_='company-name').text.strip()
        #     print(f"职位: {title}, 公司: {company}")
    else:
        print("未找到apec-offres标签或其内容为空。")

finally:
    # 关闭浏览器
    driver.quit()