应对BeautifulSoup爬取困境：动态内容与反爬虫机制的解决方案

import requests
from bs4 import BeautifulSoup

url = 'https://www.binance.com/es-LA/altcoins/new'

# 模拟浏览器User-Agent，这是绕过许多简单反爬虫的第一步
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

try:
    # 发送带User-Agent的GET请求
    response = requests.get(url, headers=headers)

    # 检查HTTP状态码
    if response.status_code == 200:
        print("请求成功，状态码为 200。")
        soup = BeautifulSoup(response.text, 'html.parser')

        # 尝试查找目标元素 (例如，原问题中的 'css-1t63o3e')
        # 注意：动态生成的CSS类名可能不稳定，实际应用中应寻找更稳定的定位方式
        target_element = soup.find(name='div', attrs={'class': "css-1t63o3e"})

        if target_element:
            print("成功找到目标元素！")
            # 在这里可以进一步解析 target_element 的内容
            print(target_element.prettify())
        else:
            print("使用User-Agent后仍未找到目标元素。这可能意味着内容是动态加载的，或有更复杂的反爬虫机制。")
            # 可以打印部分HTML内容进行调试
            # print(soup.prettify()[:1000]) # 打印前1000字符
    else:
        print(f"请求失败，状态码为 {response.status_code}。请检查URL或Headers。")
        print(response.text) # 打印响应内容以调试
except requests.exceptions.RequestException as e:
    print(f"请求发生错误: {e}")

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time

url = 'https://www.binance.com/es-LA/altcoins/new'

# 配置Chrome浏览器选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 启用无头模式，不显示浏览器界面
chrome_options.add_argument("--disable-gpu") # 禁用GPU硬件加速，在某些系统上可能解决兼容性问题
chrome_options.add_argument("--no-sandbox") # 禁用沙箱模式，在某些Linux环境中可能需要
# 添加User-Agent，进一步模拟真实浏览器
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

# 初始化WebDriver
# 确保chromedriver在系统PATH中，或者指定Service的路径
# 例如：service = Service('/path/to/your/chromedriver')
# driver = webdriver.Chrome(service=service, options=chrome_options)
driver = webdriver.Chrome(options=chrome_options) # 如果chromedriver在PATH中，可以直接这样初始化

try:
    driver.get(url)
    # 等待页面内容完全加载。对于动态页面，可能需要等待几秒或使用显式等待条件
    time.sleep(5) # 简单粗暴的等待，实际项目中推荐使用WebDriverWait

    # 获取执行JavaScript后的页面HTML内容
    rendered_html = driver.page_source
    soup = BeautifulSoup(rendered_html, 'html.parser')

    # 尝试查找目标元素
    target_element = soup.find(name='div', attrs={'class': "css-1t63o3e"})

    if target_element:
        print("使用Selenium成功找到目标元素！")
        print(target_element.prettify())
        # 在这里可以进一步提取数据
    else:
        print("使用Selenium仍未找到目标元素。请检查选择器或等待时间是否足够。")

except Exception as e:
    print(f"发生错误: {e}")
finally:
    driver.quit() # 无论成功与否，最后都要关闭浏览器实例