理解Selenium独立浏览器实例与爬虫登录策略

import pandas as pd
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

# 配置Chrome选项 (可选，例如无头模式)
chrome_options = Options()
# chrome_options.add_argument("--headless") # 运行在无头模式，不显示浏览器界面
chrome_options.add_argument("--start-maximized") # 启动时最大化窗口

# 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)
wait = WebDriverWait(driver, 20) # 设置最大等待时间为20秒

try:
    # 1. 导航到Twitter登录页面 (实际登录页面可能不同，这里以主页为例，通常会重定向或有登录入口)
    driver.get('https://twitter.com/login')

    # 2. 等待登录表单元素出现并定位
    # 注意：Twitter的登录元素可能会动态变化，以下XPaths仅为示例，实际使用时需根据页面结构调整
    username_field = wait.until(EC.presence_of_element_located((By.NAME, "text")))
    # 输入用户名/邮箱/手机号
    username_field.send_keys("您的Twitter用户名或邮箱")

    # 模拟点击“下一步”按钮（如果存在）
    next_button_xpath = "//div[@role='button']//span[contains(text(),'下一步')]"
    next_button = wait.until(EC.element_to_be_clickable((By.XPATH, next_button_xpath)))
    next_button.click()

    # 等待密码输入框出现
    password_field = wait.until(EC.presence_of_element_located((By.NAME, "password")))
    # 输入密码
    password_field.send_keys("您的Twitter密码")

    # 定位并点击登录按钮
    login_button_xpath = "//div[@data-testid='LoginForm_Login_Button']" # 示例XPath
    login_button = wait.until(EC.element_to_be_clickable((By.XPATH, login_button_xpath)))
    login_button.click()

    # 3. 等待登录成功后的页面加载（例如，等待主页内容出现）
    # 这里可以等待搜索框或feed流等元素出现
    wait.until(EC.url_contains("twitter.com/home")) # 等待URL变为home页
    print("成功登录Twitter！")

    # 4. 登录成功后，导航到目标搜索页面并开始抓取
    driver.get('https://twitter.com/search?q=python&src=typed_query')
    time.sleep(5) # 给予页面加载时间，尽管WebDriverWait更推荐

    tweets = driver.find_elements(By.XPATH, '//article[@role="article"]')

    user_data = []
    text_data = []

    for tweet in tweets:
        try:
            # 修正：find_element (singular) for a single element, and use relative XPath
            user_element = tweet.find_element(By.XPATH, './/span[contains(text(),"@")]')
            user = user_element.text if user_element else ''

            text_element = tweet.find_element(By.XPATH, './/div[@lang]')
            text = text_element.text if text_element else ''

            # 修正：append到列表中
            user_data.append(user)
            text_data.append(text)
        except Exception as e:
            print(f"解析推文时出错: {e}")
            continue

    df_tweets = pd.DataFrame({'user': user_data, 'text': text_data})
    df_tweets.to_csv('tweets.csv', index=False)
    print("推文数据已保存到 tweets.csv")
    print(df_tweets.head())

except Exception as e:
    print(f"操作过程中发生错误: {e}")

finally:
    driver.quit() # 确保关闭浏览器

import pandas as pd
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

# 替换为您的Chrome用户数据目录的绝对路径
# 注意：在Windows上，路径可能包含空格，且需要使用双反斜杠或原始字符串
# 例如：r"C:\Users\YourUser\AppData\Local\Google\Chrome\User Data"
# 或者："/Users/YourUser/Library/Application Support/Google/Chrome"
USER_DATA_DIR = "您的Chrome用户数据目录的绝对路径"
# 如果您有多个配置文件（如Profile 1, Profile 2），您可能还需要指定 --profile-directory
# 例如：PROFILE_DIRECTORY = "Profile 1"

chrome_options = Options()
chrome_options.add_argument(f"user-data-dir={USER_DATA_DIR}")
# 如果需要指定具体的Profile，取消注释下面一行并替换
# chrome_options.add_argument(f"profile-directory={PROFILE_DIRECTORY}")

# 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)

try:
    # 导航到目标网站，此时应该已经处于登录状态（如果配置文件中包含登录信息）
    driver.get('https://twitter.com/search?q=python&src=typed_query')
    driver.maximize_window() # 最大化窗口

    time.sleep(5) # 给予页面加载时间

    # 检查是否成功加载了登录状态（例如，通过查找登录后才能看到的元素）
    # 这里可以添加一个判断，如果依然要求登录，则说明配置文件无效或未包含登录信息
    if "login" in driver.current_url.lower():
        print("警告：加载用户配置文件后仍需登录，请检查USER_DATA_DIR是否正确或配置文件是否包含登录信息。")
        # 此时可以尝试执行自动化登录作为备用方案
    else:
        print("成功加载用户配置文件，可能已处于登录状态。")

    tweets = driver.find_elements(By.XPATH, '//article[@role="article"]')

    user_data = []
    text_data = []

    for tweet in tweets:
        try:
            user_element = tweet.find_element(By.XPATH, './/span[contains(text(),"@")]')
            user = user_element.text if user_element else ''

            text_element = tweet.find_element(By.XPATH, './/div[@lang]')
            text = text_element.text if text_element else ''

            user_data.append(user)
            text_data.append(text)
        except Exception as e:
            print(f"解析推文时出错: {e}")
            continue

    df_tweets = pd.DataFrame({'user': user_data, 'text': text_data})
    df_tweets.to_csv('tweets.csv', index=False)
    print("推文数据已保存到 tweets.csv")
    print(df_tweets.head())

except Exception as e:
    print(f"操作过程中发生错误: {e}")

finally:
    driver.quit()