使用Selenium和Python从动态加载的网页表格中精准提取数据

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException, StaleElementReferenceException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time

# 定义目标URL
url = 'https://www.tradingview.com/markets/stocks-turkey/market-movers-all-stocks/'

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
# 最大化浏览器窗口，有助于确保所有元素可见
driver.maximize_window()
# 访问目标网页
driver.get(url)

print("开始加载所有数据...")
while True:
    try:
        # 尝试查找并点击“Load More”按钮
        # 使用text()函数定位包含特定文本的span元素
        load_more_button = driver.find_element(By.XPATH, '//span[text()="Load More"]')
        load_more_button.click()
        # 添加一个短暂的等待，让页面有时间响应点击并加载新内容
        time.sleep(0.5) 
    except StaleElementReferenceException:
        # 当“Load More”按钮不再出现或其引用失效时，说明所有内容已加载，跳出循环
        print("所有数据已加载或“加载更多”按钮已消失。")
        break
    except NoSuchElementException:
        # 如果一开始就没有找到“Load More”按钮，或者所有数据加载完毕后按钮彻底消失，也跳出循环
        print("未找到“加载更多”按钮，可能已加载完毕或页面结构不同。")
        break
    except Exception as e:
        # 捕获其他可能的异常
        print(f"点击“加载更多”时发生未知错误: {e}")
        break

print("开始提取数据...")
# 初始化WebDriverWait，设置最大等待时间为10秒
wait = WebDriverWait(driver, 10)
# 等待所有具有特定CSS选择器的表格行可见
# 'table[class="table-Ngq2xrcG"] tr.listRow' 精确定位到表格主体内的每一行数据
rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR,'table[class="table-Ngq2xrcG"] tr.listRow')))

# 遍历每一行并提取数据
for i, row in enumerate(rows):
    try:
        # 提取股票代码：位于第一个<td>内的<a>标签文本
        ticker_symbol = row.find_element(By.XPATH, './td[1]//a').text
        # 提取股票名称：位于第一个<td>内的<sup>标签文本
        ticker_name = row.find_element(By.XPATH, './td[1]//sup').text
        # 提取价格：位于第二个<td>的文本
        ticker_price = row.find_element(By.XPATH, './td[2]').text
        # 提取市值：位于第六个<td>的文本
        ticker_marketcap = row.find_element(By.XPATH, './td[6]').text

        # 提取行业：位于第十一个<td>内的<a>标签文本
        # 注意：某些行可能没有行业信息，需要使用try-except处理NoSuchElementException
        try:
            ticker_sector = row.find_element(By.XPATH, './td[11]/a').text
        except NoSuchElementException:
            ticker_sector = "—" # 如果没有找到，则设置为默认值

        # 打印提取到的数据
        print(f"{i+1}. {ticker_symbol} {ticker_name} {ticker_price} {ticker_marketcap} {ticker_sector}")
    except Exception as e:
        print(f"提取第 {i+1} 行数据时发生错误: {e}")
        # 可以选择跳过此行或记录错误信息

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException, StaleElementReferenceException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time

# 定义目标URL
url = 'https://www.tradingview.com/markets/stocks-turkey/market-movers-all-stocks/'

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
driver.maximize_window() # 最大化窗口
driver.get(url) # 访问网页

print("开始加载所有数据...")
# 循环点击“加载更多”按钮，直到所有数据加载完毕
while True:
    try:
        # 尝试查找并点击“Load More”按钮
        load_more_button = driver.find_element(By.XPATH, '//span[text()="Load More"]')
        load_more_button.click()
        time.sleep(0.5) # 稍微等待，减少StaleElementReferenceException的发生几率
    except StaleElementReferenceException