Python 爬虫跳到下一页的方法有:通过文本查找通过类名或 XPath 查找根据 URL 自增使用 Selenium 的 submit() 方法使用正则表达式匹配 URL

如何使用 Python 爬虫跳到下一页
在 Python 爬虫中,跳到下一页通常可以通过以下方法实现:
1. 使用 find_element_by_link_text()
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
next_page_link = driver.find_element_by_link_text("下一页")
next_page_link.click()2. 使用 find_element_by_class_name() 或 find_element_by_xpath()
立即学习“Python免费学习笔记(深入)”;
next_page_link = driver.find_element_by_class_name("next-page-link")
# or
next_page_link = driver.find_element_by_xpath("//a[contains(@href, 'page=2')]")
next_page_link.click()3. 使用循环根据 URL 自增
current_url = driver.current_url
page_number = int(current_url.split("page=")[1]) + 1
new_url = current_url.replace("page=" + str(page_number), "page=" + str(page_number + 1))
driver.get(new_url)4. 使用 Selenium 的 submit() 方法
next_page_form = driver.find_element_by_name("pagination-form")
next_page_button = next_page_form.find_element_by_name("next-page-button")
next_page_button.submit()5. 使用正则表达式匹配 URL
import re current_url = driver.current_url next_page_url = re.sub(r"page=\d+", "page=" + str(page_number + 1), current_url) driver.get(next_page_url)
使用上述方法,可以实现 Python 爬虫跳到下一页的功能,以便爬取多页数据。











