如何使用 python 从网站首页获取所有 url
对于初学者来说，获取一个电商网站的所有商品 url 可能会让人感到迷惑。现有的解决方案通常只获取当前网页的 url，而无法获取整个网站的所有 url。
解决方案
要解决这个难题，我们需要采用一种迭代的方法：
立即学习“Python免费学习笔记（深入）”；
示例代码（使用 selenium）：
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://www.example.com")
initial_urls = []
for link in driver.find_elements(By.TAG_NAME, "a"):
initial_urls.append(link.get_attribute("href"))
all_urls = initial_urls
for url in initial_urls:
driver.get(url)
for link in driver.find_elements(By.TAG_NAME, "a"):
new_url = link.get_attribute("href")
if new_url not in all_urls:
all_urls.append(new_url)
driver.quit()
unique_urls = set(all_urls)请注意，获取网站的所有 url 可能是一个耗时且资源密集的任务。为了提高效率，您需要优化网络爬虫的性能，例如设置爬虫频率和处理重定向。
以上就是如何使用 Python 从电商网站首页获取所有商品 URL？的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
219
