如何用Python实现一个简单的爬虫？

requests

BeautifulSoup

requests

BeautifulSoup

http://example.com/blog

import requests
from bs4 import BeautifulSoup
import time # 为了礼貌和避免被封，加个延时

def simple_blog_crawler(url):
    try:
        # 模拟浏览器发送请求，带上User-Agent是个好习惯
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
        }
        response = requests.get(url, headers=headers, timeout=10) # 设置超时，防止无限等待
        response.raise_for_status() # 如果请求不成功（比如404, 500），会抛出HTTPError异常

        # 设置编码，防止中文乱码，通常requests会自动识别，但手动指定更保险
        response.encoding = response.apparent_encoding

        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')

        # 假设文章标题都在h2标签内，链接在h2下的a标签里
        # 这是一个常见的CSS选择器用法，你可能需要根据实际网页结构调整
        articles = soup.select('div.article-list h2 a') # 假设文章列表在div.article-list里

        if not articles:
            print(f"在 {url} 未找到文章标题，请检查选择器或网页结构。")
            return []

        extracted_data = []
        for article in articles:
            title = article.get_text(strip=True) # 获取标签内的文本，并去除空白符
            link = article.get('href') # 获取a标签的href属性

            # 有时候链接可能是相对路径，需要拼接成绝对路径
            if link and not link.startswith(('http://', 'https://')):
                from urllib.parse import urljoin
                link = urljoin(url, link)

            extracted_data.append({'title': title, 'link': link})

        return extracted_data

    except requests.exceptions.RequestException as e:
        print(f"请求 {url} 时发生错误: {e}")
        return []
    except Exception as e:
        print(f"解析 {url} 时发生未知错误: {e}")
        return []

if __name__ == "__main__":
    target_url = "http://quotes.toscrape.com/" # 换成一个实际存在的、适合爬取的网站
    print(f"正在抓取 {target_url} 的内容...")

    # 实际运行时，请务必遵守网站的robots.txt协议和使用条款
    # 为了演示，这里假设可以抓取
    data = simple_blog_crawler(target_url)

    if data:
        for item in data:
            print(f"标题: {item['title']}, 链接: {item['link']}")
    else:
        print("未能成功抓取任何数据。")

    time.sleep(2) # 抓取完一页，休息一下

soup.select()

robots.txt

robots.txt

yourdomain.com/robots.txt

try-except

requests.get()

response.raise_for_status()

BeautifulSoup

time.sleep()

time.sleep()

requests

BeautifulSoup

requests

requests

Selenium

Selenium

Selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 假设你已经下载了chromedriver并放在了系统路径中，或者指定了路径
# driver = webdriver.Chrome('/path/to/chromedriver') # 如果不在系统路径
driver = webdriver.Chrome() # 如果在系统路径

try:
    driver.get("http://your-dynamic-website.com") # 替换成实际的动态网站

    # 等待某个元素加载完成，比如页面上的某个主要内容区域
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "main-content"))
    )
    print("页面主要内容已加载。")

    # 模拟点击“加载更多”按钮
    # 假设“加载更多”按钮的ID是'load-more-button'
    try:
        load_more_button = WebDriverWait(driver, 5).until(
            EC.element_to_be_clickable((By.ID, "load-more-button"))
        )
        load_more_button.click()
        print("点击了'加载更多'按钮。")
        # 再次等待新内容加载
        time.sleep(3) # 简单粗暴的等待，更推荐使用WebDriverWait
    except:
        print("未找到或无法点击'加载更多'按钮，可能已加载全部或没有此按钮。")

    # 获取渲染后的页面HTML
    rendered_html = driver.page_source

    # 此时你可以用BeautifulSoup解析rendered_html了
    # from bs4 import BeautifulSoup
    # soup = BeautifulSoup(rendered_html, 'html.parser')
    # ... 进行数据提取 ...
    print("成功获取渲染后的页面内容。")

finally:
    driver.quit() # 无论成功失败，都要关闭浏览器

Selenium

Selenium

robots.txt

robots.txt