如何高效爬取花瓣网并获取所有图片？-Python教程-PHP中文网

如何高效爬取花瓣网并获取所有图片？

聖光之護

发布： 2025-02-20 17:18:21

原创

281人浏览过

花瓣网图片爬取及分页策略详解

本文介绍如何高效爬取花瓣网图片，并重点讲解如何获取后续页面数据，实现完整图片下载。

如何高效爬取花瓣网并获取所有图片？

高效爬取的关键：获取最大值 (max)

花瓣网的API分页机制依赖于max参数，它代表了当前页面最后一个pin的ID。要实现完整爬取，我们需要在每次爬取页面后，提取该页面的最后一个pin ID，并将其作为下一个页面的max参数，以此循环获取所有数据。

代码改进与详解

以下代码实现了这一策略：

import re
import time
import json
import requests
import os

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

directory = input('请输入要创建的文件夹名称：\n')
fileName = 'huabanimg/' + directory + '/'
if not os.path.exists(fileName):
    os.makedirs(fileName)

board_id = int(input('请输入需要抓取的花瓣board ID：\n'))
url = f'https://api.huaban.com/boards/{board_id}/pins?limit=20'

max_id = None

while True:
    response = requests.get(url, headers=headers)
    text = response.text

    # 使用正则表达式提取pin key，更稳健
    pin_keys = re.findall(r'"key":"([^"]+)"', text)

    if not pin_keys:  # 检查是否获取到数据
        print("未获取到图片数据，可能已到达最后一页或出现错误。")
        break

    last_pin_id = pin_keys[-1]

    for i, key in enumerate(pin_keys):
        img_url = f'https://hbimg.huabanimg.com/{key}_fw658'
        img_name = key[:10]
        print(f'正在下载第 {i+1} 张图片...')

        try:
            img_data = requests.get(img_url, headers=headers, stream=True)
            img_data.raise_for_status() # 检查HTTP状态码，抛出异常处理错误

            with open(fileName + img_name + '.jpeg', 'wb') as f:
                for chunk in img_data.iter_content(chunk_size=8192):
                    f.write(chunk)
        except requests.exceptions.RequestException as e:
            print(f"下载图片 {img_url} 失败: {e}")
            continue # 跳过失败的图片

        time.sleep(2)  # 添加延时，避免请求过快

    max_id = last_pin_id
    url = f'https://api.huaban.com/boards/{board_id}/pins?max={max_id}&limit=20'

    if max_id == '0' or len(pin_keys) < 20: # 更可靠的结束条件
        break

print("图片下载完成！")

登录后复制

代码改进说明: