requests库爬取网页信息时，为何获取内容与浏览器显示不一致？-Python教程-PHP中文网

requests库爬取网页信息时，为何获取内容与浏览器显示不一致？

心靈之曲

发布： 2025-03-14 09:00:15

原创

402人浏览过

requests库爬取网页信息时，为何获取内容与浏览器显示不一致？

Python爬虫requests库与浏览器渲染差异及解决方案

在使用Python的requests库进行网页数据抓取时，经常会遇到获取到的内容与浏览器显示结果不一致的情况。这是因为许多网站使用JavaScript动态加载数据，而requests库仅获取网页的初始HTML源码，无法执行JavaScript代码。

案例分析：物流信息抓取

例如，尝试使用requests库获取特定物流单号（d89f3a35931c386956c1a402a8e09941@11339833）的物流信息，代码如下：

import requests

url = 'http://qqb3c.cn/webapp/orderdetail.html?ordernumber=d89f3a35931c386956c1a402a8e09941@11339833&openid='
headers = {
    'user-agent': 'mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58'
}
response = requests.get(url, headers=headers)
content = response.content.decode('utf-8')
print(content)

登录后复制

由于目标网站可能使用JavaScript动态加载物流信息，上述代码仅获取初始HTML，导致结果与浏览器显示差异很大。

微信 WeLM

WeLM不是一个直接的对话机器人，而是一个补全用户输入信息的生成模型。

查看详情

解决方案：Selenium模拟浏览器行为

为了获取动态加载的数据，可以使用selenium库模拟浏览器行为。以下代码演示如何使用selenium获取物流信息：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 创建浏览器实例 (请确保已安装ChromeDriver并配置好环境变量)
driver = webdriver.Chrome()

# 打开页面
url = "http://qqb3c.cn/webapp/orderDetail.html?orderNumber=D89F3A35931C386956C1A402A8E09941@11339833&openid="
driver.get(url)

# 使用显式等待，等待物流信息元素加载完成 (避免因页面加载速度过慢导致错误)
try:
    logistics_info_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, 'logisticsInfo'))
    )
    logistics_info = logistics_info_element.text
    print(logistics_info)
except Exception as e:
    print(f"获取物流信息失败: {e}")

# 关闭浏览器
driver.quit()

登录后复制

这段代码使用selenium打开网页，并使用WebDriverWait进行显式等待，确保物流信息元素加载完成后再进行提取。 By.ID, 'logisticsInfo' 指定了目标元素的ID，请根据实际网页结构进行修改。错误处理机制也加入其中，以应对可能出现的元素未找到等异常情况。记住安装selenium以及对应的浏览器驱动(如ChromeDriver)。

通过selenium模拟浏览器行为，可以有效解决requests库无法获取动态加载网页内容的问题。注意替换'logisticsInfo'为实际网页中包含物流信息的元素ID或其他合适的定位方式。并且，长时间运行selenium脚本可能会触发反爬虫机制，需要根据实际情况调整策略。

以上就是requests库爬取网页信息时，为何获取内容与浏览器显示不一致？的详细内容，更多请关注php中文网其它相关文章！