使用 Python 爬取两个网页的方法：安装 Requests 库；导入 Requests 库；向第一个网页发送 HTTP GET 请求并处理响应；向第二个网页发送 HTTP GET 请求并处理响应；使用合适的库分析和处理网页 HTML 内容，提取所需数据。
如何使用 Python 爬取两个网页
步骤 1：安装 Python 库
首先，你需要安装 Requests 库，它是一个用于发送 HTTP 请求的 Python 库。你可以使用以下命令安装它：
pip install requests
步骤 2：导入库
立即学习“Python免费学习笔记（深入）”；
在你的 Python 脚本中，导入 Requests 库：
import requests
步骤 3：发送第一个请求
使用 get() 方法向第一个网页发送 HTTP GET 请求。该方法返回一个 Response 对象，其中包含网页的内容。
url1 = 'https://example.com/page1' response1 = requests.get(url1)
步骤 4：处理第一个响应
检查 response1 的状态码是否为 200，这表示请求成功。然后，你可以使用 response1.text 属性获取网页的 HTML 内容。
if response1.status_code == 200:
html1 = response1.text步骤 5：发送第二个请求
使用 get() 方法向第二个网页发送 HTTP GET 请求。
url2 = 'https://example.com/page2' response2 = requests.get(url2)
步骤 6：处理第二个响应
以与步骤 4 相同的方式检查和处理 response2。
if response2.status_code == 200:
html2 = response2.text步骤 7：分析和处理数据
现在，你已经拥有了两个网页的 HTML 内容。你可以使用 BeautifulSoup 等库来分析和处理这些内容，提取所需的数据。
示例代码
以下是爬取两个网页并打印网页标题的示例代码：
import requests
from bs4 import BeautifulSoup
url1 = 'https://example.com/page1'
url2 = 'https://example.com/page2'
response1 = requests.get(url1)
if response1.status_code == 200:
html1 = response1.text
response2 = requests.get(url2)
if response2.status_code == 200:
html2 = response2.text
soup1 = BeautifulSoup(html1, 'html.parser')
soup2 = BeautifulSoup(html2, 'html.parser')
title1 = soup1.find('title').text
title2 = soup2.find('title').text
print(title1)
print(title2) 
