通过以下步骤使用 Python 爬取工商网：1. 安装 requests 和 BeautifulSoup4；2. 构建请求，指定 URL 和请求头；3. 解析 HTML 响应，提取所需数据；4. 使用 BeautifulSoup 查找器提取数据；5. 清理数据并存储为所需格式；6. 分页处理，如果数据分布在多页，则重复步骤 2-5。
如何使用 Python 爬取工商网
方法：
1. 安装必要的库
- requests
- beautifulsoup4
2. 构建请求
立即学习“Python免费学习笔记（深入）”；
- 确定目标网站的 URL。
- 创建一个 HTTP 请求，指定 URL、请求头和其他必要的参数。
3. 解析 HTML
- 发送请求并获取 HTML 响应。
- 使用 BeautifulSoup 解析 HTML，提取所需数据。
4. 提取数据
- 识别页面中包含相关数据的元素。
- 使用 BeautifulSoup 的子元素和属性查找器来提取所需数据。
5. 处理数据
- 清理提取的数据，删除不必要的字符或标签。
- 将数据存储为所需格式，例如 JSON 或 CSV。
6. 分页处理（可选）
- 如果数据分布在多个页面，请使用分页参数获取后续页面。
- 重复第 2-5 步以提取所有页面上的数据。
示例代码：
import requests
from bs4 import BeautifulSoup
# URL of the工商网 search page
url = 'https://www.gsxt.gov.cn/index'
# HTTP request headers
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# Send the request and get the HTML response
response = requests.get(url, headers=headers)
# Parse the HTML
soup = BeautifulSoup(response.text, 'html.parser')
# Find the element containing the search results
results = soup.find('div', class_='list_search')
# Extract company names and registration numbers
company_names = [result.find('a').text for result in results.findAll('li')]
registration_numbers = [result.find('span').text for result in results.findAll('li')]
# Print the extracted data
for company_name, registration_number in zip(company_names, registration_numbers):
print(f'Company Name: {company_name}, Registration Number: {registration_number}') 
