0

0

Python里urllib.request 网络请求模块urllib的核心功能详解

尼克

尼克

发布时间:2025-06-09 16:51:03

|

384人浏览过

|

来源于php中文网

原创

python中urllib.request的核心用途是发送网络请求并获取响应,其作为标准库适用于轻量级或受限环境。1. 它可通过urlopen()发起get请求,并支持设置超时;2. 使用request对象可自定义请求头、发送post数据;3. 可结合http.cookiejar处理cookie以保持登录状态;4. 支持默认重定向处理,也可通过httpredirecthandler禁用;5. 必须捕获urlerror、httperror及socket.timeout等异常以确保稳定性。

在Python中,urllib.requesturllib 模块中最核心的组件之一,用于发送网络请求并获取响应。虽然它不像第三方库如 requests 那样简洁易用,但它是标准库的一部分,不需要额外安装,在一些轻量级或受限环境中非常实用。

如果你只是想快速发起一个GET请求,或者需要对HTTP细节有更精细的控制,urllib.request 就派上用场了。下面我们就来详细看看它的几个关键功能和使用方法。


发起基本的GET请求

最简单的使用方式是通过 urllib.request.urlopen() 方法来发起一个GET请求,获取网页内容:

import urllib.request

response = urllib.request.urlopen('https://example.com')
html = response.read()

这个过程相当于浏览器访问了一个网址,并获取到了返回的内容(通常是HTML)。你可以通过 .read() 获取字节流,也可以用 .decode('utf-8') 转成字符串处理。

立即学习Python免费学习笔记(深入)”;

需要注意:

  • 返回的是 http.client.HTTPResponse 对象
  • 默认超时时间较长,建议加上超时设置:
    response = urllib.request.urlopen('https://example.com', timeout=10)

自定义请求头与POST请求

有时候我们需要模拟浏览器行为,比如添加User-Agent、Referer等头部信息,或者发送POST数据。这时就需要构造一个 Request 对象:

import urllib.request
import urllib.parse

data = urllib.parse.urlencode({'username': 'test', 'password': '123456'}).encode('utf-8')
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Content-Type': 'application/x-www-form-urlencoded'
}
req = urllib.request.Request('https://example.com/login', data=data, headers=headers, method='POST')
response = urllib.request.urlopen(req)

几点说明:

Replit Agent
Replit Agent

Replit最新推出的AI编程工具,可以帮助用户从零开始自动构建应用程序。

下载
  • data 必须是 bytes 类型,所以要用 encode()
  • headers 可以是 dict 或者用 .add_header() 添加
  • method 参数可选,默认根据是否有 data 决定是否为 POST

处理Cookie和重定向

默认情况下,urllib.request 会自动处理重定向(最多20次),但不会持久化保存 Cookie。如果需要保存 Cookie,可以结合 http.cookiejar 模块:

import urllib.request
import http.cookiejar

cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)

response = opener.open('https://example.com')

这样你就可以在后续请求中复用登录状态了。

关于重定向:

  • 如果你想禁用自动重定向,可以通过自定义 HTTPRedirectHandler 来实现
  • 默认允许最多20次重定向,超过会抛出异常

异常处理不可忽视

网络请求难免遇到各种问题,比如连接失败、超时、服务器错误等,所以必须做好异常捕获:

from urllib.error import URLError, HTTPError
import socket

try:
    response = urllib.request.urlopen('https://example.com', timeout=5)
except HTTPError as e:
    print(f'HTTP 错误: {e.code}')
except URLError as e:
    print(f'URL 错误: {e.reason}')
except socket.timeout:
    print('请求超时')

常见异常类型:

  • URLError:通用错误,比如无法解析域名
  • HTTPError:继承自 URLError,包含状态码和原因
  • socket.timeout超时异常需要单独捕获

基本上就这些。urllib.request 功能虽不如 requests 强大,但在标准库中已经足够应对大多数基础场景。只要注意好请求头、数据格式、异常处理这几个关键点,就能写出稳定可用的网络请求代码。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

759

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

639

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

761

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1265

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

548

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

709

2023.08.11

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 3.9万人学习

Django 教程
Django 教程

共28课时 | 3.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号