微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > Python教程 > 正文

爬虫技术可以爬https么

silencement
发布： 2019-05-29 13:55:23
原创
7152人浏览过

爬虫技术可以爬https么

爬虫技术可以爬https么?

首先我们先来理解什么是https

https是HTTP+SSL的简称，是在HTTP传输方式的基础上将之前的明文进行了加密传输，在传输之前就会确定信息加密方式和秘钥，在传输中即使被捕获或者伪造，那么也能保证信息不被泄露。

而爬虫本质是伪装成一个浏览器，发送请求给服务器，参与了整个过程，所以即使https链接也能抓取，但前提是伪造的这个客户端有正确的SSL证书。

寻找错误根源

爬虫运行中提示SSL error错误的情况，一般是本地证书或者相关SSL库没有正确安装、服务器使用自己制作的CA证书，没有有权威机构认证

图可丽批量抠图
图可丽批量抠图

用AI技术提高数据生产力，让美好事物更容易被发现

图可丽批量抠图 26
查看详情 图可丽批量抠图

解决证书异常问题

对于ＣＡ证书问题我们可以参考下面集中方案：

１.不验证ＣＡ证书，但要忽略安全警告

coding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一：import urllib3urllib3.disable_warnings()方式二：from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()
登录后复制

２.指定证书位置或含证书的文件夹（此文件夹是由ＯｐｅｎＳＳＬ工具制作的）

coding=utf-8import requestsr=requests.get(url=“https://www.baidu.com/”,verify='/path/to/certfile')
登录后复制

以上就是爬虫技术可以爬https么的详细内容，更多请关注php中文网其它相关文章！

相关标签：
Error http https ssl

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：qpython3l怎么用 下一篇：python shell怎么打开
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
如何使用Pyrender生成多角度无裁剪的3D对象视图 本文旨在详细指导如何利用Pyrender库高效渲染3D对象的多个视角图像，并彻底解决常见的视图裁剪问题。通过优化相机类型选择、精确控制相机姿态生成以及合理的场景配置，确保每次渲染都能捕捉到对象的完整视图，为3D模型的可视化和数据生成提供可靠方案。
2025-11-07 11:20:11
312
Django Docker环境下Psycopg数据库连接错误排查与解决 本文旨在解决在Docker化Django项目中连接PostgreSQL数据库时常见的ImproperlyConfigured:Errorloadingpsycopg2orpsycopgmodule错误。核心解决方案包括更新Dockerfile以安装必要的系统级编译工具和PostgreSQL开发库，并确保requirements.txt中数据库驱动的正确配置。此外，还将探讨并提供解决Docker构建过程中哈希校验失败及数据库连接操作性错误的方法。
2025-11-07 11:18:31
960
在Kivy KV文件中为类属性赋值Kivy定义的类 在Kivy应用开发中，当需要在KV文件中为Python类中定义的ObjectProperty属性指定一个同样在KV文件中定义的Kivy组件类时，直接引用类名会导致“未定义”错误。本教程将详细介绍如何利用kivy.factory.Factory机制，在KV文件中正确地将Kivy组件类作为属性值进行设置，并演示如何在Python代码中实例化和使用这些动态加载的类。
2025-11-07 11:15:24
474
使用GLFW动态请求最新核心OpenGL配置文件教程 本教程旨在解决使用GLFW创建OpenGL上下文时，如何动态请求系统上可用的最新核心配置文件的问题。文章将详细介绍一种迭代尝试不同OpenGL版本的方法，以确保在强制使用核心配置文件的同时，获取到兼容且版本最高的OpenGL上下文，并提供Python示例代码和实践建议。
2025-11-07 10:57:01
304
Pygame图像加载路径处理指南：解决图片无法正确显示的常见问题 本文旨在解决Pygame游戏中图片加载不正确或无法循环显示的问题。核心在于理解pygame.image.load()函数的路径处理机制，并强调使用os.path.join结合os.path.dirname(__file__)构建绝对路径的重要性。文章将通过分析常见错误代码，提供正确的图像加载方法，并给出Pygame资源管理的最佳实践，确保游戏资源能够稳定可靠地加载和显示。
2025-11-07 10:54:23
268
Python多线程性能调优指南 Python多线程参数配置优化方案 I/O密集型任务宜用多线程或异步，CPU密集型应选多进程。合理设置线程数为CPU核心数2~4倍，使用ThreadPoolExecutor控制并发，减少GIL竞争，结合async/await提升高并发效率。
2025-11-07 10:49:14
780
在极简Ubuntu环境与模拟器中解决Python模块找不到的问题 在Gem5等模拟器的极简Ubuntu环境中运行Python脚本时，常遇到ModuleNotFoundError，尤其是在绕过systemd服务启动时。本文旨在提供一套专业的解决方案，核心在于确保Python模块（如NumPy）已正确安装并可被当前Python解释器访问，同时兼顾多Python版本管理和模拟器环境的特殊性，确保脚本顺利执行。
2025-11-07 10:49:11
917
PHP中实现Python AES-ECB文件解密：密钥与填充机制详解 本文详细阐述了如何将Python中基于AES-ECB模式的文件解密逻辑移植到PHP。核心内容包括MD5密钥的正确推导、PHPopenssl_decrypt函数的使用，以及如何根据文件块位置动态处理OpenSSL的填充机制，特别是OPENSSL_ZERO_PADDING标志的正确应用，以避免解密错误并成功还原原始文件。
2025-11-07 10:44:04
597
Python跨文件夹导入类：模块与包的深度解析 本文深入探讨了Python中跨文件夹导入类的机制与最佳实践。通过解析Python的模块导入系统，包括绝对导入、相对导入以及sys.path的工作原理，结合具体项目结构示例，详细演示了如何正确地从不同目录导入类。文章还涵盖了常见的导入错误及解决方案，旨在帮助开发者高效管理复杂的项目依赖。
2025-11-07 10:41:32
364
Python网页版如何进行单元测试_Python网页版单元测试框架使用与案例教程 答案是使用unittest或pytest框架可有效测试PythonWeb应用。通过Flask测试客户端模拟HTTP请求，验证路由、视图和响应；unittest适合初学者，基于类结构；pytest更灵活，支持函数式风格和丰富插件；结合fixture管理测试依赖，使用内存数据库隔离环境，确保测试独立可靠。
2025-11-07 10:23:35
831
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部