讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 后端开发 > Python教程 > 正文

Python实现抓取网页并且解析的实例

php中文网
发布： 2016-06-06 11:33:05
原创
1435人浏览过

本文以实例形式讲述了python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。

主要功能代码如下：

#!/usr/bin/python
#coding=utf-8

import sys 
import re
import urllib2
from urllib import urlencode
from urllib import quote
import time
maxline = 2000

wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")
baidu = re.compile("<a href=\"http://www.baidu.com/link\&#63;url=.+\".*&#63;>更多知道相关问题.*&#63;</a>")
f1 = open("baidupage.txt","w")
f2 = open("wendapage.txt","w")

for line in sys.stdin:
  if maxline == 0:
    break
  query = line.strip();
  time.sleep(1);
  recall_url = "http://www.so.com/s&#63;&q=" + query;
  response = urllib2.urlopen(recall_url);
  html = response.read();                                                   
  f1.write(html)
  m = wenda.search(html);
  if m:
    if m.group(1) == "110":
      print query + "\twenda\t0";
    else:
      print query + "\twenda\t1";
  else:
    print query + "\twenda\t0";
  recall_url = "http://www.baidu.com/s&#63;wd=" + query +"&ie=utf-8";
  response = urllib2.urlopen(recall_url);
  html = response.read();
  f2.write(html)
  m = baidu.search(html);
  if m:
    print query + "\tbaidu\t1";
  else:
    print query + "\tbaidu\t0";
  maxline = maxline - 1;
f1.close()
f2.close()
登录后复制

希望本文所述对大家Python程序设计的学习有所帮助。

超能文献
超能文献

超能文献是一款革命性的AI驱动医学文献搜索引擎。

超能文献 123
查看详情 超能文献
相关标签：
python

大家都在看：

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：python的即时标记项目练习笔记 下一篇：python中的字典详细介绍
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
Python爬虫工程化项目结构_模块化与维护策略【指导】 Python爬虫工程化核心是可维护性，需分层设计（spiders/pipelines/storages/utils）、配置外置（base/dev/prod三级+dotenv）、可测试性前置（注入session、纯函数pipeline）、可观测降级（结构化日志、Prometheus指标、Redis动态降级）。
2025-12-23 19:51:08
850
Python爬虫实战项目_网页抓取与解析完整教程【教程】 Python爬虫实战核心是requests获取内容、BeautifulSoup/lxml解析HTML并提取数据，关键在于理解网页结构、应对反爬、保障稳定性；需安装requests、beautifulsoup4、lxml，建议虚拟环境运行，并通过开发者工具分析静态/动态结构，加headers、控频、验状态码、规范编码，最终存为CSV/JSON/数据库。
2025-12-23 18:57:08
594
Python实现企业应用中推荐系统构建的详细教程【教程】 企业级推荐系统需兼顾准确性、实时性、可解释性、工程稳定性与业务目标，核心在于架构设计与场景适配，而非单纯调用库；应按场景明确数据基础、冷启动与实时性需求，分阶段选型（ALS→XGBoost→序列模型），并打通特征更新、在线服务、AB测试与监控闭环。
2025-12-23 18:18:11
181
Python机器学习使用降噪技术优化训练数据的操作技巧【教程】 降噪是通过统计、模型或领域知识识别并减弱噪声干扰，需平衡去噪强度与信息保留；应区分标签、特征、结构性噪声并采取对应策略，优先用集成模型软降噪，小样本下慎用自动工具，强调业务理解贯穿全程。
2025-12-23 16:22:03
954
PythonCSV文件处理技巧_读取写入高效方案【技巧】 Python处理CSV应按需选工具：小文件用csv模块（需显式指定encoding=‘utf-8-sig’和newline=‘’防乱码与空行），大文件或分析用pandas（传dtype、chunksize优化性能），混合使用csv预处理+DataFrame构造更高效。
2025-12-23 16:12:07
990
Python时间序列数据处理方法_日期索引与重采样讲解【教程】 Python处理时间序列数据的核心是用DatetimeIndex作为索引并正确重采样：先将时间列设为datetime64[ns]类型索引，确保单调递增无重复；再依业务需求用resample进行降频聚合（如“M”月度求和）或升频插值（如“D”.asfreq().interpolate），同时注意时区对齐与周期偏移。
2025-12-23 15:26:03
422
Python列表常用操作详解_增删改查实战解析【技巧】 Python列表核心操作需理解适用场景：append增单元素、extend合并可迭代对象、insert指定位置插入；del按索引删、pop取并删、remove按值删、clear清空；索引与切片支持灵活修改；in/index/count实现查找。
2025-12-23 15:25:14
354
量化交易如何实现推荐系统构建的完整流程【教程】 量化交易中的推荐系统是为策略工程师或实盘系统推荐信号组合、参数配置等，本质是策略层面的个性化决策支持，需融合金融逻辑、数据工程与机器学习。
2025-12-23 15:04:02
997
Python随机数怎么生成_random模块使用技巧【指导】 Python最常用random模块生成伪随机数，含random()、randint()、uniform()、choice()等函数，需用seed()控制可重现性，安全场景应选secrets模块。
2025-12-23 14:58:02
431
Python办公自动化项目实战_批量处理文件与表格技巧【教程】 Python办公自动化核心是用几行代码替代重复操作：用os/shutil批量归类文件，pandas合并/处理Excel，openpyxl精细编辑，配合定时任务与异常提醒实现全自动。
2025-12-23 13:43:16
177
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部