微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > Python教程 > 正文

python网络爬虫采集联想词示例

php中文网
发布： 2016-06-16 08:45:21
原创
1870人浏览过

python爬虫_采集联想词代码

复制代码 代码如下:

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示，下面这个list中的代理ip可能失效，请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']

list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }

    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})

集简云
集简云

软件集成平台，快速建立企业自动化与智能化

集简云 22
查看详情 集简云

    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)

    for key in headers:
        req.add_header(key,headers[key])

    html = urllib2.urlopen(req).read()

    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)

大家都在看：

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：python基础教程之获取本机ip数据包示例 下一篇：zbar解码二维码和条形码示例
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
Python代码如何实现GUI界面 Python代码使用Tkinter库的界面设计 Tkinter是Python内置的GUI库，无需安装即可使用，适合快速开发轻量级桌面应用。它提供Label、Button、Entry等常用组件，并通过pack()、grid()和place()三种布局管理器组织界面元素，其中grid()适用于复杂表单布局。事件处理通过command属性或bind()方法实现，结合StringVar等变量类可动态更新界面。为提升代码可维护性，推荐采用面向对象方式封装应用，分离UI与业务逻辑，并在项目规模扩大时进行模块化拆分，从而构建结构清晰、易于扩展的GUI程序。
2025-11-14 23:58:02
683
Python3filter函数怎么用_Python3filter函数使用方法与实例解析 filter函数用于筛选满足条件的元素，其语法为filter(函数,可迭代对象)，返回迭代器；可用自定义函数或lambda表达式判断，如list(filter(lambdax:x>5,[3,4,5,6,7]))得[6,7,8]；也可用于字符串处理，如提取字母或过滤空值，传入None则保留真值元素，如list(filter(None,[0,1,‘’,‘hello’]))返回[1,‘hello’]。
2025-11-14 23:49:14
734
pythonfor循环如何对列表求和_pythonfor循环对列表元素进行求和的教程 使用for循环对列表求和需先初始化变量，再遍历元素累加。示例：numbers=[1,2,3,4,5]，total=0，fornuminnumbers:total+=num，输出结果为15。推荐直接遍历元素而非索引，代码更简洁；若列表含非数字类型，应加入isinstance(item,(int,float))且排除bool的判断以增强健壮性；虽然for循环有助于理解累加逻辑，但实际开发中简单求和建议使用内置sum()函数更高效。
2025-11-14 23:49:02
645
如何为自动化脚本配置Python环境变量_自动化任务中Python环境变量配置方法 正确配置Python环境变量是确保自动化脚本顺利执行的关键，需根据操作系统将Python安装路径添加至PATH。1.先通过python--version确认安装情况；2.Windows系统在环境变量Path中添加Python主目录和Scripts子目录；3.macOS/Linux编辑~/.zshrc或~/.bashrc文件，用exportPATH追加Python路径；4.推荐使用虚拟环境隔离依赖，通过sourceactivate激活并设置shebang指定解释器。配置完成后，系统可识别pytho
2025-11-14 23:48:07
178
Python多线程上下文切换优化 Python多线程减少切换开销方法 Python多线程适用于I/O密集型任务，但受GIL限制，CPU密集型任务应控制线程数量以减少上下文切换；建议使用ThreadPoolExecutor管理线程池，I/O密集型设为CPU核心数2~4倍、计算密集型等于核心数；通过减少GIL争用、用异步编程替代多线程、批量处理任务可有效降低开销。
2025-11-14 23:46:02
158
Python数字类型怎么用_Python数字类型使用技巧与实例说明 正确使用Python数字类型需掌握四种核心内容：1、Python支持int、float和complex三种数字类型，分别表示整数、浮点数和复数；2、基本运算包括加（+）、减（-）、乘（）、除（/）、整除（//）、取余（%）和幂（*），其中除法结果恒为float；3、类型转换可用int()、float()、complex()函数实现，int()截断小数，type()可检查类型；4、高精度计算推荐decimal模块避免浮点误差，fractions模块处理分数，float(‘inf’)和float(‘
2025-11-14 23:45:05
264
Python官网如何测试Python性能_Python官网基准测试套件使用 答案：可通过pyperformance工具评估Python代码运行效率。安装后运行完整基准测试或指定测试项，生成结果文件并比较不同Python版本间的性能差异，支持全面或针对性的性能分析。
2025-11-14 23:43:02
156
Python环境恢复默认怎么操作_将Python环境恢复到初始默认状态的方法 根据Python安装方式选择恢复方法：系统自带则清理pip包，官网安装可卸载重装，Anaconda可用conda重置或重装，pyenv等工具需删除虚拟环境；也可通过卸载程序、删除残留文件并重新安装实现彻底恢复，或仅清理用户级包、缓存和虚拟环境实现软恢复。
2025-11-14 23:43:02
393
Python入门如何使用虚拟环境_Python入门环境隔离的最佳实践 推荐使用虚拟环境隔离Python项目以避免依赖冲突。一、venv是Python自带模块，通过“python-mvenvmyenv”创建环境，激活后可独立安装包。二、conda适合管理多版本Python，使用“condacreate--namemyprojectpython=3.9”创建并用“condaactivate”切换环境。三、pipenv整合pip与virtualenv，通过“pipenvinstall”自动管理依赖并生成Pipfile。四、poetry支持依赖管理与项目打包，运行“poe
2025-11-14 23:41:30
883
Python引用错误ReferenceError产生原因与解决方法 ReferenceError发生在访问已被销毁对象的弱引用时，常见于weakref模块使用场景。示例中通过weakref.ref()创建弱引用，当原对象被del删除后，再次调用弱引用会抛出ReferenceError。解决方法包括：使用前检查弱引用是否为None、合理管理对象生命周期、避免长期持有未验证的弱引用，并在必要时采用强引用或上下文管理器确保对象存在。关键是在每次访问弱引用前判断其有效性以防止异常。
2025-11-14 23:41:02
804
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部