网页爬虫 - 请问用python抓取网页标题时如何让批量抓取二级域名的标题
怪我咯
怪我咯 2017-04-17 11:29:20
[Python讨论组]
# -*- coding: utf-8 -*-
import urllib
import re

d = 1000
url = 'http://gae-xseven01.appspot.com/2'
html = urllib.urlopen(url).read()
m = re.search(r'<title>(.*)</title>', html, flags=re.I)
print  m and m.group(1)or ''
i = m.group(1)
if (i == '503 Over Quota'):
    d =d-1
    print d

我有APPID从01到09.请问如何批量抓取呢

怪我咯
怪我咯

走同样的路,发现不同的人生

全部回复(1)
迷茫

你是问 请问有人可以提供一个搭建在openshift(或者其他免费云平台)上的一个监测gae appid是否超出配额的源代码么?(供公共goagent服务端使用) 这个吧,应该说的比较清楚了,请求一下http://wwqgtxxproxy-1.appspot.com/2就可以了。

看你申请的id名字不太规律,建议你将名字放到一个数组里面,遍历数组即可。遍历数组过程中取一下对应网页标题(比如写一个获取函数),最后怎么保存结果就看你自己了

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号