这个python写的网络爬虫为何不能运行？-PHP中文网问答

文章专题 AI工具学习下载问答源码最近更新

PHP

会员中心讲师中心微信公众号

这个python写的网络爬虫为何不能运行？

PHP中文网 2017-04-17 11:05:52

[Python讨论组]

331

import urllib2
url='http://www.baidu.com/s?wd=cloga'
content=urllib2.urlopen(url).read()
import re
urls_pat=re.compile(r'<span class="g">(.*?)</span>')
siteUrls=re.findall(results_pat,content)
strip_tag_pat=re.compile(r'<.*?>')
file=open('results000.csv','w')
for i in results:
    i0=re.sub(strip_tag_pat,'',i)
    i0=i0.strip()
    i1=i0.split(' ')
    date=i1[-1]
    siteUrl=''.join(i1[:-1])
    rank+=1
    file.write(date+','+siteUrl+','+str(rank)+'\n')
file.close()

PHP中文网

认证0级讲师

全部回复(1)

PHP中文网2017-04-17 11:07:52 1楼

下面的内容主要提及3点：

变量命名方式
代码格式化
问题解答

变量命名方式

总所周知，变量(包括函数等)命名方式主要有两种：驼峰式和下划线式。两种方式都是可以接受的，但是我很难接受提问者在代码中既使用驼峰式又使用下划线式的风格。

代码格式化

就算是发布的问题代码，也需要讲究美观的吧？！个人比较倾向使用https://code.google.com/p/google-styl... 中介绍的编码方式。简单说几点，比如：

siteUrls=re.findall(urls_pat,content)

最好写成

siteUrls = re.findall(urls_pat, content)

根据自己情况适当对操作符和标点(如,)进行格式化。

问题解答

显而易见，该代码是无法正常运行的。第一个问题是第六行中results_pat应该改成urls_pat；第二个问题，第九行results更改为siteUrls；第三个问题，第九行前加入rank = 0；
其实该代码的目的是提取出指定百度搜索页面的所有链接以及日期，至于rank，我的猜测是顺序，不知是否正确。

最后批评一下楼主提问的态度。

赞 +0

添加回复

专题推荐

更多>

热门话题

热门教程

更多>