python - Scrapy request 增长太快，有什么好方法消化它们？

用Scrapy爬取知乎或微博的用户信息，主要是根据关注链一直抓下去。每抓取一个页面，提取出用户信息，然后获得关注者和被关注者列表，产生新的request放入队列，这样每抓取一个用户信息，就会产生几百个甚至上千个...

PHP中文网来自于 2017-04-17 16:38:59 0  2  484

flask-wtf - python flask的wtforms可以处理可变长的表单吗？

form中的元素会变多。比如有一个表格：我喜欢的东西： 可以增加任意个物品（这几个物品填在不同的框），然后提交。把数据保存在数据库。这样可以用wtforms实现吗？

PHP中文网来自于 2017-04-17 16:38:55 0  0  333

python - pythoSDK中的fetch方法保存的文件能不能覆盖原有的文件

比如原来fetch过的一张图片更新之后，我还需要fetch这张图片保存到七牛，然后文件名不变。现在发现没有fetch成功，图片内容还是原来的图片

ringa_lee来自于 2017-04-17 16:38:39 0  1  444

python网页爬虫的多线程

python3.4用threading模块做多线程并发式的爬虫，开始启动十个线程都是好的，爬到最后的时候只剩下主线程存活。也就是爬到后面的时候只有一个线程活动。中间会有异常存在，捕获了并且抛出了异常，这些异常是否会...

巴扎黑来自于 2017-04-17 16:38:35 0  4  620

python - scrapy 爬取页面时如何获取cookie数据

请问我抓取一个页面后，如何在响应中获取cookie yield Request(page_url, callback=self.parse_company_list, meta={'dic':dic.copy()},co...

迷茫来自于 2017-04-17 16:38:29 0  1  431

Python List问题

新手小白问一个基础问题... 麻烦各位大神看看！ {代码...} 我想单独取出World，该怎么办？ {代码...} 这样取出的是一个字母，而不是world! 不要是什么 L[x:]这种方法.... 这一招太取巧了 如果...

天蓬老师来自于 2017-04-17 16:38:25 0  3  423

python - 利用Pillow 打开图片时， 图片被旋转了。

操作简单， 就只是Image.open 接着就 Image.save。 但是，保存的图片很慕名奇妙地被旋转了。测试图片链接：http://7xokdq.com1.z0.glb.clouddn.com/3758.JPG测试...

迷茫来自于 2017-04-17 16:38:20 0  2  863

Python String

{代码...} 这里我有个疑问！变量result得到的是一串字符串！如果我只想取其中某一行该怎么办? 我现在使用的方法是先将result放到一个文件中，在通过readlines()这个方法就能获得一行一行的了.... 但...

ringa_lee来自于 2017-04-17 16:38:15 0  2  441

python - Scrapy 爬虫的时候只能抓取到页面的一条数据，请教不知道是不是网站做了反爬虫的手段？

我爬虫的目标网址是http://jobs.monster.com/search/software_5想要保存这个网站上每一条工作的标题、链接、公司和发布时间 我自己检查的时候用sites = hxs.select('//...

怪我咯来自于 2017-04-17 16:38:11 0  1  1521

python - 安装Flask出错，帮忙看看！

按照教程 http://docs.jinkan.org/docs/flask/installation.html#system-wide-installation 的方法进行安装，进行到 pip install Flas...

阿神来自于 2017-04-17 16:37:36 0  2  567

python - lambda:c

lambda:c这种函数意义何在？

PHP中文网来自于 2017-04-17 16:37:30 0  1  356

python - scrapy 如何设置每个域名需要爬取的页面数目

我要爬一些域名不同的网站，打算每个网站爬一定数目的页面之后就不再爬这个网站了，请问这种应该怎么实现？ 下面是我已经实现的部分 {代码...}

PHP中文网来自于 2017-04-17 16:37:20 0  0  406

python - 如何用程序实现每隔一段时间点一次鼠标左键或者Enter的操作？

各位好， 我在电子厂工作，工作就是点测试界面的start测试手机。能写什么程序替代手工操作吗？下面是基本信息。电脑操作系统：MAC OS X电脑无法联网，所以只有自带的终端，python之类。手机测试程序的界面有一个s....

巴扎黑来自于 2017-04-17 16:37:14 0  5  1031

python - Flask 连接sqlite 提示 has no attribute 'cursor'

flask0.10.1 程序结构如下：app| static|--style.css| templates|--show_entries.html|--layout.html|--login.html| flaskr.p...

PHP中文网来自于 2017-04-17 16:37:00 0  1  1088

cmd中flask/Scripts/python run.py出错？

http://www.pythondoc.com/flask-mega-tutorial/helloworld.html#flask-hello-world按照这个教程一步一步来的。到最后一步执行程序时，在windows...

巴扎黑来自于 2017-04-17 16:36:56 0  4  646