python - scrapy只爬了第一个页面就结束
伊谢尔伦
伊谢尔伦 2017-04-17 10:58:06
[Python讨论组]

问个问题,为啥我的scrapy在parse里面返回了Request的list,为啥还是只爬了第一个页面就结束了?
我没有处理Items,准备以后直接在parse函数里面存数据库的,跟这个有关系吗?

def parse(self, response):
        
        hxs = HtmlXPathSelector(response)
        result = []
        for p in hxs.select("//p[@class='box']//li//p[@class='bassex']"):
            item = PoiItem()
            item['name'] = p.select('.//a/text()')[0].extract()
            item['url'] = p.select('.//a/@href')[0].extract()
            item['tag'] = p.select('.//span[@class="ic"]/a/@title').extract()
            item['sence'] = p.select('.//p[last()]/a/text()').extract()
            print item
            result.append(item)
            
        urls = self.getUrls(hxs)
        reqList = []
        for url in urls:
            print 'push to Queue:'+ url
            self.doneSet[url] = True
            yield Request(url, callback=self.parse)
伊谢尔伦
伊谢尔伦

小伙看你根骨奇佳,潜力无限,来学PHP伐。

全部回复(1)
ringa_lee

allow domain 写错了。。。。多加了http。。。找了一个小时

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号