python - scrapy 回调函数使用?
巴扎黑
巴扎黑 2017-04-18 10:08:25
[Python讨论组]

请问一下 ,

class myspider(scrapy.Spider):

name = 'novel'
allowed_domains = ['23wx.com']
bash_url = 'http://www.23wx.com/class/'
bashurl = '.html'

def start_requests(self):
    for i in range(1, 11):
        url = self.bash_url + str(i) + '_1' + self.bashurl
        yield Request(url, self.getallurl)
def getallurl(self, response):
    print response.body

上面这个能正确输出html内容

但是下面这个却不能输出

class myspider(scrapy.Spider):

name = 'novel'
allowed_domain = ['23wx.com']
def get_start_url(self):
    for i in range(1,11):
        url  = 'http://www.23wx.com/class/{}_1.html'.format(i)
        yield Request(url,callback=self.getallurl)

def getallurl(self,response):
    print response.body

实在不清楚两者之间有什么区别,还是回调函数的使用有什么注意的地方。求指教

巴扎黑
巴扎黑

全部回复(2)
迷茫

方法本质没有区别,原因是你的类继承了scrapy.Spider 类,这个类有个start_requests方法,你重写了它的方法,而这个方法会被scrapy.Spider类调用

巴扎黑

明白了 谢谢

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号