python爬取饿了么

步履不停
发布: 2019-07-01 13:31:49
原创
5468人浏览过

python爬取饿了么

在学数据可视化,缺少点数据进行实操,就想着从饿了么上面爬点外卖店信息。

主要是获取数据,所以代码比较简陋,直接上代码:

import requests
import json
import csv
def crawler_ele(page=0):
def get_page(page):
url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8)
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
    'cookie': r'xxxx'
}
re = json.loads(requests.get(url,headers=headers).text)
return re
re = get_page(page)
if re.get('items'):
with open('data.csv','a',newline='') as f:
writer = csv.DictWriter(f,fieldnames=['名称', '月销售量','配送费', '起送价', '风味','评分', '配送时长', '评分统计', '距离', '地址'])
writer.writeheader()
for item in re.get('items'):
info = dict()
restaurant = item.get('restaurant')
info['地址'] = restaurant.get('address')
info['配送费'] = restaurant.get('float_delivery_fee')
info['名称'] = restaurant.get('name')
info['配送时长'] = restaurant.get('order_lead_time')
info['距离'] = restaurant.get('distance')
info['起送价'] = restaurant.get('float_minimum_order_amount')
info['评分'] = restaurant.get('rating')
info['月销售量'] = restaurant.get('recent_order_num')
info['评分统计'] = restaurant.get('rating_count')
info['风味'] = restaurant.get('flavors')[0].get('name')
writer.writerow(info) 
# print(info)
if re.get('has_next') == True:
crawler_page(page+1)
crawler_ele(0)
登录后复制

在这里简单注释几句:

url 中的经纬度去掉了,可以自行查询添加需要爬取地点的经纬度,也可以通过调用地图api获取经纬度;

立即学习Python免费学习笔记(深入)”;

headers 需要加 Cookies ,不然会有登录权限限制爬取页数;

最后调用的是递归不是循环,所以保存结果的 csv 文件里面会有多个重复表头,可以用 Excel 打开删除重复值就可以了。

相关教程推荐:Python视频教程

以上就是python爬取饿了么的详细内容,更多请关注php中文网其它相关文章!

饿了么
饿了么

饿了么app是一款非常实用的手机订餐软件。软件订餐速度极快,只需三步,送达速度快。支持微信、支付宝等多种支付方式,支付更便捷,有需要的小伙伴快来保存下载体验吧!

下载
相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号