#-*- coding:utf-8 -*-
import requests


url = 'http://httpbin.org/post'

session = requests.Session()

payload = {'day': '201607'}
#列表页数，页数，这里是读取每一页
for i in range(1, 10):
    payload2 = payload.copy()
    payload2.update({
        'page': i,
    })
    data = session.post(url,data=payload2)

    with open ('hi.json'.format(i), 'w') as fp:
        fp.write(data.text)
        print data.text

版本 python 2.7.6

去爬列表
但是这个列表 爬出来的数据会重复
按照道理来说 session已经代进去了 为什么每页会重复数据？

在网页端 目标的数据 每页都是不一样的 正常的

网站每次第一次访问 都会生成不同数据 数量一样 只是排序不一样
爬下来的时候 可能因为这样
会导致我得到部分重复数据

有没什么办法 有其他方法吗 或者用第三方的模块