抖音视频爬虫如何自动完成翻页?

花韻仙語
发布: 2024-10-26 11:03:42
转载
1534人浏览过

抖音视频爬虫如何自动完成翻页?

解决 python 爬虫抖音视频翻页问题

在爬取抖音博主全部视频时,遇到翻页问题,如何通过程序自动完成翻页并加载后续视频链接?

翻页方式

抖音视频翻页有两种方式:

  • 页码索引(page index):例如:https://segmentfault.com/u/ponponon/articles
  • 最大 id(max_id):例如:https://segmentfault.com/questions/subscribed

解决方法

使用最大 id 方式实现翻页:

获取初始页面中的视频链接后,提取页面中最新的视频 id(max_id)。

AI抖音
AI抖音

AI抖音,会思考的抖音

AI抖音 860
查看详情 AI抖音

在随后的请求中,将 max_id 作为查询参数,获取下一页的视频链接。

不断重复此过程,直到获取所有视频链接。

代码实现

在你的代码中,在 get_video_url() 函数中添加以下内容:

if not video_url:
    return

max_id = None
while True:
    try:
        url_new = 'https://www.douyin.com/user/MS4wLjABAAAAp3rtDfotN7-mHjDIr0XR2XJ5g0C1DIVAuJYgBHJYX-xJLZgoHvfN0r0yAWTLybn7'
        if max_id:
            url_new += f'?max_cursor={max_id}'
        r = requests.get(url=url_new, headers=headers)
        html = BeautifulSoup(r.text, 'html.parser')
        result = html.find_all('a', 'B3AsdZT9 chmb2GX8 UwG3qaZV')
        if not result:
            print("Finished")
            break
        
        for item in result:
            get_video(item['href'])
        max_id = item['href'][-19:]
    except Exception as e:
        print("解析失败")
        print(e)
        break
登录后复制

这样,代码将自动翻页,并获取该抖音博主全部视频链接。

以上就是抖音视频爬虫如何自动完成翻页?的详细内容,更多请关注php中文网其它相关文章!

相关标签:
抖音极速版(领现金)
抖音极速版(领现金)

抖音极速版是一款可以领现金的短视频app,看视频、拍视频、邀好友,均可获得专属金币红包,助您能轻松赚钱!感兴趣的小伙伴快来保存下载体验吧!

下载
来源:php网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号