方法已失效,更新待定


以下内容仅供学习交流之用,如有造成不良后果请自负


抖音作为月活用户近亿的app,对部分请求的合法性验证竟然没有,而这些没有验证的接口就是可以拿到抖音全站公开数据的接口

玩过抖音的应该都知道,抖音有个分享功能。通过分享功能分享用户主页是可以拿到每个用户喜欢的视频id、点赞数等以及用户公开数据。

抖音的用户ID有两种,一个是app内显示的shortid, 一个是分享时显示的userid,通过shortid是很难拿到数据的,但是分享功能只能拿到shortid。这样爬虫不能增量爬取,没什么用,除非有个用户能把抖音全视频点赞

简陋的web网页拿不下来只能从app入手,抓包分析一个app远没有web简单。

抓包过程中会发现抖音有个feed接口,一次请求能拿到好几条数据,其实我告诉你,没用

这里有个取巧的办法,通过分享的用户主页点击某条用户点赞的视频抓app的包能拿到需要的数据,也就是视频id获取userid

至此所有需要的数据以及接口都出来的增量爬取也就可以实现了

截至发稿时,博主单线程爬取12w,视频下载4w

代码地址


本文由 bankroftvayne 创作,采用 知识共享署名 3.0,可自由转载、引用,但需署名作者且注明文章出处。

还不快抢沙发

添加新评论