python爬取梨视频(附完整源码)

这节课我们主要用Python爬取梨视频数据,来介绍关于线程池的主要应用,过程稍微有点复杂,可以参考源码进行练习书写。

1.python爬取梨视频的主要思路解析:

打开网址(https://www.pearvideo.com/category_5)爬取最热板块下的三个视频如下图:

python爬取梨视频(附完整源码)

我们要想获得三个视频的下载链接,需要先对该网页发起请求获取详情页面的链接,进而在详情页面获取视频的地址,并保存。

2.Python爬取梨视频的主要步骤讲解

第一步,获取详情页的链接

对该页面(https://www.pearvideo.com/category_5)发起请求并解析获得详情页的链接

python爬取梨视频(附完整源码)

python爬取梨视频(附完整源码)

第二步,分析详情页

第一步我们获得了详情页的链接,但是我们通过分析页面知道,该页面是局部加载数据,视频的链接并不能通过该页面直接获取,需要通过xhr获取得到:

python爬取梨视频(附完整源码)

这时请求链接,不再是我们获取的详情页的链接,而是需要拼接构成:

python爬取梨视频(附完整源码)

python爬取梨视频(附完整源码)

但是通过加载视频获取的链接可知,我们拼接的链接仍旧存在问题,于是继续拼接:

python爬取梨视频(附完整源码)


python爬取梨视频(附完整源码)

为方便我们下一步操作,我们讲链接存储在列表中:

python爬取梨视频(附完整源码)

python爬取梨视频(附完整源码)

第三步,对视频链接发起请求并存储数据:

这一步我们放在一个函数中

python爬取梨视频(附完整源码)

第四步,开始线程池

python爬取梨视频(附完整源码)

python爬取梨视频(附完整源码)

展开阅读全文

页面更新:2024-05-12

标签:源码   视频   下一步   线程   局部   板块   步骤   思路   加载   完整   详情   过程   页面   操作   链接   数据   科技

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top