这节课我们主要用Python爬取梨视频数据,来介绍关于线程池的主要应用,过程稍微有点复杂,可以参考源码进行练习书写。
1.python爬取梨视频的主要思路解析:
打开网址(https://www.pearvideo.com/category_5)爬取最热板块下的三个视频如下图:
我们要想获得三个视频的下载链接,需要先对该网页发起请求获取详情页面的链接,进而在详情页面获取视频的地址,并保存。
2.Python爬取梨视频的主要步骤讲解
第一步,获取详情页的链接
对该页面(https://www.pearvideo.com/category_5)发起请求并解析获得详情页的链接
第二步,分析详情页
第一步我们获得了详情页的链接,但是我们通过分析页面知道,该页面是局部加载数据,视频的链接并不能通过该页面直接获取,需要通过xhr获取得到:
这时请求链接,不再是我们获取的详情页的链接,而是需要拼接构成:
但是通过加载视频获取的链接可知,我们拼接的链接仍旧存在问题,于是继续拼接:
为方便我们下一步操作,我们讲链接存储在列表中:
第三步,对视频链接发起请求并存储数据:
这一步我们放在一个函数中
第四步,开始线程池
页面更新:2024-05-12
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号