Python爬虫案例之化妆品许可查询(二)requests案例

通过上一节课的分析,我们分析解题思路我们知道我们要想获得我们想要的数据,就需要:


获取列表页面中的id数值--然后作为详情页的参数-通过requests请求来获取页面内容。那么我们今天就看看代码应该怎么写:


1.获取列表页面中的id数值


第一步,导入模块


Python爬虫案例之化妆品许可查询(二)--requests案例


第二步,通过xhr获取URL及元素信息


通过下图我们知道,页面请求为post类型,响应类型为JSON类型,并获取了该网页的URL


Python爬虫案例之化妆品许可查询(二)--requests案例

Python爬虫案例之化妆品许可查询(二)--requests案例


第三步,根据上述数据书写代码


最终获取了该网页的数据信息,但是我们知道获取该网页的目的是为了获取ID


Python爬虫案例之化妆品许可查询(二)--requests案例


因此我们首先分析下(如下图),我们获取到的HTML实际是个字典,我们可以通过字典中的”list“键获取对应的值,然后”list“对应值又是一个列表,该列表又是由不同的字典构成,这不同的字典代表详情页的数据,因此我们根据之前学过的访问字典、列表的知识,可以写出代码:


Python爬虫案例之化妆品许可查询(二)--requests案例

Python爬虫案例之化妆品许可查询(二)--requests案例


由于我们上面的代码知识获取到一个详情页,那么获取多个详情页就需要通过for循环完成:


Python爬虫案例之化妆品许可查询(二)--requests案例


2.通过requests请求来获取页面内容


我们从上一步获取到了详情页的data对应的值,就可以按照正常的requests请求获取页面信息了:


Python爬虫案例之化妆品许可查询(二)--requests案例


好了,这就是今天的内容,如果大家想要更多关于Python的信息,可关注公众号:Python教程初学讲解,获取学习资料!

展开阅读全文

页面更新:2024-03-04

标签:目的   爬虫   下图   数值   字典   模块   这不   化妆品   案例   类型   代码   页面   网页   知识   内容   数据   列表   科技   信息   许可

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top