Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

上一篇只是概括性的介绍了在爱问财网站中使用cookie与token来抓取多页数据的步骤,有些初学者可能有点不知道具体的过程,今天我们来详细讲解一下

登录

登录之后在左上角会显示欢迎您!后面是你的账号mo开头的一个id。一般登录之后下一次再打开这个网站就是自动登陆状态,这就是cookie的作用。

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

这是你一下地址栏前面的叹号就能打开这样一个窗口:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

点开具体的cookie就会显示cookie的相关信息,这个cookie的到期时间是7月29日有效期是1个月,就是说一个月内都不用密码就可以登陆这个网站。

搜索

输入一个关键词搜索,谷歌浏览器中右键检查,在network中按CTRL+R

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

还需要做一个动作,下拉到页码的位置,选择一页,这是右侧会出现一行cache:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

然后选这一行,在预览中就能看到我们想要的数据了:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

同样的header中就有我们要的函数参数:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

函数参数

有三个参数:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

page&token

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

cookie

其实不同关键词查询,后面的 show type也是不同的:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

前面两个引号代表股票代码与股票名称,后面的ontable就是表头有几列,我们这个查询中有三列,就是三个ontable:

Power Query 网络抓取中使用COOKIE与TOKEN的操作步骤详解

如果你的列数很多,就需要根据查询结果中的这个show type来修改函数。

根据上面的操作步骤,再结合我们上一篇的抓取步骤,就能顺利的使用cookie与token来连续抓取需要验证的多页数据了。

展开阅读全文

页面更新:2024-03-06

标签:概括性   表头   左上角   引号   字符串   页码   地址栏   初学者   详解   函数   账号   步骤   关键词   参数   数据   科技   网络   网站

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top